cuda

Melhores práticas e guias sobre como escrever código de treinamento distribuído em PyTorch

Pacote de software de álgebra linear numérica

Renderizador de Monte Carlo multiplataforma de alto desempenho baseado em LuisaCompute

Otimizando o treinamento e inferência do AlphaFold em clusters de GPU

AutoDock para GPUs e outros aceleradores

Um subconjunto de módulos de redes neurais do PyTorch, escrito em Python usando o Triton da OpenAI.

Um aplicativo e guia para configurar facilmente Windows, Linux, MacOS, Google TV, Stremio, Home Assistant e mais (incluindo WSL2, drivers de GPU e ferramentas de desenvolvimento). Melhore sua UX e produtividade.

Vá com sua própria inteligência - Aplicativos Go que integram diretamente o llama.cpp para inferência local usando aceleração de hardware.

Yet Another Language Model: inferência de LLM em C++/CUDA, sem bibliotecas além de I/O.

Incorporação com distorção mínima usando PyTorch

DaCe - Programação Paralela Centrada em Dados

O NVIDIA NVSHMEM é uma interface de programação paralela para GPUs NVIDIA baseada em OpenSHMEM. O NVSHMEM pode reduzir significativamente a comunicação entre múltiplos processos e os custos de coordenação, permitindo que os programadores realizem comunicação unilateral a partir de kernels CUDA e em streams CUDA.

Simulador de radar construído com Python e C++

Projeto para recrutamento e estágios, guiando você na implementação do zero de um framework de inferência de LLM com suporte a Llama2/3 e Qwen2.5.

Uma biblioteca C++ de cabeçalho único para simplificar o uso do CUDA Runtime Compilation (NVRTC).

Uma coleção aberta de metodologias para auxiliar no treinamento bem-sucedido de grandes modelos de linguagem.

Vários métodos de otimização de multiplicação de matrizes gerais de meia precisão (HGEMM) usando tensor core com a API WMMA e a instrução MMA PTX.

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.

FlashRT é um motor de inferência em tempo real de alto desempenho para cargas de trabalho de IA de lote pequeno e sensíveis à latência. A integração principal é o controle VLA de produção para Pi0, Pi0.5, GROOT N1.6 e Pi0-FAST. Também suporta LLM, por exemplo, qwen3.6-27B

Mini motor de inferência estático e suckless para qwen3-0.6B, lote único (single batch) e exclusivo para CUDA.

Laboratório de prática de algoritmos de LLM com teoria, soluções e casos de teste. Um tutorial prático de algoritmos para grandes modelos voltado do iniciante ao avançado, cobrindo explicações de princípios, resoluções, casos de teste e prática com CUDA/Triton.

Use a VRAM da sua GPU NVIDIA como espaço de swap no Linux. Desenvolvido para notebooks com memória soldada e sem opção de upgrade. Se você tem uma placa RTX com 8 GB de VRAM ociosa e seu sistema está fazendo swap no SSD, isso coloca essa VRAM para funcionar.

Software de processamento de imagens para criomicroscopia eletrônica

Um cluster Slurm usando docker-compose

O pacote cu fornece uma interface idiomática para a API do driver CUDA.

Uma reimplementação de Holistically-Nested Edge Detection em PyTorch.

Data visualisation and ray tracing in Python based on OptiX 9.1 framework.

INSTA - Avatares de Cabeça Volumétricos Instantâneos [CVPR2023]

Imagem Docker para Ubuntu Desktop com suporte a aplicativos GUI acelerados por GPU de hardware. Você pode acessar o Container com ssh ou área de trabalho remota, exatamente como uma VM em Nuvem.

Servidor de inferência de linguagem de código aberto, local e auto-hospedado altamente otimizado com suporte a ASR/STT, TTS e LLM via WebRTC, REST e WS