llm-inference

Inferência de LLM distribuída. Conecte dispositivos domésticos em um cluster poderoso para acelerar a inferência de LLM. Mais dispositivos significam uma inferência mais rápida.

Medusa: Framework simples para acelerar a geração de LLM com múltiplas cabeças de decodificação

Implementação oficial do EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) e EAGLE-3 (NeurIPS'25).

Um agente de codificação aberto para seu terminal, construído por uma comunidade coletiva em vez de uma empresa. Traga seu próprio modelo, mantenha seu código em sua máquina e não deve nada a ninguém.

O framework agentic do ecossistema PHP para construir aplicações orientadas a IA prontas para produção. Conecte componentes (LLMs, ferramentas, bancos de dados vetoriais, memória) a agentes que interagem com seus dados e interface.

AICI: Prompts como Programas (Wasm)

Execute qualquer Llama 2 localmente com interface gradio em GPU ou CPU de qualquer lugar (Linux/Windows/Mac). Use o `llama2-wrapper` como seu backend local do llama2 para Agentes/Aplicações Generativas.

Inferência de GPU serverless ultrarrápida, sandboxes e tarefas em segundo plano

Maneira declarativa de executar modelos de IA no React Native localmente, utilizando o ExecuTorch.

Plataforma de pesquisa de benchmark de inferência contínua de código aberto — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 e em breve™ TPUv6e/v7/Trainium2/3

Um motor de inferência de alto desempenho para modelos LLM, VLM, DiT e REC, otimizado para diversos aceleradores de IA. É hospedado na OpenAtom Foundation.

A organização sem fins lucrativos que promove IA na Índia por meio de créditos, subsídios e recursos

Execute LLMs locais como llama, deepseek-distill, kokoro e outros dentro do seu navegador

Lista de softwares que permitem pesquisar na web com o auxílio de IA: https://hf.co/spaces/felladrin/awesome-ai-web-search

Aplicativo de IA local e motor de inferência para agentes. Execute LLMs de pesos abertos localmente — privado, 100% offline no seu computador. Entre no nosso Discord: https://discord.com/invite/8wGSsvmg4V

Repositório de "How To Scale Your Model", um livro didático em estilo de blog sobre o escalonamento de LLMs em TPUs

Uma coleção curada de ferramentas de teste de penetração de alto nível e utilitários de produtividade em vários domínios. Junte-se a nós para explorar, contribuir e aprimorar seu kit de ferramentas de hacking!

LLMs como copilotos para prova de teoremas em Lean

Cache KV elástico virtualizado para compartilhamento dinâmico de GPU e muito mais

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Otimiza e simplifica o design de prompts para desenvolvedores e usuários não técnicos com uma abordagem low-code.

Construa seu próprio motor de inferência LLM de alto desempenho em C++ e CUDA - uma versão reduzida do vLLM.

OpenAlpha_Evolve é um framework Python open-source inspirado na pesquisa inovadora sobre agentes de codificação autônomos, como o AlphaEvolve da DeepMind.

O "AI-Compass" guiará a comunidade na navegação pelo oceano da tecnologia de IA; seja você um iniciante ou um desenvolvedor avançado, encontrará aqui o caminho para as principais direções da IA. O objetivo é ajudar os desenvolvedores a entender sistematicamente os conceitos principais de IA, tecnologias tradicionais, tendências de ponta e dominar todo o processo, da teoria à implementação prática, por meio da prática.

Lista de serviços de hospedagem organizados pelo preço do plano mínimo

Implementação em C++ puro de vários modelos para chat em tempo real no seu computador (CPU e GPU)

Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.

Notas sobre LLM, incluindo inferência de modelos, estrutura de modelos transformer e notas de análise de código de frameworks de LLM.

Um roteiro de 10 semanas, com 30 minutos por dia, para inferência e otimização de LLMs. vLLM, SGLang, quantização, decodificação especulativa, benchmarking.

LLM.swift é uma biblioteca simples e legível que permite interagir facilmente com grandes modelos de linguagem localmente em macOS, iOS, watchOS, tvOS e visionOS.