llm-inference

Inferência do Llama 3+ em puro Java

LeaderWorkerSet: Uma API para implantar um grupo de pods como uma unidade de replicação

LLM-PowerHouse: Libere o potencial de LLMs por meio de tutoriais selecionados, melhores práticas e código pronto para uso para treinamento e inferência personalizados.

LLMFlows - Aplicativos LLM simples, explícitos e transparentes

USP: Unified (também conhecido como Hybrid, 2D) Sequence Parallel Attention para treinamento e inferência de modelos Transformers de contexto longo

Mecanismo de inferência de LLM em Pure Rust + CUDA — sem PyTorch, compatível com OpenAI, serve de Qwen3 a Kimi-K2

Motor de inferência puro em Rust

Decodificação de LLM até 4x mais rápida no Apple Silicon, sem perdas. Port nativo em MLX do DSpark da DeepSeek e da decodificação especulativa DFlash do z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, Ornith-1.0, Bonsai-27B ternário.

Motor de inferência de LLM nativo para RDNA escrito em Rust.

Alternativa ao Ollama para NPU Rockchip: Uma solução eficiente para executar modelos de IA e aprendizado profundo em dispositivos Rockchip com suporte otimizado a NPU (rkllm)

Yet Another Language Model: inferência de LLM em C++/CUDA, sem bibliotecas além de I/O.

SDK de IA local open-source - execute IA no dispositivo sem nuvem e sem chaves de API. Suporta GGUF, RAG, geração de imagem, música e vídeo, conversão de fala em texto, inferência P2P e muito mais. Multiplataforma: Linux, macOS, Windows, Android, iOS.

Plataforma minimalista de busca na web com um assistente de IA executado diretamente no seu navegador. Demo: https://felladrin-minisearch.hf.space

CLI para executar um grande número de agentes de codificação em paralelo com git worktrees

Fine-tuning de LLM (Large Language Model)

Assistente de IA local

Projeto para recrutamento e estágios, guiando você na implementação do zero de um framework de inferência de LLM com suporte a Llama2/3 e Qwen2.5.

Mini motor de inferência estático e suckless para qwen3-0.6B, lote único (single batch) e exclusivo para CUDA.

Um mecanismo de atendimento de baixa latência e alto rendimento para LLMs

Krasis é um runtime LLM híbrido focado na execução eficiente de modelos maiores em hardware de nível de consumidor com VRAM limitada.

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

Uma ferramenta de interface de linha de comando para servir LLM usando vLLM.