llama

Este repositório fornece programas para construir código de RAG (Retrieval-Augmented Generation) para Generative AI com LlamaIndex, Deep Lake e Pinecone, aproveitando o poder dos modelos da OpenAI e Hugging Face para geração e avaliação.

Fine-tuning fácil e eficiente de LLMs. (Suporta LLaMA, LLaMA2, LLaMA3, Qwen, Baichuan, GLM, Falcon). Treinamento e implantação eficientes de quantização para grandes modelos.

kani (カニ) é um microframework altamente personalizável para modelos de linguagem com chamada de ferramentas. (NLP-OSS @ EMNLP 2023)

Os Copilots já são locais? A fronteira dos LLM Copilots locais para conclusão de código, geração de projetos, assistência de shell e muito mais. Encontre ferramentas que moldam a experiência do desenvolvedor de amanhã, hoje!

Yet Another Language Model: inferência de LLM em C++/CUDA, sem bibliotecas além de I/O.

Vá com sua própria inteligência - Aplicativos Go que integram diretamente o llama.cpp para inferência local usando aceleração de hardware.

Assistente de voz rápido alimentado por Groq, Cartesia e Vercel.

SDK de IA local open-source - execute IA no dispositivo sem nuvem e sem chaves de API. Suporta GGUF, RAG, geração de imagem, música e vídeo, conversão de fala em texto, inferência P2P e muito mais. Multiplataforma: Linux, macOS, Windows, Android, iOS.

[ECCV2024] Modelo de Linguagem Grande Multimodal Fundamentado com Tokenização Visual Localizada

Este é um repositório de NLP de Deep Learning que organiza desde o pré-processamento de texto usando TensorFlow até tarefas downstream de modelos modernos como Topic Models, BERT, GPT e LLM.

Assistente de IA local

LLaVA-Mini é um modelo multimodal grande (LMM) unificado que suporta a compreensão de imagens, imagens de alta resolução e vídeos de forma eficiente.

Treine e deduza poderosos embeddings de frases com AnglE | 🔥 SOTA nas leaderboards de STS e MTEB

Use o Code Llama com o Visual Studio Code e a extensão Continue. Uma alternativa de LLM local ao GitHub Copilot.

Um framework para treinamento reforçado e inferência multiagente baseado em LLM

Chat snowflake - Texto para SQL

🏗️ Faça ajuste fino, construa e implante LLMs de código aberto facilmente!

[ICML 2024] LESS: Selecionando dados influentes para ajuste de instrução direcionado

Assistente baseado em IA para ajudar nas suas tarefas diárias, alimentado por Llama 3, DeepSeek R1 e muitos outros modelos no HuggingFace.

A Reactive CLI that generates commit messages for Git and Jujutsu with Ollama, ChatGPT, Gemini, Claude, Mistral and other AI

Sua Memória Artificial Local no seu Dispositivo.

Um mecanismo de atendimento de baixa latência e alto rendimento para LLMs

[ACL 2024] LLaMA Progressivo com Expansão de Blocos.

Servidor de inferência de linguagem de código aberto, local e auto-hospedado altamente otimizado com suporte a ASR/STT, TTS e LLM via WebRTC, REST e WS

RESTai é uma plataforma open-source de AIaaS (IA como Serviço). Suporta muitos LLMs públicos e locais suportados por Ollama/vLLM/etc. Uso preciso de embeddings, ajuste, análises, etc. Geração de imagem/áudio integrada com geradores de carregamento dinâmico. Implantação de chat ao vivo. Linguagem gráfica baseada em blocos integrada. Versionamento de prompts e muito mais...

🚀🚀🚀 Este repositório lista alguns projetos incríveis públicos de CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX e Computação de Alto Desempenho (HPC).

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton