llama

Kho lưu trữ này cung cấp các chương trình để xây dựng mã RAG (Retrieval Augmented Generation) cho Generative AI với LlamaIndex, Deep Lake và Pinecone, tận dụng sức mạnh của các mô hình OpenAI và Hugging Face để tạo và đánh giá.

Tinh chỉnh LLM dễ dàng và hiệu quả (Hỗ trợ LLama, LLama2, LLama3, Qwen, Baichuan, GLM, Falcon)

kani (カニ) là một microframework có tính tùy biến cao dành cho các mô hình ngôn ngữ gọi công cụ (tool-calling). (NLP-OSS @ EMNLP 2023)

Copilot đã chạy cục bộ chưa? Tiên phong trong các LLM Copilot cục bộ để hoàn thiện mã, tạo dự án, hỗ trợ shell và hơn thế nữa. Tìm kiếm các công cụ định hình trải nghiệm lập trình viên của tương lai ngay hôm nay!

Yet Another Language Model: Suy luận LLM bằng C++/CUDA, không sử dụng thư viện ngoại trừ I/O.

Go với trí tuệ của riêng bạn - Các ứng dụng Go tích hợp trực tiếp llama.cpp để suy luận cục bộ sử dụng tăng tốc phần cứng.

Trợ lý giọng nói nhanh được hỗ trợ bởi Groq, Cartesia và Vercel.

SDK AI cục bộ mã nguồn mở - chạy AI trên thiết bị mà không cần đám mây, không cần khóa API. Hỗ trợ GGUF, RAG, tạo hình ảnh, âm nhạc, video, chuyển đổi giọng nói thành văn bản, suy luận P2P và nhiều tính năng khác. Đa nền tảng: Linux, macOS, Windows, Android, iOS.

[ECCV2024] Mô hình ngôn ngữ lớn đa phương thức có căn cứ với mã hóa hình ảnh cục bộ

Kho lưu trữ Deep Learning NLP sử dụng tensorflow, tổng hợp từ tiền xử lý văn bản đến các tác vụ hạ nguồn của các mô hình hiện đại như Topic Models, BERT, GPT và LLM.

Trợ lý AI cục bộ

LLaVA-Mini là mô hình đa phương thức lớn (LMM) hợp nhất, hỗ trợ hiểu hình ảnh, hình ảnh độ phân giải cao và video một cách hiệu quả.

Huấn luyện và suy luận Sentence Embeddings mạnh mẽ với AnglE | 🔥 Đạt SOTA trên bảng xếp hạng STS và MTEB

Sử dụng Code Llama với Visual Studio Code và tiện ích mở rộng Continue. Một giải pháp LLM cục bộ thay thế cho GitHub Copilot.

Khung làm việc cho huấn luyện và suy luận tăng cường đa tác nhân dựa trên LLM.

Chat snowflake - Chuyển văn bản thành SQL

🏗️ Tinh chỉnh, xây dựng và triển khai các LLM mã nguồn mở một cách dễ dàng!

[ICML 2024] LESS: Lựa chọn dữ liệu có ảnh hưởng cho việc tinh chỉnh hướng dẫn mục tiêu

Trợ lý hỗ trợ công việc hàng ngày được vận hành bởi AI, sử dụng Llama 3, DeepSeek R1 và nhiều mô hình khác trên HuggingFace.

CLI phản ứng (Reactive CLI) tạo thông báo commit cho Git và Jujutsu với Ollama, ChatGPT, Gemini, Claude, Mistral và các AI khác.

Bộ nhớ nhân tạo cục bộ trên thiết bị của bạn.

Công cụ phục vụ LLM với độ trễ thấp và thông lượng cao

[ACL 2024] Progressive LLaMA với Block Expansion.

Máy chủ suy luận ngôn ngữ mã nguồn mở, chạy cục bộ, tự lưu trữ và được tối ưu hóa cao, hỗ trợ ASR/STT, TTS và LLM qua WebRTC, REST và WS.

RESTai là một nền tảng AIaaS (AI as a Service) mã nguồn mở. Hỗ trợ nhiều LLM công cộng và cục bộ thông qua Ollama/vLLM/v.v. Cung cấp khả năng sử dụng embedding chính xác, tinh chỉnh, phân tích, v.v. Tích hợp tạo hình ảnh/âm thanh với trình tải bộ tạo động. Triển khai trò chuyện trực tiếp. Tích hợp ngôn ngữ đồ họa dựa trên khối. Quản lý phiên bản câu lệnh và nhiều tính năng khác...

Danh sách các dự án mã nguồn mở nổi bật về CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX và Điện toán hiệu năng cao (HPC).

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton