llama

Repositori ini menyediakan program untuk membangun kode Retrieval Augmented Generation (RAG) bagi AI Generatif dengan LlamaIndex, Deep Lake, dan Pinecone, memanfaatkan kekuatan model OpenAI dan Hugging Face untuk pembuatan dan evaluasi.

Finetuning LLM yang mudah dan efisien. (Mendukung LLama, LLama2, LLama3, Qwen, Baichuan, GLM, Falcon) Pelatihan dan deployment kuantisasi efisien untuk model bahasa besar.

kani (カニ) adalah microframework yang sangat mudah dimodifikasi untuk model bahasa pemanggilan alat. (NLP-OSS @ EMNLP 2023)

Apakah Copilot sudah bisa berjalan secara lokal? Garis depan LLM Copilot lokal untuk pelengkapan kode, pembuatan proyek, bantuan shell, dan banyak lagi. Temukan alat yang membentuk pengalaman pengembang masa depan, hari ini!

Yet Another Language Model: Inferensi LLM dalam C++/CUDA, tanpa pustaka kecuali untuk I/O

Gunakan kecerdasan Anda sendiri - Aplikasi Go yang secara langsung mengintegrasikan llama.cpp untuk inferensi lokal menggunakan akselerasi perangkat keras.

Asisten suara cepat yang didukung oleh Groq, Cartesia, dan Vercel.

SDK AI lokal open-source - jalankan AI di perangkat tanpa cloud, tanpa kunci API. Mendukung GGUF, RAG, generasi gambar, musik, dan video, speech-to-text, inferensi P2P, dan lainnya. Lintas platform: Linux, macOS, Windows, Android, iOS.

[ECCV2024] Grounded Multimodal Large Language Model dengan Tokenisasi Visual Terlokalisasi

Repository NLP Deep Learning yang merangkum tugas downstream dari pra-pemrosesan teks hingga model terbaru seperti Topic Models, BERT, GPT, dan LLM menggunakan TensorFlow.

Asisten AI Lokal

LLaVA-Mini adalah model multimodal besar (LMM) terpadu yang dapat mendukung pemahaman gambar, gambar beresolusi tinggi, dan video secara efisien.

Latih dan inferensi Sentence Embeddings yang kuat dengan AnglE | 🔥 SOTA di papan peringkat STS dan MTEB

Gunakan Code Llama dengan Visual Studio Code dan ekstensi Continue. Alternatif LLM lokal untuk GitHub Copilot.

Kerangka kerja untuk Pelatihan dan Inferensi Multi-Agen berbasis LLM

Chat snowflake - Teks ke SQL

🏗️ Lakukan fine-tune, bangun, dan deploy LLM open-source dengan mudah!

[ICML 2024] LESS: Memilih Data Berpengaruh untuk Fine-Tuning Instruksi yang Ditargetkan

Asisten bertenaga AI untuk membantu tugas sehari-hari Anda, didukung oleh Llama 3, DeepSeek R1, dan banyak model lainnya di HuggingFace.

CLI Reaktif yang menghasilkan pesan commit untuk Git dan Jujutsu menggunakan Ollama, ChatGPT, Gemini, Claude, Mistral, dan AI lainnya

Memori Buatan Lokal Anda di Perangkat Anda.

Mesin penayangan latensi rendah & throughput tinggi untuk LLM

[ACL 2024] Progressive LLaMA dengan Perluasan Blok.

RESTai adalah platform open-source AIaaS (AI as a Service). Mendukung banyak LLM publik dan lokal yang didukung oleh Ollama/vLLM/dll. Penggunaan embedding yang presisi, penalaan, analitik, dll. Pembuatan gambar/audio bawaan dengan generator pemuatan dinamis. Penerapan obrolan langsung. Bahasa grafis berbasis blok bawaan. Versi prompt dan banyak lagi...

Server inferensi bahasa yang sangat dioptimalkan, sumber terbuka, lokal, dan mandiri yang mendukung ASR/STT, TTS, dan LLM melalui WebRTC, REST, dan WS

🚀🚀🚀 Repositori ini mencantumkan beberapa proyek publik CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX, dan High Performance Computing (HPC) yang luar biasa.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton