llama2

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) yang dibangun untuk mencapai kemampuan setingkat GPT-4V dan seterusnya.

Selamat datang di Llama Cookbook! Ini adalah panduan utama Anda untuk Membangun dengan Llama: Memulai dengan Inference, Fine-Tuning, RAG. Kami juga menunjukkan cara menyelesaikan masalah end-to-end menggunakan keluarga model Llama dan menggunakannya di berbagai layanan penyedia

Jalankan LLM open-source apa pun, seperti DeepSeek dan Llama, sebagai endpoint API yang kompatibel dengan OpenAI di cloud.

Kerangka kerja low-code untuk membangun LLM kustom, jaringan saraf, dan model AI lainnya

Chatbot mirip ChatGPT yang di-host sendiri dan offline. Ditenagai oleh Llama 2. 100% privat, tanpa data yang meninggalkan perangkat Anda. Baru: Dukungan Code Llama!

LMDeploy adalah toolkit untuk mengompresi, mendistribusikan, dan melayani LLM.

OpenCompass adalah platform evaluasi LLM, mendukung berbagai model (Llama3, Mistral, InternLM2, GPT-4, LLaMa2, Qwen, GLM, Claude, dll.) pada 100+ dataset.

Proyek fase kedua model besar LLaMA-2 & Alpaca-2 bahasa Mandarin + model konteks super panjang 64K

Firefly: Alat pelatihan LLM, mendukung pelatihan model besar seperti Qwen2.5, Qwen2, Yi1.5, Phi-3, Llama3, Gemma, MiniCPM, Yi, Deepseek, Orion, Xverse, Mixtral-8x7B, Zephyr, Mistral, Baichuan2, Llma2, Llama, Qwen, Baichuan, ChatGLM2, InternLM, Ziya2, Vicuna, Bloom, dan lainnya.

Enchanted adalah aplikasi iOS dan macOS untuk mengobrol dengan model bahasa pribadi yang di-host sendiri seperti Llama2, Mistral, atau Vicuna menggunakan Ollama.

H2O LLM Studio - kerangka kerja dan GUI tanpa kode untuk fine-tuning LLM. Dokumentasi: https://docs.h2o.ai/h2o-llmstudio/

Versi pasca-pelatihan Llama3 untuk bahasa Mandarin

Orkestrasi GPU yang toleran terhadap kesalahan dan sangat skalabel, serta kerangka kerja pembelajaran mesin yang dirancang untuk melatih model dengan miliaran hingga triliunan parameter

Serangkaian model bahasa besar yang dikembangkan oleh Baichuan Intelligent Technology

Solusi NLP bahasa Mandarin (LLM, data, model, pelatihan, inferensi)

Pustaka C#/.NET untuk menjalankan LLM (🦙LLaMA/LLaVA) di perangkat lokal Anda secara efisien.

The most no-nonsense, locally or API-hosted AI code completion plugin for Visual Studio Code - like GitHub Copilot but 100% free.

Inferensi LLM terdistribusi. Hubungkan perangkat rumah ke dalam kluster yang kuat untuk mempercepat inferensi LLM. Semakin banyak perangkat, semakin cepat inferensinya.

Meningkatkan output Tesseract OCR menggunakan LLM (lokal atau API) untuk koreksi kesalahan, pemotongan cerdas, dan pemformatan markdown dari PDF yang dipindai.

Fine-tuning LLM dengan peft

✨ Agen AI otonom sepenuhnya yang dapat melakukan tugas dan proyek rumit menggunakan terminal, browser, dan editor.

API gaya OpenAI untuk model bahasa besar terbuka, gunakan LLM layaknya ChatGPT! Mendukung LLaMA, LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, Xverse, SqlCoder, CodeLLaMA, ChatGLM, ChatGLM2, ChatGLM3, dll. Antarmuka backend terpadu untuk model bahasa besar open source.

Jax LLM yang sederhana, berkinerja tinggi, dan dapat disesuaikan!

TigerBot: LLM multi-bahasa dan multi-tugas.

Inferensi Llama 2 dalam satu file murni 🔥

Aila (AI Meta-domain): Alat integrasi AI utama untuk Windows, macOS, dan Android. Tanya sekali, dapatkan jawaban dari 10+ AI seperti ChatGPT, Gemini, Claude3, Copilot, Poe, perplexity, dan lainnya. Dilengkapi dengan AI dan prompt yang dapat disesuaikan.

Jalankan Llama 2 apa pun secara lokal dengan antarmuka gradio di GPU atau CPU dari mana saja (Linux/Windows/Mac). Gunakan `llama2-wrapper` sebagai backend llama2 lokal Anda untuk Agen/Aplikasi Generatif.

[ICML 2024] LLMCompiler: Kompiler LLM untuk pemanggilan fungsi paralel.

Panduan komprehensif untuk membangun aplikasi LLM berbasis RAG untuk produksi.

Menghitung token/s & kebutuhan memori GPU untuk LLM apa pun. Mendukung kuantisasi llama.cpp/ggml/bnb/QLoRA