llama2

[NeurIPS'23 Oral] Tinh chỉnh hướng dẫn trực quan (LLaVA) được xây dựng hướng tới khả năng ngang tầm GPT-4V và xa hơn nữa.

Chào mừng bạn đến với Llama Cookbook! Đây là hướng dẫn toàn diện để xây dựng ứng dụng với Llama: Bắt đầu với suy luận, tinh chỉnh, RAG. Chúng tôi cũng chỉ cho bạn cách giải quyết các vấn đề từ đầu đến cuối bằng cách sử dụng dòng mô hình Llama và sử dụng chúng trên các dịch vụ nhà cung cấp khác nhau

Chạy bất kỳ LLM mã nguồn mở nào, chẳng hạn như DeepSeek và Llama, như một điểm cuối API tương thích với OpenAI trên đám mây.

Khung mã nguồn thấp để xây dựng LLM tùy chỉnh, mạng nơ-ron và các mô hình AI khác

Một chatbot giống ChatGPT tự lưu trữ, chạy ngoại tuyến. Được hỗ trợ bởi Llama 2. Bảo mật 100%, không có dữ liệu nào rời khỏi thiết bị của bạn. Mới: Hỗ trợ Code Llama!

LMDeploy là bộ công cụ để nén, triển khai và phục vụ LLM.

OpenCompass là một nền tảng đánh giá LLM, hỗ trợ nhiều loại mô hình (Llama3, Mistral, InternLM2, GPT-4, LLaMa2, Qwen, GLM, Claude, v.v.) trên hơn 100+ tập dataset.

Dự án mô hình lớn Chinese LLaMA-2 & Alpaca-2 giai đoạn 2 + mô hình ngữ cảnh siêu dài 64K

Firefly: Công cụ huấn luyện LLM, hỗ trợ huấn luyện Qwen2.5, Qwen2, Yi1.5, Phi-3, Llama3, Gemma, MiniCPM, Yi, Deepseek, Orion, Xverse, Mixtral-8x7B, Zephyr, Mistral, Baichuan2, Llama2, Llama, Qwen, Baichuan, ChatGLM2, InternLM, Ziya2, Vicuna, Bloom và nhiều mô hình lớn khác

Enchanted là ứng dụng iOS và macOS để trò chuyện với các mô hình ngôn ngữ tự lưu trữ (self-hosted) riêng tư như Llama2, Mistral hoặc Vicuna bằng cách sử dụng Ollama.

H2O LLM Studio - một framework và giao diện đồ họa không cần lập trình để tinh chỉnh LLM. Tài liệu: https://docs.h2o.ai/h2o-llmstudio/

Phiên bản hậu huấn luyện tiếng Trung của Llama3

Điều phối GPU chịu lỗi, có khả năng mở rộng cao, và framework máy học được thiết kế để huấn luyện các mô hình từ hàng tỷ đến hàng nghìn tỷ tham số

Một loạt các mô hình ngôn ngữ lớn được phát triển bởi Baichuan Intelligent Technology

Giải pháp NLP tiếng Trung (mô hình ngôn ngữ lớn, dữ liệu, mô hình, huấn luyện, suy luận)

Thư viện C#/.NET để chạy LLM (🦙LLaMA/LLaVA) trên thiết bị cục bộ của bạn một cách hiệu quả.

Suy luận LLM phân tán. Kết nối các thiết bị gia đình thành một cụm mạnh mẽ để tăng tốc suy luận LLM. Nhiều thiết bị hơn nghĩa là suy luận nhanh hơn.

Cải thiện đầu ra của Tesseract OCR bằng các LLM (cục bộ hoặc API) để sửa lỗi, chia nhỏ thông minh và định dạng markdown cho các tệp PDF đã quét

Tinh chỉnh LLM với peft

✨ AI Agent hoàn toàn tự động có thể thực hiện các tác vụ và dự án phức tạp bằng terminal, trình duyệt và trình soạn thảo.

API kiểu OpenAI cho các mô hình ngôn ngữ lớn mã nguồn mở, sử dụng LLM giống như ChatGPT! Hỗ trợ LLaMA, LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, Xverse, SqlCoder, CodeLLaMA, ChatGLM, ChatGLM2, ChatGLM3, v.v.

Một Jax LLM đơn giản, hiệu năng cao và có thể mở rộng!

TigerBot: Mô hình ngôn ngữ lớn đa ngôn ngữ và đa tác vụ

Suy luận Llama 2 trong một file duy nhất cực kỳ ấn tượng

Aila (AI siêu nguyên vực): Công cụ tích hợp AI hàng đầu cho Windows, macOS và Android. Hỏi một lần, nhận câu trả lời từ hơn 10 AI như ChatGPT, Gemini, Claude3, Copilot, Poe, Perplexity và nhiều hơn nữa. Tính năng tùy chỉnh AI và câu lệnh.

Chạy bất kỳ Llama 2 nào cục bộ với giao diện gradio trên GPU hoặc CPU từ bất kỳ đâu (Linux/Windows/Mac). Sử dụng `llama2-wrapper` làm backend llama2 cục bộ cho các Tác nhân/Ứng dụng Tạo sinh.

[ICML 2024] LLMCompiler: Trình biên dịch LLM để gọi hàm song song

Hướng dẫn toàn diện để xây dựng các ứng dụng LLM dựa trên RAG cho môi trường production.

Tính toán tốc độ token/s và yêu cầu bộ nhớ GPU cho bất kỳ LLM nào. Hỗ trợ lượng tử hóa llama.cpp/ggml/bnb/QLoRA.

Hướng dẫn LangChain & Prompt Engineering về các Mô hình Ngôn ngữ Lớn (LLM) như ChatGPT với dữ liệu tùy chỉnh. Sổ tay Jupyter về tải và lập chỉ mục dữ liệu, tạo mẫu prompt, tác nhân CSV, và sử dụng chuỗi QA truy vấn để truy vấn dữ liệu tùy chỉnh. Các dự án sử dụng LLM riêng tư (Llama 2) để trò chuyện với tệp PDF, phân tích cảm xúc tweet.