llm-inference

Suy luận LLM phân tán. Kết nối các thiết bị gia đình thành một cụm mạnh mẽ để tăng tốc suy luận LLM. Nhiều thiết bị hơn nghĩa là suy luận nhanh hơn.

Medusa: Framework đơn giản để tăng tốc tạo LLM với nhiều đầu giải mã

Triển khai chính thức của EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) và EAGLE-3 (NeurIPS'25).

Một tác nhân lập trình mã nguồn mở cho terminal của bạn, được xây dựng bởi một tập thể cộng đồng thay vì một công ty. Mang theo mô hình của riêng bạn, giữ mã của bạn trên máy của bạn và không nợ ai bất cứ điều gì.

Framework Agentic của hệ sinh thái PHP để xây dựng các ứng dụng hướng AI sẵn sàng cho môi trường sản xuất. Kết nối các thành phần (LLM, công cụ, vector DB, bộ nhớ) với các agent tương tác với dữ liệu và giao diện của bạn.

AICI: Prompt dưới dạng chương trình (Wasm)

Chạy bất kỳ Llama 2 nào cục bộ với giao diện gradio trên GPU hoặc CPU từ bất kỳ đâu (Linux/Windows/Mac). Sử dụng `llama2-wrapper` làm backend llama2 cục bộ cho các Tác nhân/Ứng dụng Tạo sinh.

Inference GPU serverless cực nhanh, sandbox và tác vụ nền

Cách khai báo để chạy các mô hình AI trong React Native trên thiết bị, được hỗ trợ bởi ExecuTorch.

Nền tảng nghiên cứu benchmark suy luận liên tục mã nguồn mở — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & sắp ra mắt™ TPUv6e/v7/Trainium2/3 | Nền tảng nghiên cứu benchmark suy luận liên tục mã nguồn mở — Kimi K2.7-Code, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72, sắp ra mắt™ TPUv6e/v7/Trainium2/3

Một công cụ suy luận hiệu năng cao cho các mô hình LLM, VLM, DiT và REC, được tối ưu hóa cho nhiều bộ tăng tốc AI khác nhau. Được lưu trữ tại OpenAtom Foundation.

Tổ chức phi lợi nhuận thúc đẩy AI tại Ấn Độ thông qua các khoản tín dụng, trợ cấp, tài nguyên

Chạy các LLM cục bộ như llama, deepseek-distill, kokoro và nhiều mô hình khác ngay trong trình duyệt của bạn

Danh sách phần mềm cho phép tìm kiếm web với sự hỗ trợ của AI: https://hf.co/spaces/felladrin/awesome-ai-web-search

Ứng dụng AI cục bộ và công cụ suy luận cho các tác nhân. Chạy các LLM mã nguồn mở cục bộ — riêng tư, 100% ngoại tuyến trên máy tính của bạn.

Trang chủ cho "How To Scale Your Model", một sách giáo khoa kiểu blog ngắn về cách mở rộng quy mô LLM trên TPU

Bộ sưu tập các công cụ kiểm thử xâm nhập hàng đầu và tiện ích năng suất trên nhiều lĩnh vực. Hãy tham gia cùng chúng tôi để khám phá, đóng góp và nâng cao bộ công cụ hacking của bạn!

Sử dụng LLM làm trợ lý cho việc chứng minh định lý trong Lean

Bộ nhớ đệm KV đàn hồi ảo hóa để chia sẻ GPU động và hơn thế nữa

Qwen3.8-27B chạy trên một card RTX 3090 duy nhất với vLLM: ~1.000 tok/s ở mức 64 luồng đồng thời (int8 tensor-core GEMMs, trạng thái fp16 DeltaNet), ~114 tok/s cho người dùng đơn lẻ ở chế độ lấy mẫu mặc định / ~124 greedy (MTP drafts, từ vựng dự đoán đầu ra riêng, lm_head int4 đã hiệu chỉnh, split-KV verify attention), ngữ cảnh 150k-262k; bao gồm các bản vá, tập lệnh tái lượng tử hóa và các bài kiểm tra hiệu năng.

Hợp lý hóa và đơn giản hóa thiết kế prompt cho cả nhà phát triển và người dùng không chuyên về kỹ thuật với cách tiếp cận low-code.

Xây dựng công cụ suy luận LLM hiệu suất cao của riêng bạn bằng C++ và CUDA - một phiên bản nhỏ hơn của vLLM

OpenAlpha_Evolve là một framework Python mã nguồn mở lấy cảm hứng từ nghiên cứu mang tính đột phá về các tác nhân lập trình tự động như AlphaEvolve của DeepMind.

“AI-Compass” sẽ định hướng cho cộng đồng khi điều hướng trong đại dương công nghệ AI, dù bạn là người mới bắt đầu hay nhà phát triển nâng cao, bạn đều có thể tìm thấy con đường dẫn đến các hướng đi lớn của AI tại đây. Nhằm giúp nhà phát triển hiểu một cách có hệ thống các khái niệm cốt lõi, công nghệ chủ đạo, xu hướng biên giới của AI, và nắm vững toàn bộ quá trình từ lý thuyết đến thực tiễn thông qua thực hành.

Danh sách dịch vụ lưu trữ tuyệt vời được sắp xếp theo giá gói tối thiểu

Cài đặt bằng C++ thuần túy của một số mô hình để trò chuyện thời gian thực trên máy tính của bạn (CPU & GPU)

Một công cụ tăng tốc suy luận LLM được tối ưu hóa cao cho Llama và các biến thể của nó.

Ghi chú về LLM, bao gồm suy luận mô hình, cấu trúc mô hình transformer và ghi chú phân tích mã nguồn framework LLM.

Lộ trình 10 tuần, mỗi ngày 30 phút về suy luận và tối ưu hóa LLM, bao gồm vLLM, SGLang, lượng tử hóa, giải mã suy đoán và đo điểm chuẩn.

LLM.swift là một thư viện đơn giản và dễ đọc cho phép bạn tương tác cục bộ với các mô hình ngôn ngữ lớn trên macOS, iOS, watchOS, tvOS và visionOS.