llm-serving

Engine suy luận và phục vụ hiệu suất cao, tối ưu bộ nhớ cho các LLM

Ray là một công cụ tính toán AI. Ray bao gồm một runtime phân tán cốt lõi và một bộ thư viện AI để tăng tốc khối lượng công việc ML.

Dự án này nhằm chia sẻ các nguyên lý kỹ thuật liên quan đến LLM và kinh nghiệm thực chiến (kỹ thuật hóa LLM, ứng dụng thực tế của LLM).

TensorRT LLM cung cấp cho người dùng một API Python dễ sử dụng để định nghĩa các Mô hình Ngôn ngữ Lớn (LLM) và hỗ trợ các tối ưu hóa tiên tiến nhất để thực thi suy luận hiệu quả trên GPU NVIDIA. TensorRT LLM cũng bao gồm các thành phần để tạo môi trường thực thi (runtime) Python và C++ giúp điều phối quá trình thực thi suy luận đạt hiệu suất cao.

Chạy bất kỳ LLM mã nguồn mở nào, chẳng hạn như DeepSeek và Llama, như một điểm cuối API tương thích với OpenAI trên đám mây.

Nền tảng tính toán AI dành cho các nhóm tiên phong. SkyPilot biến các tài nguyên tính toán AI rời rạc thành một siêu máy tính AI duy nhất, giúp các nhóm AI tiên phong xây dựng trí tuệ tùy chỉnh nhanh hơn.

Cách dễ nhất để cung cấp các ứng dụng và mô hình AI - Xây dựng API suy luận mô hình, hàng đợi tác vụ, ứng dụng LLM, pipeline đa mô hình, v.v.!

Trình quản lý cụm GPU dành cho việc phục vụ mô hình AI hiệu năng cao (vLLM, SGLang) và các instance GPU có thể truy cập SSH theo yêu cầu.

Superduper: Framework end-to-end để xây dựng các ứng dụng và agent AI tùy chỉnh.

Máy chủ suy luận Multi-LoRA mở rộng quy mô đến hàng nghìn LLM được tinh chỉnh

Bộ công cụ suy luận và triển khai hiệu năng cao cho LLM và VLM dựa trên PaddlePaddle

Framework suy luận hiệu năng cao cho các mô hình ngôn ngữ lớn, tập trung vào hiệu quả, tính linh hoạt và khả năng sẵn sàng.

Plugin phần cứng do cộng đồng duy trì cho vLLM trên Ascend

MoBA: Mixture of Block Attention dành cho các LLM ngữ cảnh dài (Long-Context LLMs)

AICI: Prompt dưới dạng chương trình (Wasm)

Nền tảng nghiên cứu benchmark suy luận liên tục mã nguồn mở — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & sắp ra mắt™ TPUv6e/v7/Trainium2/3 | Nền tảng nghiên cứu benchmark suy luận liên tục mã nguồn mở — Kimi K2.7-Code, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72, sắp ra mắt™ TPUv6e/v7/Trainium2/3

Parallax là một framework phân phối mô hình phục vụ giúp bạn xây dựng cụm AI của riêng mình ở bất kỳ đâu

RTP-LLM: Công cụ suy luận LLM hiệu suất cao của Alibaba cho các ứng dụng đa dạng.

Bộ nhớ đệm KV đàn hồi ảo hóa để chia sẻ GPU động và hơn thế nữa

Một framework phục vụ LLM hiệu năng cao, hướng đến thông lượng

Một công cụ tăng tốc suy luận LLM được tối ưu hóa cao cho Llama và các biến thể của nó.

Framework phục vụ mô hình ML hiệu năng cao, cung cấp tính năng xử lý theo lô động và đường ống CPU/GPU để khai thác tối đa máy tính của bạn

Đội ngũ tác nhân riêng tư với Spec Coding. Mỗi tác nhân có máy tính để bàn tăng tốc GPU riêng. Chạy Claude, Codex, Gemini và các mô hình mở trên một AI Stack riêng tư hoàn chỉnh

Công cụ suy luận LLM bằng Rust thuần + CUDA — không cần PyTorch, tương thích với OpenAI, hỗ trợ từ Qwen3 đến Kimi-K2.

Tinh chỉnh (Fine-Tuning) mô hình ngôn ngữ lớn (LLM).