inference

Quản lý quyền truy cập thống nhất vào các dịch vụ Generative AI được xây dựng trên Envoy Gateway

Chạy một LLM 1 tỷ tham số trên bo mạch 10 USD với RAM 256MB

Mô-đun suy luận cho AgiBot X1.

Gói tăng tốc cho mạng neural trên CPU đa nhân

Máy chủ suy luận CPU/GPU hiệu quả, có khả năng mở rộng và đạt chuẩn doanh nghiệp cho các mô hình transformer của 🤗 Hugging Face 🚀

Công cụ suy luận hiệu suất cao cho các mô hình AI

Nền tảng nghiên cứu benchmark suy luận liên tục mã nguồn mở — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & sắp ra mắt™ TPUv6e/v7/Trainium2/3 | Nền tảng nghiên cứu benchmark suy luận liên tục mã nguồn mở — Kimi K2.7-Code, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72, sắp ra mắt™ TPUv6e/v7/Trainium2/3

Định tuyến, quản lý và phân tích các yêu cầu LLM của bạn trên nhiều nhà cung cấp với một giao diện API thống nhất.

Một công cụ suy luận hiệu năng cao cho các mô hình LLM, VLM, DiT và REC, được tối ưu hóa cho nhiều bộ tăng tốc AI khác nhau. Được lưu trữ tại OpenAtom Foundation.

Runtime nhanh và thân thiện với người dùng dành cho suy luận transformer (Bert, Albert, GPT2, Decoders, v.v.) trên CPU và GPU.

Nvidia GPU exporter cho prometheus sử dụng tệp nhị phân nvidia-smi HOẶC sử dụng NVML

Triển khai dịch vụ suy luận ML với ngân sách hạn hẹp trong chưa đầy 10 dòng mã.

RTP-LLM: Công cụ suy luận LLM hiệu suất cao của Alibaba cho các ứng dụng đa dạng.

Hiệu suất cao, dạng mô-đun, an toàn bộ nhớ và sẵn sàng cho môi trường production với các tính năng suy luận, thu thập và lập chỉ mục được xây dựng bằng Rust 🦀

Gói suy luận nhân quả trong đồ thị và thiết lập theo cặp. Bao gồm các công cụ khôi phục cấu trúc đồ thị và phụ thuộc.

Phân phối và chạy các workload AI trên Kubernetes một cách kỳ diệu bằng Python, giống như PyTorch cho cơ sở hạ tầng ML.

Làm cho việc nén bộ nhớ đệm KV của LLM trở nên dễ dàng

Qualcomm® AI Hub Models là bộ sưu tập các mô hình học máy tiên tiến được tối ưu hóa về hiệu suất (độ trễ, bộ nhớ, v.v.) và sẵn sàng triển khai trên các thiết bị Qualcomm®.

SGLang-Omni hỗ trợ phục vụ hiệu suất cao cho TTS, ASR, các mô hình giọng nói và đa năng (omni).

Máy chủ suy luận LLM gốc cho Apple Silicon. Tương thích với API OpenAI và Anthropic. Không sử dụng Python. Bao gồm ứng dụng MLX Core trên macOS với tính năng trò chuyện, chế độ đại lý và gọi công cụ.

Xây dựng công cụ suy luận LLM hiệu suất cao của riêng bạn bằng C++ và CUDA - một phiên bản nhỏ hơn của vLLM

Một framework phục vụ LLM hiệu năng cao, hướng đến thông lượng

MLX Studio - Nơi của JANG_Q - Tạo/Chỉnh sửa Ảnh + Trò chuyện/Mã nguồn Tất cả trong một - + OpenClaw (Anthropic API)

Bolt là một thư viện học sâu có hiệu suất cao và tính linh hoạt không đồng nhất.

📚 Giới thiệu về Thống kê Hiện đại - Sách giáo khoa mã nguồn mở cấp đại học với phương pháp tiếp cận hiện đại, làm nổi bật các mối quan hệ đa biến và suy luận dựa trên mô phỏng.

Một giao diện đồng nhất để chạy các mô hình học sâu từ nhiều framework

Một máy chủ suy luận có khả năng mở rộng cho các mô hình được tối ưu hóa bằng OpenVINO™

Mô hình Bark của Suno AI viết bằng C/C++ để tạo văn bản thành giọng nói tốc độ cao

Một framework thị giác máy tính mã nguồn mở để xây dựng và triển khai ứng dụng trong vài phút

PyTriton là giao diện giống Flask/FastAPI giúp đơn giản hóa việc triển khai Triton trong môi trường Python.