inference

Superduper: Framework end-to-end để xây dựng các ứng dụng và agent AI tùy chỉnh.

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

Công cụ chuyển đổi PyTorch sang TensorRT dễ sử dụng

Côngemy suy luận nhanh cho các mô hình Transformer

TNN: được phát triển bởi Tencent Youtu Lab và Guangying Lab, một framework suy luận học sâu đồng nhất cho di động, máyδ để bàn và máy chủ. TNN nổi bật với các tính năng xuất sắc bao gồm khả năng đa nền tảng, hiệu suất cao, nén mô hình và cắt tỉa mã. Dựa trên ncnn và Rapidnet, TNN củng cố hơn nữa việc hỗ trợ và tối ưu hóa hiệu suất cho thiết bị di động, đồng thời...

TypeDB: Được xây dựng cho các hệ thống, không chỉ là bản ghi

Các mô hình Deep Learning được huấn luyện trước và các bản demo (chất lượng cao và cực kỳ nhanh)

Đạt hiệu suất suy luận tối tân với các bộ tăng tốc hiện đại trên Kubernetes

Một framework suy luận và hậu đào tạo thống nhất để tăng tốc tạo video.

CSGHub là một nền tảng mã nguồn mở hoàn toàn mới để quản lý LLM, được phát triển bởi đội ngũ OpenCSG. Cung cấp cả giải pháp mã nguồn mở và on-premise/SaaS, với các tính năng có thể so sánh với Hugging Face. Kiểm soát toàn bộ vòng đời của LLM, tập dữ liệu và tác nhân, tương thích Python SDK với Hugging Face. Tham gia cùng chúng tôi! ⭐️

Mọi mô hình. Mọi phần cứng. Không thỏa hiệp. Được xây dựng với @ziglang / @openxla / MLIR / @bazelbuild

Bộ công cụ suy luận và triển khai hiệu năng cao cho LLM và VLM dựa trên PaddlePaddle

Công cụ AI cục bộ nhanh nhất cho Apple Silicon. Nhanh hơn 4.2x so với Ollama, TTFT được lưu vào bộ nhớ đệm 0.08s, gọi công cụ 100%. 17 trình phân tích cú pháp công cụ, bộ nhớ đệm prompt, tách biệt suy luận, định tuyến đám mây. Thay thế trực tiếp cho OpenAI. Hoạt động với Claude Code, Cursor, Aider.

Dự án tốt cho tuyển dụng trường, thu đông, xuân và thực tập! Hướng dẫn bạn tự tay triển khai thư viện suy luận deep learning hiệu suất cao từ con số không, hỗ trợ suy luận các mô hình lớn như llama2, Unet, Yolov5, Resnet, v.v.

🚀 Tăng tốc suy luận và huấn luyện 🤗 Transformers, Diffusers, TIMM và Sentence Transformers với các công cụ tối ưu hóa phần cứng dễ sử dụng

📚 Hướng dẫn Jupyter notebook cho OpenVINO™

Máy chủ suy luận mã nguồn mở và cụm sản xuất cho tất cả các mô hình mà agent của bạn cần.

Lượng tử hóa gốc bằng PyTorch cho việc huấn luyện và suy luận

Plugin phần cứng do cộng đồng duy trì cho vLLM trên Ascend

Sử dụng Hugging Face với JavaScript

Inference và training ML nhanh cho các mô hình ONNX bằng Rust

cubestudio là nền tảng AI/ML/DL/MaaS/MLOps mã nguồn mở, hỗ trợ quy trình thuật toán toàn diện, đa người dùng, cho thuê tài nguyên tính toán, chuyển tiếp token, lập lịch pipeline kéo thả, huấn luyện phân tán đa máy đa card, tìm kiếm siêu tham số, dịch vụ suy luận, ảo hóa VGPU, phối hợp đám mây-cạnh, tính toán biên, gán nhãn tự động, tinh chỉnh (SFT) các mô hình lớn như DeepSeek, suy luận đa máy với vLLM/Ollama/Mindie, tri thức nội bộ LLMOps, chợ mô hình AI, hỗ trợ tính toán dị thể nội địa (Ascend, Cambricon, v.v.) và RDMA.

Các toán tử suy luận mạng neural dấu phẩy động hiệu suất cao dành for di động, máy chủ và Web

Biến bất kỳ máy tính hoặc thiết bị edge nào thành trung tâm điều khiển cho các dự án computer vision của bạn.

Làm chủ AI ứng dụng qua từng khái niệm

Điều phối không phụ thuộc nhà vendor cho việc huấn luyện, suy luận và các tác vụ agent trên NVIDIA, AMD, TPU và Tenstorrent trên nền tảng đám mây, Kubernetes và máy chủ vật lý.

Giao tiếp với một nhà cung cấp LLM sử dụng một giao diện duy nhất

Suy luận Llama 2 trong một file duy nhất cực kỳ ấn tượng

MII giúp thực hiện suy luận độ trễ thấp và băng thông cao, được hỗ trợ bởi DeepSpeed.

AICI: Prompt dưới dạng chương trình (Wasm)