npu

Lemonade giúp người dùng khám phá và chạy các ứng dụng AI cục bộ bằng cách cung cấp các LLM được tối ưu hóa trực tiếp từ GPU và NPU của họ. Tham gia discord của chúng tôi: https://discord.gg/5xXzkMu8Zk

Tengine là một công cụ suy luận mô-đun, hiệu năng cao, gọn nhẹ dành cho thiết bị nhúng.

cubestudio là nền tảng AI/ML/DL/MaaS/MLOps mã nguồn mở, hỗ trợ quy trình thuật toán toàn diện, đa người dùng, cho thuê tài nguyên tính toán, chuyển tiếp token, lập lịch pipeline kéo thả, huấn luyện phân tán đa máy đa card, tìm kiếm siêu tham số, dịch vụ suy luận, ảo hóa VGPU, phối hợp đám mây-cạnh, tính toán biên, gán nhãn tự động, tinh chỉnh (SFT) các mô hình lớn như DeepSeek, suy luận đa máy với vLLM/Ollama/Mindie, tri thức nội bộ LLMOps, chợ mô hình AI, hỗ trợ tính toán dị thể nội địa (Ascend, Cambricon, v.v.) và RDMA.

Chạy LLM trên AMD Ryzen™ AI NPU chỉ trong vài phút. Giống như Ollama - nhưng được thiết kế riêng và tối ưu hóa sâu cho NPU của AMD.

Một dự án mã nguồn mở dành cho các nhà phát triển Windows để học cách thêm AI với các mô hình cục bộ và API vào ứng dụng Windows.

Một PyTorch Lighting Framework cho các mô hình gợi ý, dễ sử dụng và dễ mở rộng.

Run Time cho các nền tảng dựa trên AIE và FPGA

API Python cấp thấp để lập trình AMD Ryzen™ AI NPU (AI Engines), được xây dựng trên chuỗi công cụ trình biên dịch dựa trên MLIR mã nguồn mở.

Giải pháp thay thế Ollama cho Rockchip NPU: Giải pháp hiệu quả để chạy các mô hình AI và Deep learning trên thiết bị Rockchip với hỗ trợ NPU tối ưu (rkllm)