ai-infra

Runtime sandbox an toàn, nhanh chóng và có thể mở rộng cho các AI agent.

Nền tảng AI Red Teaming toàn diện giúp bảo mật hệ sinh thái AI thông qua Agent Scan, Skills Scan, MCP scan, AI Infra scan và đánh giá LLM jailbreak.

🚀 Hệ thống tuyệt vời cho Machine Learning ⚡️ Tài liệu hệ thống AI và Thực tiễn ngành. ⚡️ Hệ thống cho Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, v.v. 🗃️ Llama3, Mistral, v.v. 🧑‍💻 Video hướng dẫn.

⚡️SwanLab - một công cụ theo dõi và trực quan hóa huấn luyện AI mã nguồn mở, thiết kế hiện đại. Hỗ trợ sử dụng trên Cloud / Tự lưu trữ. Tích hợp với PyTorch / Transformers / verl / LLaMA Factory / ms-swift / Ultralytics / MMEngine / Keras, v.v.

TurboDiffusion: Tăng tốc 100–200 lần cho các mô hình Video Diffusion

Kiến thức cơ bản về AI - Kiến trúc GPU, lập trình CUDA, nền tảng LLM và kiến thức liên quan đến AI Agent.

[ICML2025] SpargeAttention: Cơ chế chú ý thưa thớt không cần huấn luyện giúp tăng tốc suy luận của mọi mô hình.

Tensorlake là một runtime không máy chủ (serverless) dành cho sandbox và triển khai các ứng dụng agentic nền

FS AI-Native & Cloud-Native: Lớp ngữ nghĩa tệp hiệu năng cao cho lưu trữ đối tượng đám mây, tích hợp bộ nhớ đệm tốc độ cao. Dự án CNCF Sandbox.

Hướng dẫn HPC, bao gồm giao tiếp tập thể (MPI, NCCL), lập trình CUDA, vector hóa SIMD, giao tiếp RDMA, v.v.

Lớp truy xuất cho các hệ thống AI trong sản xuất. Tìm kiếm cực nhanh (<10ms) mà không cần cơ sở dữ liệu vector. Được xây dựng cho trình duyệt, edge, thiết bị và đám mây.