llmops

Superduper: Framework end-to-end để xây dựng các ứng dụng và agent AI tùy chỉnh.

Cẩm nang thực tế về LLM: Từ cơ bản đến triển khai các ứng dụng LLM và RAG nâng cao lên AWS theo các phương pháp hay nhất của LLMOps

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

Tinh chỉnh LLMs chỉ từ một YAML. Layer streaming đào tạo mô hình 8B trên GPU laptop 4 GB.

🤖 Học miễn phí cách xây dựng hệ thống LLM & RAG hoàn chỉnh sẵn sàng cho môi trường sản xuất bằng các thực hành tốt nhất của LLMOps: ~ mã nguồn + 12 bài học thực hành

Máy chủ suy luận Multi-LoRA mở rộng quy mô đến hàng nghìn LLM được tinh chỉnh

Kỹ năng Agent như một tầng bộ nhớ

Đánh giá và theo dõi các thử nghiệm LLM và AI Agents

Nền tảng đánh giá LLM và kiểm thử AI agent

🕹️ Nền tảng LLMOps mã nguồn mở, ưu tiên nhà phát triển, được thiết kế để đơn giản hóa việc thiết kế prompt, quản lý phiên bản, phân phối tức thì, cộng tác, xử lý sự cố, khả năng quan sát và hơn thế nữa.

Laminar - nền tảng quan sát mã nguồn mở được thiết kế riêng cho các AI agent. YC S24.

AGiXT là Nền tảng tự động hóa tác nhân AI động, điều phối liền mạch việc quản lý lệnh và thực thi tác vụ phức tạp trên các nhà cung cấp AI khác nhau. Kết hợp bộ nhớ thích ứng, các tính năng thông minh và hệ thống plugin linh hoạt, AGiXT mang lại các giải pháp AI hiệu quả và toàn diện.

Học cách xây dựng trợ lý AI Bộ não thứ hai của bạn với LLM, agent, RAG, fine-tuning, LLMOps và các kỹ thuật hệ thống AI.

Môi trường lập trình trực quan mã nguồn mở để kiểm tra độ bền của prompt cho các LLM.

Biến các câu lệnh đắt đỏ thành các mô hình tinh chỉnh giá rẻ

Plugin phần cứng do cộng đồng duy trì cho vLLM trên Ascend

Nền tảng mã nguồn mở dành cho Kỹ thuật AI: Khả năng quan sát LLM gốc OpenTelemetry, Giám sát GPU, Hàng rào bảo vệ, Đánh giá, Quản lý Prompt, Vault, Playground. Tích hợp với hơn 50 Nhà cung cấp LLM, VectorDB, Framework Agent và GPU.

Apache Hamilton giúp các nhà khoa học dữ liệu và kỹ sư định nghĩa các luồng dữ liệu có tính mô-đun, dễ kiểm thử, tự tài liệu hóa, tích hợp sẵn khả năng theo dõi nguồn gốc (lineage/tracing) và metadata. Chạy và mở rộng ở mọi nơi có Python.

Xây dựng ứng dụng đưa ra quyết định (chatbot, agent, mô phỏng, v.v.). Giám sát, theo dõi, lưu trữ và thực thi trên hạ tầng của riêng bạn.

cubestudio là nền tảng AI/ML/DL/MaaS/MLOps mã nguồn mở, hỗ trợ quy trình thuật toán toàn diện, đa người dùng, cho thuê tài nguyên tính toán, chuyển tiếp token, lập lịch pipeline kéo thả, huấn luyện phân tán đa máy đa card, tìm kiếm siêu tham số, dịch vụ suy luận, ảo hóa VGPU, phối hợp đám mây-cạnh, tính toán biên, gán nhãn tự động, tinh chỉnh (SFT) các mô hình lớn như DeepSeek, suy luận đa máy với vLLM/Ollama/Mindie, tri thức nội bộ LLMOps, chợ mô hình AI, hỗ trợ tính toán dị thể nội địa (Ascend, Cambricon, v.v.) và RDMA.

UpTrain là một nền tảng thống nhất mã nguồn mở để đánh giá và cải thiện các ứng dụng Generative AI. Chúng tôi cung cấp điểm số cho hơn 20 kiểm tra được cấu hình sẵn (bao gồm các trường hợp sử dụng ngôn ngữ, mã, embedding), thực hiện phân tích nguyên nhân gốc rễ cho các trường hợp thất bại và đưa ra thông tin chi tiết về cách khắc phục chúng.

Bionic là AI chủ quyền dành cho doanh nghiệp — AI giống ChatGPT chạy on-premise và có thể làm việc an toàn với dữ liệu và hệ thống nhạy cảm của bạn.

🤖 Khung tự sửa đổi từ tương lai 🔮 AMS đầu tiên trên thế giới

Khung đa tác nhân không cần mã (no-code) để xây dựng các tác nhân LLM, quy trình làm việc và ứng dụng với dữ liệu của bạn

🏕️ Môi trường phát triển có thể tái tạo dành cho con người và agent

Một ứng dụng quản lý MCP Server thống nhất (MCP Manager).

AICI: Prompt dưới dạng chương trình (Wasm)

Nền tảng mã nguồn mở, đầu cuối để đánh giá, theo dõi và cải thiện các ứng dụng LLM và AI agent. Truy vết · Đánh giá · Mô phỏng · Tập dữ liệu · Gateway · Guardrails. Có thể tự lưu trữ. Apache 2.0.

Công cụ tìm kiếm véc-tơ có khả năng mở rộng, nhanh chóng và thân thiện với đĩa trong Postgres, phiên bản kế nhiệm của pgvecto.rs.

Nền tảng phục vụ và cân bằng tải LLM/VLM mã nguồn mở để tự host LLM (và VLM) quy mô lớn 🏓🦙 Thay thế cho các dự án như llm-d, Docker Model Runner, v.v. nhưng ít thành phần phụ thuộc hơn và dễ dàng triển khai xoay quanh hệ sinh thái ggml. Chạy được trên CPU và GPU.