llmops

Superduper: Kerangka kerja end-to-end untuk membangun aplikasi dan agen AI kustom.

Panduan praktis LLM: Dari dasar-dasar hingga penerapan aplikasi LLM dan RAG tingkat lanjut ke AWS menggunakan praktik terbaik LLMOps

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

Fine-tune LLM dari satu file YAML. Streaming layer melatih model 8B pada GPU laptop 4 GB.

Pelajari secara gratis cara membangun sistem LLM & RAG yang siap produksi menggunakan praktik terbaik LLMOps: kode sumber + 12 pelajaran praktik

Server inferensi Multi-LoRA yang dapat diskalakan hingga ribuan LLM yang telah di-fine-tune.

Keterampilan Agen sebagai Lapisan Memori

Evaluasi dan Pelacakan untuk Eksperimen LLM dan Agen AI

Platform untuk evaluasi LLM dan pengujian agen AI

🕹️ Platform LLMOps sumber terbuka yang mengutamakan pengembang, dirancang untuk menyederhanakan desain prompt, manajemen versi, pengiriman instan, kolaborasi, pemecahan masalah, observabilitas, dan banyak lagi.

Laminar - platform observabilitas sumber terbuka yang dibuat khusus untuk agen AI. YC S24.

AGiXT adalah platform otomatisasi Agen AI dinamis yang mengorkestrasi manajemen instruksi dan eksekusi tugas kompleks di berbagai penyedia AI secara mulus. Dengan menggabungkan memori adaptif, fitur cerdas, dan sistem plugin yang serbaguna, AGiXT menghadirkan solusi AI yang efisien dan komprehensif.

Pelajari cara membangun asisten AI Second Brain Anda dengan teknik LLM, agen, RAG, fine-tuning, LLMOps, dan sistem AI.

Lingkungan pemrograman visual open-source untuk menguji prompt LLM secara mendalam.

Ubah prompt yang mahal menjadi model fine-tuned yang murah.

Plugin perangkat keras yang dikelola komunitas untuk vLLM di Ascend

Platform sumber terbuka untuk Teknik AI: Observabilitas LLM berbasis OpenTelemetry, Pemantauan GPU, Guardrails, Evaluasi, Manajemen Prompt, Vault, Playground. 🚀💻 Terintegrasi dengan 50+ Penyedia LLM, VectorDB, Kerangka Kerja Agent, dan GPU.

Apache Hamilton membantu ilmuwan dan insinyur data mendefinisikan alur data yang dapat diuji, modular, dan terdokumentasi secara mandiri, yang menyertakan lineage/tracing dan metadata. Dapat dijalankan dan diskalakan di mana pun Python berjalan.

Bangun aplikasi yang dapat mengambil keputusan (chatbot, agen, simulasi, dll.). Pantau, lacak, simpan, dan jalankan di infrastruktur Anda sendiri.

Platform AI/MaaS/MLOps sumber terbuka cloud-native satu atap cubestudio, mendukung pelatihan dan inferensi LLM seperti deepseek, manajemen multi-tenant, dan orkestrasi pipeline.

UpTrain adalah platform terpadu open-source untuk mengevaluasi dan meningkatkan aplikasi Generative AI. Kami menyediakan penilaian untuk 20+ pemeriksaan yang telah dikonfigurasi sebelumnya (mencakup kasus penggunaan bahasa, kode, dan embedding), melakukan analisis akar penyebab pada kasus kegagalan, serta memberikan wawasan tentang cara mengatasinya.

Bionic adalah AI berdaulat untuk perusahaan — AI seperti ChatGPT yang berjalan secara on-premise dan dapat bekerja dengan aman menggunakan data serta sistem sensitif Anda.

🤖 Framework Modifikasi Mandiri dari Masa Depan 🔮 AMS Pertama di Dunia

Kerangka kerja multi-agen tanpa kode untuk membangun Agen LLM, alur kerja, dan aplikasi dengan data Anda

🏕️ Lingkungan pengembangan yang dapat direproduksi untuk manusia dan agen.

Aplikasi Manajemen Server MCP Terpadu (MCP Manager).

AICI: Prompt sebagai program (Wasm)

Platform sumber terbuka end-to-end untuk mengevaluasi, mengawasi, dan meningkatkan aplikasi LLM dan agen AI. Penelusuran · Evaluasi · Simulasi · Kumpulan Data · Gateway · Guardrails. Dapat di-host sendiri. Apache 2.0.

Pencarian vektor yang dapat menskalakan, cepat, dan ramah disk di Postgres, penerus pgvecto.rs.

Load balancer dan platform penyajian LLM/VLM open-source untuk hosting mandiri LLM (dan VLM) dalam skala besar 🏓🦙 Alternatif untuk proyek seperti llm-d, Docker Model Runner, dll tetapi dengan komponen yang lebih sedikit dan penerapan sederhana yang dibangun di sekitar ekosistem ggml. Berjalan di CPU dan GPU.