llmops

Superduper: End-to-End-Framework zum Erstellen benutzerdefinierter KI-Anwendungen und Agents.

Der praktische Leitfaden für LLMs: Von den Grundlagen bis zur Bereitstellung fortgeschrittener LLM- und RAG-Anwendungen auf AWS unter Verwendung von LLMOps-Best-Practices

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

LLMs aus einer einzigen YAML-Datei fine-tunen. Layer-Streaming trainiert ein 8B-Modell auf einer 4-GB-Laptop-GPU.

🤖 𝗟𝗲𝗮𝗿𝗻 for 𝗳𝗿𝗲𝗲 how to 𝗯𝘂𝗶𝗹𝗱 an end-to-end 𝗽𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻-𝗿𝗲𝗮𝗱𝘆 𝗟𝗟𝗠 & 𝗥𝗔𝗚 𝘀𝘆𝘀𝘁𝗲𝗺 using 𝗟𝗟𝗠𝗢𝗽𝘀 best practices: ~ 𝘴𝘰𝘶𝘳𝘤𝘦 𝘤𝘰𝘥𝘦 + 12 𝘩𝘢𝘯𝘥s-on 𝘭𝘦𝘴𝘴𝘰𝘯𝘴

Multi-LoRA-Inferenzserver, der auf Tausende von feinabgestimmten LLMs skaliert

Agent-Fähigkeiten als Speicherschicht

Evaluierung und Tracking für LLM-Experimente und KI-Agenten

Die Plattform für LLM-Evaluierungen und KI-Agenten-Tests

🕹️ Open-Source-LLMOps-Plattform für Entwickler, die darauf ausgelegt ist, Prompt-Design, Versionsverwaltung, sofortige Bereitstellung, Zusammenarbeit, Fehlerbehebung, Beobachtbarkeit und mehr zu optimieren.

Laminar – eine Open-Source-Observability-Plattform, speziell entwickelt für KI-Agenten. YC S24.

AGiXT ist eine dynamische KI-Agenten-Automatisierungsplattform, die Anweisungsmanagement und komplexe Task-Ausführung nahtlos über verschiedene KI-Anbieter hinweg orchestriert. Durch die Kombination aus adaptivem Speicher, intelligenten Funktionen und einem vielseitigen Plugin-System bietet AGiXT effiziente und umfassende KI-Lösungen.

Lernen Sie, Ihren KI-Assistenten für das zweite Gehirn mit LLMs, Agents, RAG, Fine-Tuning, LLMOps und KI-Systemtechniken zu entwickeln.

Eine Open-Source-Umgebung für visuelle Programmierung zum Praxistest von Prompts für LLMs.

Verwandeln Sie teure Prompts in günstige, feinabgestimmte Modelle

Von der Community gepflegtes Hardware-Plugin für vLLM auf Ascend

Open-Source-Plattform für AI Engineering: OpenTelemetry-native LLM-Beobachtbarkeit, GPU-Überwachung, Schutzvorrichtungen, Evaluierungen, Prompt-Management, Vault, Playground. Integriert sich mit über 50 LLM-Anbietern, VectorDBs, Agent-Frameworks und GPUs.

Apache Hamilton hilft Data Scientists und Engineers dabei, testbare, modulare und selbstdokumentierende Datenflüsse zu definieren, die Abstammung (Lineage/Tracing) und Metadaten kodieren. Läuft und skaliert überall dort, wo Python läuft.

Entwickeln Sie entscheidungsfähige Anwendungen (Chatbots, Agenten, Simulationen usw.). Überwachen, verfolgen, speichern und ausführen auf Ihrer eigenen Infrastruktur.

cubestudio ist eine Open-Source Cloud-Native KI-Plattform für Machine Learning, Deep Learning und Large Language Models (LLM). Sie bietet MLOps, Multi-Tenancy, Ressourcen-Leasing, Pipeline-Orchestrierung, verteiltes Training, Inferenz-Dienste, VGPU-Virtualisierung sowie Unterstützung für heterogene Hardware (Ascend, Cambricon etc.) und private Wissensdatenbanken.

UpTrain ist eine einheitliche Open-Source-Plattform zur Evaluierung und Verbesserung von Generative-AI-Anwendungen. Wir bieten Bewertungen für über 20 vorkonfigurierte Prüfungen (für Sprach-, Code- und Embedding-Anwendungsfälle), führen Ursachenanalysen bei Fehlern durch und geben Einblicke in deren Behebung.

Bionic ist souveräne KI für Unternehmen – eine ChatGPT-ähnliche KI, die On-Premises läuft und sicher mit Ihren sensiblen Daten und Systemen arbeiten kann.

🤖 Sich selbst modifizierendes Framework aus der Zukunft 🔮 Weltweit erstes AMS

No-Code-Multi-Agenten-Framework zum Erstellen von LLM-Agenten, Workflows und Anwendungen mit Ihren Daten

🏕️ Reproduzierbare Entwicklungsumgebung für Menschen und Agenten

Eine einheitliche MCP-Server-Verwaltungs-App (MCP Manager).

AICI: Prompts als (Wasm)-Programme

Open-Source-End-to-End-Plattform zum Evaluieren, Überwachen und Verbessern von LLM- und KI-Agenten-Anwendungen. Tracing · Evals · Simulationen · Datasets · Gateway · Guardrails. Selbst hostbar. Apache 2.0.

Skalierbare, schnelle und speicherschonende Vektorsuche in Postgres, der Nachfolger von pgvecto.rs.

Open-Source-LLM/VLM-Load-Balancer und -Serving-Plattform für das Self-Hosting von LLMs (und VLMs) im großen Stil 🏓🦙 Alternative zu Projekten wie llm-d, Docker Model Runner etc., aber mit weniger beweglichen Teilen und einfachen Deployments rund um das ggml-Ökosystem. Läuft auf CPU und GPU.