serving
Erfasste Open-Source-Repos mit dem Tag serving, sortiert nach Sternen.
Verwandte Themen
Themen, die häufig gemeinsam mit serving am selben Repo auftauchen.
Neue Aufsteiger
Repos, die in den letzten 90 Tagen erstellt und mit serving getaggt wurden.
In den letzten 90 Tagen kam kein neues Repo mit diesem Thema dazu.
- #1
Ray ist ein AI-Rechen-Engine. Ray besteht aus einem Core-Distributed-Runtime und einer Reihe von AI-Bibliotheken zur Beschleunigung von ML-Workloads.
★ 43.647+70Sterne-Änderung der letzten 7 Tage - #2
Ein flexibles, leistungsstarkes Bereitstellungssystem für Modelle des maschinellen Lernens
★ 6.360+0Sterne-Änderung der letzten 7 Tage - #3★ 5.907+30Sterne-Änderung der letzten 7 Tage
- #4
Ein MLOps-Framework zum Verpacken, Bereitstellen, Überwachen und Verwalten von Tausenden von Machine-Learning-Modellen in der Produktion
★ 4.779+3Sterne-Änderung der letzten 7 Tage - #5
LLM-Inferenzsystem auf Apple Silicon für Systemingenieure lernen: Ein winziges vLLM + Qwen entwickeln
★ 4.529+17Sterne-Änderung der letzten 7 Tage - #6
In diesem Repository teile ich nützliche Notizen und Referenzen zur Bereitstellung von Modellen für Deep Learning in der Produktion.
★ 4.376+1Sterne-Änderung der letzten 7 Tage - #7
Ein minimales Python-Framework zum Erstellen benutzerdefinierter KI-Inferenzserver mit voller Kontrolle über Logik, Batching und Skalierung.
★ 3.933+4Sterne-Änderung der letzten 7 Tage - #8
Leistungsstarkes Inferenz- und Bereitstellungs-Toolkit für LLMs und VLMs auf Basis von PaddlePaddle
★ 3.711+2Sterne-Änderung der letzten 7 Tage - #9
Ein umfassender Leitfaden zur Entwicklung von RAG-basierten LLM-Anwendungen für die Produktion.
★ 1.856+0Sterne-Änderung der letzten 7 Tage - #10
Eine multimodale Vektordatenbank, die Upserts und Vektorf Abfragen über ein einheitliches SQL (MySQL-kompatibel) für strukturierte und unstrukturierte Daten unterstützt und gleichzeitig die Anforderungen an hohe Gleichzeitigkeit und ultraleichte Latenz erfüllt.
★ 1.701+0Sterne-Änderung der letzten 7 Tage - #11
Ein flexibler, leistungsstarker Carrier für Machine-Learning-Modelle (Paddle-Inferenzbereitstellungsframework)
★ 925+1Sterne-Änderung der letzten 7 Tage - #12
Skalierbarer Inferenz-Server für mit OpenVINO™ optimierte Modelle.
★ 923+3Sterne-Änderung der letzten 7 Tage - #13
Generischer und benutzerfreundlicher Serving-Dienst für Modelle des maschinellen Lernens
★ 757+0Sterne-Änderung der letzten 7 Tage - #14★ 548+1Sterne-Änderung der letzten 7 Tage
