serving

RayはAIコンピューティングエンジンです。Rayは、コアとなる分散ランタイムと、MLワークロードを高速化するためのAIライブラリ群で構成されています。

機械学習モデル向けの、柔軟で高性能なサービングシステム。

クラウドネイティブバッチシステム（CNCFプロジェクト）。

数千のプロダクション機械学習モデルをパッケージ化、デプロイ、監視、管理するためのMLOpsフレームワーク

システムエンジニア向けにApple Silicon上でのLLM推論システムを学習：tinyなvLLM + Qwenを構築

このリポジトリでは、深層学習ベースのモデルを本番環境にデプロイする際の役立つノートやリファレンスを共有します。

ロジック、バッチ処理、スケーリングを完全に制御できるカスタムAI推論サーバーを構築するための最小限のPythonフレームワーク。

PaddlePaddleベースのLLMおよびVLM向け高性能推論・デプロイメントツールキット

本番環境向けのRAGベースLLMアプリケーション構築に関する包括的なガイド

構造化データおよび非構造化データに対して、統一された SQL（MySQL 互換）を使用したアップサートとベクトルクエリをサポートし、高コンカレンシーと超低レイテンシの要件を満たす、マルチモーダルベクトルデータベース。

機械学習モデル向けの柔軟で高性能なサービングフレームワーク（PaddlePaddleサービングデプロイメントフレームワーク）

OpenVINO™ で最適化されたモデル向けの拡張可能な推論サーバー

機械学習モデルのための汎用的で使いやすいサービングサービス

統合型エンドツーエンド・マシンインテリジェンスプラットフォーム