qwen3

LLM向けの、高スループットかつメモリ効率の高い推論・サービングエンジン

🔥 MaxKBは、エンタープライズグレードのAIエージェントを構築するためのオープンソースプラットフォームです。

PEFTまたはFull-parameterを使用して、600以上のLLM (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) および300以上のMLLM (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) に適用する (AAAI 2025)。

Agent Reinforcement Trainer: GRPOを用いた実世界タスク向けマルチステップエージェントの訓練。エージェントに現場トレーニングを提供。Qwen3.6、GPT-OSS、Llamaなどに対応した強化学習！

わずかなコードで、Qualcommデバイス上のNPU、GPU、CPU全体で最先端のLLMおよびVLMをローカル実行可能。

プライベートデータに対する推論と検索のためのオープンソースのディープリサーチ代替ツール。Pythonで記述されています。

📚コード付きの素晴らしいLLM/VLM推論論文の厳選リスト：Flash-Attention、Paged-Attention、WINT8/4、Parallelismなど🎉

llama.cpp を搭載し、追加のソフトウェアをインストールすることなく、Mac上のファイル、フォルダ、ウェブサイトの情報をもとに応答できるローカル LLM とチャットできるネイティブ macOS アプリ

ASR/STT字幕ジェネレーター。Qwen3-ASR、ローカルLLM、Whisper、TEN-VADを使用。JAV向けにノイズ耐性を強化。

kubewall - マルチクラスター管理と AI 統合を備えた単一バイナリの Kubernetes ダッシュボード (OpenAI / Claude / Gemini / DeepSeek / OpenRouter / Ollama / Qwen / LMStudio)

Chat2API は、公式の Web UI を活用して主要な AI モデルへのコストゼロでのアクセスを可能にします。DeepSeek、GLM、Kimi、MiniMax、Qwen、Z.ai などのプロバイダーをサポートし、openlcaw、Cline、Roo-Code などのツールとシームレスに統合します。

Mac に話しかけ、ドキュメントを検索。クラウド不要。デバイス上の音声 AI + RAG

システマティック・レビューにおける効率的な抄録とPDFスクリーニングのためのAI駆動型ツール

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

民主化されたマルチモーダル学習のための完全オープンなフレームワーク。

🎬 3Dインタラクティブ操作で任意のカメラ視点から画像を生成。3D空間でカメラをドラッグするかスライダーで方位角/仰角/距離を設定して生成。Three.js + Gradio製、日英バイリンガルUI。

大規模モデル API ゲートウェイ - 新しい AI 大規模モデルインターフェース管理および API 統合配信システム。多様な大規模モデルを統一された OpenAI 互換インターフェース、Claude インターフェース、Gemini インターフェースに変換することをサポートし、個人または企業内での大規模モデル API の一元管理とチャネル配信（キー管理と二次配信）に使用できます。国内外の主要な大規模モデル（gemini、claude、qwen3、kimi-k2、豆包など）をすべてサポートし、単一の実行ファイル、Docker イメージ、ワンクリックデプロイメントを提供し、すぐに使用可能で、完全にオープンソース、自主制御可能です！本プロジェクトは New-API および One-API をベースにしており、NewAPI、OneAPI のすべての機能と多数のサードパーティプラグインを統合し、超強力な機能を実現しています！

🚀 Hugging Faceを標準サポートした、LLM/VLM向けのPytorch分散ネイティブトレーニングライブラリ

LLM駆動のピンイン入力方式

🚀🚀🚀 大規模言語モデル（LLM）、視覚言語モデル（VLM）、視覚言語行動モデル（VLA）、AI生成コンテンツ（AIGC）、および関連するデータセットやアプリケーションに関する素晴らしい公開プロジェクトのコレクション。

MimikaStudio - macOS（Apple Silicon）向けのローカルファーストアプリケーション、Agentic MCPをサポート

純粋なRust + CUDAによるLLM推論エンジン — PyTorchなし、OpenAI互換、Qwen3からKimi-K2まで提供

静的でsucklessな単一バッチのCUDA専用qwen3-0.6Bミニ推論エンジン

Zig 推論エンジン — AMD GPU および Apple Silicon 上でのローカル LLM 推論