llama

llama3の推論をステップバイステップで実現し、コア概念を理解し、プロセスの導出をマスターし、コードを実装する。

このリポジトリは、OpenAI および Hugging Face のモデルの生成・評価能力を活用し、LlamaIndex、Deep Lake、Pinecone を使用して生成 AI 向けの検索拡張生成（RAG）コードを構築するプログラムを提供します。

LLM の簡単かつ効率的なファインチューニング。（Llama、Llama2、Llama3、Qwen、Baichuan、GLM、Falcon をサポート）大模型高效量化训练+部署。

kani（カニ）は、ツール呼び出しを行う言語モデル向けの高度にカスタマイズ可能なマイクロフレームワークです。（NLP-OSS @ EMNLP 2023）

Copilotはローカルで動くか？コード補完、プロジェクト生成、シェルアシスタントなどのためのローカルLLM Copilotの最前線。未来の開発者体験を今すぐ形作るツールを紹介します。

独自の知性を持つ Go - ハードウェアアクセラレーションを使用したローカル推論のために llama.cpp を直接統合する Go アプリケーション

もう一つの言語モデル：C++/CUDA による LLM 推論（入出力以外のライブラリなし）

オープンソースのローカル AI SDK。クラウドや API キーなしでデバイス上で AI を実行可能。GGUF、RAG、画像・音楽・動画生成、音声認識、P2P 推論などをサポート。クロスプラットフォーム対応 (Linux、macOS、Windows、Android、iOS)。

Groq、Cartesia、Vercel を活用した高速音声アシスタント

[ECCV2024] 局所化されたビジュアルトークン化を備えたグラウンデッドマルチモーダル大規模言語モデル

TensorFlowを使用してテキスト前処理から、トピックモデル、BERT、GPT、LLMなどの最新モデルのダウンストリームタスクまでをまとめたDeep Learning NLPリポジトリ

ローカル AI アシスタント

LLaVA-Miniは、画像、高解像度画像、動画の理解を効率的にサポートする統合型の大規模マルチモーダルモデル（LMM）です。

AnglE を使用した強力な文埋め込みの学習と推論 | 🔥 STS および MTEB リーダーボードで SOTA を達成

Visual Studio CodeとContinueエクステンションでCode Llamaを使用する。GitHub CopilotのローカルLLM代替手段。

LLM ベースのマルチエージェント強化学習および推論用フレームワーク

Chat snowflake - Text to SQL

オープンソースの LLM を簡単にファインチューニング、構築、デプロイ！

[ICML 2024] LESS：ターゲットを絞ったインストラクションチューニングのための影響力のあるデータの選択

日常のタスクを支援するAI搭載アシスタント。Llama 3、DeepSeek R1、およびHuggingFace上のその他の多くのモデルを活用

Ollama、ChatGPT、Gemini、Claude、Mistral などの AI を使用して、Git および Jujutsu のコミットメッセージを生成するリアクティブな CLI

デバイス上のローカルな人工記憶。

LLM 向けの低遅延かつ高スループットなサービングエンジン

[ACL 2024] ブロック拡張を用いたプログレッシブなLLaMA

RESTai は AIaaS (AI as a Service) のオープンソースプラットフォームです。Ollama/vLLM などがサポートする多数のパブリックおよびローカル LLM に対応しています。高精度な埋め込みの利用、チューニング、分析などを提供します。動的ローディングジェネレータによる画像/音声生成機能を内蔵。ライブチャットのデプロイ、ブロックベースのグラフィカル言語を内蔵。プロンプトのバージョン管理など機能満載です。

WebRTC、REST、WSを介してASR/STT、TTS、LLMをサポートする、オープンソースかつローカル、セルフホスト型の高度に最適化された言語推論サーバー

🚀🚀🚀 優れた公開 CUDA、cuda-python、cuBLAS、cuDNN、CUTLASS、TensorRT、TensorRT-LLM、Triton、TVM、MLIR、PTX、およびハイパフォーマンス計算（HPC）プロジェクトのリストです。

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton