chinese-nlp

Inférence AirLLM 70B avec un seul GPU de 4 Go

Corpus à grande échelle pour le traitement du langage naturel en chinois

BELLE : Moteur de modèle de langage étendu pour tous (grand modèle de dialogue chinois open source)

Plateforme de technologie linguistique

MNBVC (Massive Never-ending BT Vast Chinese corpus) : un corpus de données chinois à très grande échelle, conçu pour rivaliser avec les 40 To de données d'entraînement de ChatGPT. Le jeu de données MNBVC couvre la culture dominante, les sous-cultures et inclut des textes variés tels que des actualités, romans, articles académiques, scripts, wikis, poésie ancienne, paroles de chansons et journaux de discussion.

Fengshenbang-LM est un écosystème de modèles open source dirigé par le centre de recherche en informatique cognitive et en langage naturel de l'IDEA, servant d'infrastructure pour l'AIGC et l'intelligence cognitive en chinois.

Modèles de base Chinese-LLaMA 1&2 et Chinese-Falcon ; modèle de dialogue chinois ChatFlow ; modèle chinois OpenLLaMA ; jeux de données de pré-entraînement/ajustement d'instructions NLP.

Reconnaissance d'entités nommées en chinois avec IDCNN/biLSTM+CRF, et extraction de relations avec biGRU+2ATT.

Modèle de dialogue éducatif open source de l'ICALK, East China Normal University. Modèle de base général, déploiement GPU, nettoyage de données. Hommage à : LLaMA, MOSS, BELLE, Ziya, vLLM

Référence RAG Python transparente avec récupération hybride FAISS + BM25, reranking, interface Gradio et FastAPI.

Un autre chatbot chinois implémenté en PyTorch, sous-module d'un robot de traitement intelligent des tickets de travail.

zhparser est une extension PostgreSQL pour la recherche en texte intégral en chinois

Schéma d’entrée Rime Cantonese | 中州韻粵語拼音輸入方案

Modèles pour SpaCy prenant en charge le chinois

Assistant d'exploitation IA pour comptes officiels WeChat | Compétences pour tout le processus : sélection de sujets, rédaction, relecture, mise en page, illustration et publication, avec support pour OpenClaw / Claude Code / Cursor / Codex