chinese-nlp

Suy luận AirLLM 70B với một GPU 4GB duy nhất

Corpus tiếng Trung quy mô lớn dành cho NLP (Large Scale Chinese Corpus for NLP)

BELLE: Công cụ mô hình ngôn ngữ lớn của mọi người (Mô hình hội thoại tiếng Trung mã nguồn mở)

Nền tảng công nghệ ngôn ngữ

Bộ ngữ liệu tiếng Trung quy mô cực lớn MNBVC (Massive Never-ending BT Vast Chinese corpus). Tương đương với dữ liệu 40T được huấn luyện cho ChatGPT. Tập dữ liệu MNBVC không chỉ bao gồm văn hóa chủ đạo, mà còn bao gồm dữ liệu của các nền văn hóa ngách thậm chí là văn bản sao Hỏa. Tập dữ liệu MNBVC bao gồm tin tức, bài văn, tiểu thuyết, sách, tạp chí, luận văn, lời thoại, bài đăng, wiki, thơ cổ, lời bài hát, giới thiệu sản phẩm, truyện cười, chuyện cười nhảm, lịch sử trò chuyện và tất cả các hình thức dữ liệu văn bản thuần túy bằng tiếng Trung.

Fengshenbang-LM là hệ thống mô hình lớn mã nguồn mở do Trung tâm Nghiên cứu Tính toán Nhận thức và Ngôn ngữ Tự nhiên của Viện Nghiên cứu IDEA chủ trì, trở thành cơ sở hạ tầng cho AIGC tiếng Trung và trí tuệ nhận thức.

Các mô hình cơ sở Chinese-LLaMA 1&2, Chinese-Falcon; mô hình đối thoại tiếng Trung ChatFlow; mô hình OpenLLaMA tiếng Trung; tập dữ liệu tiền huấn luyện/tinh chỉnh chỉ dẫn NLP.

Nhận dạng thực thể có tên tiếng Trung với IDCNN/biLSTM+CRF và Trích xuất quan hệ với biGRU+2ATT

Một mô hình đối thoại giáo dục mã nguồn mở từ ICALK, Đại học Sư phạm Hoa Đông. (Mô hình nền tảng đa năng, triển khai GPU, làm sạch dữ liệu). Tri ân: LLaMA, MOSS, BELLE, Ziya, vLLM.

Tài liệu tham khảo Python RAG minh bạch với tính năng truy xuất kết hợp FAISS + BM25, xếp hạng lại, giao diện Gradio và FastAPI.

:four_leaf_clover: Một chatbot tiếng Trung khác được triển khai bằng PyTorch, là mô-đun con của robot xử lý phiếu yêu cầu công việc thông minh. 👩‍🔧

zhparser là một tiện ích mở rộng PostgreSQL hỗ trợ tìm kiếm toàn văn bản tiếng Trung

Bộ gõ tiếng Quảng Đông Rime

Mô hình SpaCy hỗ trợ tiếng Trung.

Trợ lý vận hành AI cho WeChat Official Account | Hỗ trợ toàn bộ quy trình từ chọn chủ đề, viết bài, duyệt bài, dàn trang, tạo ảnh đến đăng bài, hỗ trợ OpenClaw / Claude Code / Cursor / Codex