multimodal

Bộ công cụ thị giác và kỹ năng được thiết kế cho các mô hình thuần văn bản để "xem ảnh" — hỗ trợ hiểu đa ảnh, hỏi đáp hình ảnh, khôi phục UI frontend, tự động hóa GUI và tích hợp liền mạch tùy chọn vào nhiều agent phổ biến, nhận diện trực tiếp ảnh dán | Bộ công cụ thị giác và kỹ năng thiết kế cho LLM thuần văn bản — hỏi đáp hình ảnh, OCR ảnh chụp màn hình dài, khôi phục UI frontend và tự động hóa GUI, tích hợp liền mạch tùy chọn cho Codex, Claude Code, Pi, Oh My Pi và OpenCode

Hệ thống tự lập trình cho ứng dụng của bạn — Alan AI SDK cho Cordova

SGLang-Omni hỗ trợ phục vụ hiệu suất cao cho TTS, ASR, các mô hình giọng nói và đa năng (omni).

MOVA: Hướng tới Tạo video–audio có thể mở rộng và đồng bộ hóa

Mã nguồn cho Aria - một MoE gốc đa phương thức mở

Đôi mắt cho các tác nhân DeepSeek Harness chỉ có văn bản: chuỗi thị giác miễn phí tích hợp (không cần khóa) + công cụ thị giác cấp độ điểm ảnh (Hỏi đáp, định vị, cắt, so sánh điểm ảnh, màu sắc, OCR, dò tìm SVG, tách nền, ảnh chụp màn hình). Cài đặt bằng một lệnh, không cần Python, các lượt xử lý hình ảnh hoạt động giống như các lượt gọi công cụ thông thường.

🩺 Mô hình y tế đa phương thức tiếng Trung đầu tiên có khả năng đọc phim chụp X-quang ngực.

[Tiêu điểm ICLR'24] Dòng mô hình lớn đa phương thức tiếng Trung và tiếng Anh (Chat and Paint) | Dòng mô hình lớn đa phương thức song ngữ Trung-Anh dựa trên mô hình cơ sở CPM

Mô hình biểu diễn tổng quát cho các phương thức thị giác, âm thanh và ngôn ngữ. Bài báo: ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities

[ECCV 2024 Best Paper Candidate & TPAMI 2025] PointLLM: Trao quyền cho các Large Language Model để hiểu đám mây điểm

Bản triển khai chính thức cho "CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval".

Lập luận chuỗi suy nghĩ đa phương thức: Một khảo sát toàn diện

TongFlow — Studio GenAI đa phương thức

Tài nguyên, ví dụ và hướng dẫn cho AI đa phương thức, RAG và các tác nhân sử dụng tìm kiếm vector và LLM

Khung huấn luyện RL đa phương thức cho các mô hình diffusion và omni

RAG Time: Hành trình học tập 5 tuần để làm chủ RAG

Bộ sưu tập các bài báo CVPR 2025 nổi bật và có ảnh hưởng nhất. 🔥 [Paper + Code + Demo]

Dòng NEO: Các mô hình ngôn ngữ-thị giác gốc (Native Vision-Language Models) từ những nguyên lý cơ bản

Mã nguồn cho "AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling"

⚡ Trình giải captcha tương thích YesCaptcha có thể tự lưu trữ, được xây dựng bằng FastAPI, Playwright và các mô hình đa phương thức tương thích với OpenAI.

Một công cụ huấn luyện mô hình đa phương thức đơn giản và thống nhất. Tinh gọn, linh hoạt và được xây dựng để tùy chỉnh ở quy mô lớn.

[TMLR 2025🔥] Khảo sát về các mô hình tự hồi quy trong thị giác máy tính.

Thư viện hỗ trợ nghiên cứu NLP và CV trên các bài báo khoa học

Huấn luyện mô hình theo phương pháp tương phản (Contrastive) trong Pytorch

Giám sát cục bộ + AI thị giác — Khung giám sát AI dựa trên mạng LAN sử dụng điện thoại thông minh với đầu ra sự kiện có cấu trúc để thu thập và phân tích dữ liệu.

Danh sách các bài báo về mô hình đa phương thức và mô hình ngôn ngữ lớn, chỉ dùng để ghi lại các bài báo tôi đọc trên arxiv hàng ngày cho nhu cầu cá nhân.

[ECCV 2024] InstructIR: Khôi phục hình ảnh chất lượng cao theo hướng dẫn của con người https://huggingface.co/spaces/marcosv/InstructIR

Paddle Multimodal Integration and eXploration, hỗ trợ các tác vụ đa phương thức phổ biến, bao gồm các mô hình tiền huấn luyện đa phương thức quy mô lớn end-to-end và bộ công cụ mô hình khuếch tán. Hiệu suất cao và linh hoạt.

Bộ công cụ cho hệ thống gợi ý đa phương thức (MultiModal Recommendation), tích hợp hơn 10 mô hình.

Kho lưu trữ này chứa mã cho "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] và "MMEB-V3" [COLM 2026]