multimodal-large-language-models

Các tiến bộ mới nhất về Mô hình Ngôn ngữ Lớn Đa phương thức

Mobile-Agent: Dòng GUI Agent mạnh mẽ

StarVector là một mô hình nền tảng để tạo SVG, giúp chuyển đổi quá trình vector hóa thành một tác vụ tạo mã. Sử dụng kiến trúc mô hình hóa thị giác-ngôn ngữ, StarVector xử lý cả đầu vào hình ảnh và văn bản để tạo ra mã SVG chất lượng cao với độ chính xác vượt trội.

LLaMA-Omni là mô hình tương tác giọng nói đầu cuối có độ trễ thấp và chất lượng cao được xây dựng trên nền tảng Llama-3.1-8B-Instruct, nhằm đạt được khả năng giọng nói ở cấp độ GPT-4o.

Một framework cấu trúc video đa nền tảng (phân tích video) dựa trên các mô hình CV & mLLM.

✨✨[NeurIPS 2025] VITA-1.5: Hướng tới tương tác Giọng nói và Tầm nhìn thời gian thực cấp độ GPT-4o

mPLUG-DocOwl: Mô hình ngôn ngữ lớn đa phương thức mô-đun hóa để hiểu tài liệu

Cambrian-1 là dòng LLM đa phương thức với thiết kế tập trung vào thị giác.

[ICML 2024] Làm chủ khuếch tán Văn bản sang Ảnh: Chú thích lại, Lập kế hoạch và Tạo với LLM đa phương thức (RPG)

Seed1.5-VL, một mô hình nền tảng ngôn ngữ-thị giác được thiết kế để thúc đẩy khả năng hiểu và suy luận đa phương thức đa năng, đạt hiệu suất hàng đầu trên 38 trong tổng số 60 benchmark công khai.

Một kiến trúc Mô hình Ngôn ngữ Lớn Đa phương thức (MLLM) mới, được thiết kế để căn chỉnh cấu trúc giữa các embedding thị giác và văn bản.

Các mô hình đa phương thức hợp nhất tuyệt vời

Người ảo tương tác giọng nói thời gian thực, có thể tùy chỉnh ngoại hình và giọng nói, hỗ trợ nhân bản giọng nói, độ trễ phản hồi thấp tới 3 giây.

Bản cài đặt PyTorch của Audio Flamingo: Chuỗi các Mô hình Ngôn ngữ Hiểu Âm thanh Nâng cao

Framework xử lý Tiếng nói, Ngôn ngữ, Âm thanh, Âm nhạc với Large Language Model

Một họ mô hình đa phương thức nhẹ.

Lập luận chuỗi suy nghĩ đa phương thức: Một khảo sát toàn diện

Bộ sưu tập tài nguyên về các ứng dụng của học tập đa phương thức trong chẩn đoán hình ảnh y tế.

Dòng NEO: Các mô hình ngôn ngữ-thị giác gốc (Native Vision-Language Models) từ những nguyên lý cơ bản

[CVPR 2025] Video-MME: Điểm chuẩn đánh giá toàn diện đầu tiên cho các mô hình ngôn ngữ đa phương thức trong phân tích video.

LLaVA-Plus: Trợ lý ngôn ngữ và thị giác lớn có khả năng cắm và học cách sử dụng các kỹ năng

[CVPR 2024] MovieChat: Từ Dense Token đến Sparse Memory để hiểu video dài

Mô hình biểu diễn hình ảnh quy mô lớn

Dự án cá nhân: MPP-Qwen14B & MPP-Qwen-Next (Đường ống song song đa phương thức dựa trên Qwen-LM). Hỗ trợ [video/hình ảnh/đa hình ảnh] {sft/hội thoại}. Đừng để sự nghèo nàn giới hạn trí tưởng tượng của bạn! Huấn luyện MLLM kiểu LLaVA 8B/14B của riêng bạn trên RTX3090/4090 24GB.

OmniVinci là một LLM đa phương thức giúp hiểu đồng thời hình ảnh, âm thanh và ngôn ngữ.

✨✨Woodpecker: Sửa lỗi ảo tưởng (hallucination) cho các mô hình ngôn ngữ lớn đa phương thức

(Được chấp nhận bởi IJCV) Liquid: Các mô hình ngôn ngữ là các trình tạo đa phương thức thống nhất và có khả năng mở rộng

LLaVA-Mini là mô hình đa phương thức lớn (LMM) hợp nhất, hỗ trợ hiểu hình ảnh, hình ảnh độ phân giải cao và video một cách hiệu quả.

Bài báo NeurIPS 2024: Vision LLM cấp độ pixel thống nhất để hiểu, tạo, phân đoạn và chỉnh sửa

Cambrian-S: Hướng tới siêu cảm biến không gian trong video.