multi-modality

[NeurIPS'23 Oral] Tinh chỉnh hướng dẫn trực quan (LLaVA) được xây dựng hướng tới khả năng ngang tầm GPT-4V và xa hơn nữa.

Các tiến bộ mới nhất về Mô hình Ngôn ngữ Lớn Đa phương thức

🏄 Nhúng, suy luận và xếp hạng có khả năng mở rộng cho hình ảnh và câu văn với CLIP

MOSS-TTS-Nano là mô hình tạo giọng nói đa ngôn ngữ siêu nhỏ mã nguồn mở từ MOSI.AI và đội ngũ OpenMOSS. Chỉ với 0.1B tham số, nó được thiết kế để tạo giọng nói thời gian thực, có thể chạy trực tiếp trên CPU mà không cần GPU, đồng thời giữ cho ngăn xếp triển khai đủ đơn giản để chạy demo cục bộ, phục vụ web và tích hợp sản phẩm nhẹ nhàng.

🦦 Otter, một mô hình đa phương thức dựa trên OpenFlamingo (phiên bản mã nguồn mở của Flamingo từ DeepMind), được huấn luyện trên MIMIC-IT và thể hiện khả năng tuân thủ chỉ dẫn cũng như học tập trong ngữ cảnh được cải thiện.

InternLM-XComposer2.5-OmniLive: Hệ thống đa phương thức toàn diện cho tương tác video và âm thanh phát streaming thời gian dài

Các thuật toán và ấn phẩm về theo dõi đối tượng 3D

RAG không cần phân tích cú pháp được hỗ trợ bởi VLM

Long-RL: Mở rộng RL cho các chuỗi dài (NeurIPS 2025)

[CVPR 2025] MINIMA: Khớp ảnh bất biến theo phương thức

Chatbot Arena kết hợp đa phương thức! Multi-Modality Arena cho phép bạn so sánh các mô hình ngôn ngữ thị giác cạnh nhau với đầu vào là hình ảnh. Hỗ trợ MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 và nhiều mô hình khác!