vision-language

[ECCV 2024] Triển khai chính thức của bài báo "Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection"

Phiên bản tiếng Trung của CLIP giúp đạt được khả năng truy xuất đa phương thức và tạo biểu diễn bằng tiếng Trung.

Kho lưu trữ chính thức của OFA (ICML 2022). Bài báo: OFA: Hợp nhất các kiến trúc, tác vụ và phương thức thông qua một framework học tập chuỗi sang chuỗi đơn giản

Một bản cài đặt mã nguồn mở để tinh chỉnh chuỗi Qwen-VL bởi Alibaba Cloud.

Bộ sưu tập các ý tưởng và thuật toán độc đáo, sáng tạo hướng tới Máy móc văn bản nâng cao. Dự án này được duy trì bởi Nhóm OCR thuộc Phòng thí nghiệm Công nghệ Ngôn ngữ, Phòng thí nghiệm Thông Y, Alibaba Group.

Video-ChatGPT là một mô hình hội thoại video có khả năng tạo ra các cuộc hội thoại có ý nghĩa về video. Nó kết hợp khả năng của LLMs với một bộ mã hóa hình ảnh được huấn luyện trước, thích ứng cho biểu diễn video không gian-thời gian. Chúng tôi cũng giới thiệu một 'Đánh giá định lượng chuẩn hóa' nghiêm ngặt cho các mô hình hội thoại dựa trên video.

Tổng quan về các LLM tiếng Nhật

[ECCV 2024 Oral] DriveLM: Lái xe bằng Trả lời câu hỏi trực quan dựa trên đồ thị

Mô hình biểu diễn tổng quát cho các phương thức thị giác, âm thanh và ngôn ngữ. Bài báo: ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities

Khung mô hình đa phương thức lớn quy mô nhỏ

CALVIN - Điểm chuẩn cho Học chính sách theo điều kiện ngôn ngữ đối với các tác vụ thao tác robot dài hạn

[CVPR 2024] Alpha-CLIP: Mô hình CLIP tập trung vào bất kỳ vị trí nào bạn muốn

Đây là bản triển khai của bên thứ ba cho bài báo Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection.

LLaVA++: Mở rộng LLaVA với Phi-3 và LLaMA-3 (LLaVA LLaMA-3, LLaVA Phi-3).

[ICLR 2024] Kiểm soát các mô hình ngôn ngữ thị giác (Vision-Language Models) để phục hồi hình ảnh phổ quát. Đạt giải 5 trong thử thách NTIRE 2024 Restore Any Image Model in the Wild.

Triển khai chính thức của SEED-LLaMA (ICLR 2024)

🛰️ Kho lưu trữ chính thức của bài báo "RemoteCLIP: A Vision Language Foundation Model for Remote Sensing" (IEEE TGRS)

An open-weight 11B model series for long-form and real-time video understanding