llava

[NeurIPS'23 Oral] Tinh chỉnh hướng dẫn trực quan (LLaVA) được xây dựng hướng tới khả năng ngang tầm GPT-4V và xa hơn nữa.

SUPIR nhằm phát triển các thuật toán thực tế để phục hồi ảnh chân thực trong tự nhiên. Bản demo trực tuyến mới của chúng tôi cũng đã được phát hành tại suppixel.ai.

MLX-VLM là một gói để suy luận và tinh chỉnh các Mô hình Ngôn ngữ Thị giác (VLM) trên Mac sử dụng MLX.

Bộ công cụ đánh giá mã nguồn mở cho các mô hình đa phương thức lớn (LMM), hỗ trợ hơn 220 LMM, hơn 80 benchmark

Giải pháp NLP tiếng Trung (mô hình ngôn ngữ lớn, dữ liệu, mô hình, huấn luyện, suy luận)

Thư viện C#/.NET để chạy LLM (🦙LLaMA/LLaVA) trên thiết bị cục bộ của bạn một cách hiệu quả.

Eagle: Mô hình Thị giác-Ngôn ngữ Tiên phong với Chiến lược Lấy Dữ liệu làm Trọng tâm

[EMNLP-2024] Xây dựng các tác nhân ngôn ngữ đa phương thức để tạo nguyên mẫu và sản xuất nhanh chóng

Video-ChatGPT là một mô hình hội thoại video có khả năng tạo ra các cuộc hội thoại có ý nghĩa về video. Nó kết hợp khả năng của LLMs với một bộ mã hóa hình ảnh được huấn luyện trước, thích ứng cho biểu diễn video không gian-thời gian. Chúng tôi cũng giới thiệu một 'Đánh giá định lượng chuẩn hóa' nghiêm ngặt cho các mô hình hội thoại dựa trên video.

Trình quản lý thẻ và chú thích cho tập dữ liệu hình ảnh

AI đa phương thức cỡ nhỏ để hiểu và tạo nội dung trên văn bản đa ngôn ngữ, hình ảnh và video, nhanh hơn tới 5 lần so với OpenAI CLIP và LLaVA

Khung mã nguồn mở hoàn toàn dành cho đào tạo đa phương thức phi tập trung

Khung mô hình đa phương thức lớn quy mô nhỏ

LLaVA++: Mở rộng LLaVA với Phi-3 và LLaMA-3 (LLaVA LLaMA-3, LLaVA Phi-3).

Hệ thống giám sát video được hỗ trợ bởi OpenCV+YOLO+LLAVA

Paddle Multimodal Integration and eXploration, hỗ trợ các tác vụ đa phương thức phổ biến, bao gồm các mô hình tiền huấn luyện đa phương thức quy mô lớn end-to-end và bộ công cụ mô hình khuếch tán. Hiệu suất cao và linh hoạt.

Bộ sưu tập Frontend và khảo sát các bài báo, mô hình về vision-language. Cập nhật liên tục.

Danh sách tổng hợp các mô hình nền tảng và đa phương thức hàng đầu! [Bài báo + Mã nguồn + Ví dụ + Hướng dẫn]

Các node ComfyUI dành cho mô hình ngôn ngữ - thị giác: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Cùng với khả năng phát hiện từ vựng mở, phân đoạn SAM2/SAM3, suy luận thời gian trong video, GGUF qua llama.cpp và các API LLM/VLM được lưu trữ.

LLaVA-Mini là mô hình đa phương thức lớn (LMM) hợp nhất, hỗ trợ hiểu hình ảnh, hình ảnh độ phân giải cao và video một cách hiệu quả.

Trợ lý hỗ trợ công việc hàng ngày được vận hành bởi AI, sử dụng Llama 3, DeepSeek R1 và nhiều mô hình khác trên HuggingFace.