vision-language-model

[NeurIPS'23 Oral] Tinh chỉnh hướng dẫn trực quan (LLaVA) được xây dựng hướng tới khả năng ngang tầm GPT-4V và xa hơn nữa.

X-AnyLabeling: Một ứng dụng desktop đa nền tảng gọn nhẹ, hiệu quả và thống nhất để chú thích văn bản, hình ảnh, video và dữ liệu đa phương thức, kết hợp các công cụ tích hợp linh hoạt với các mô hình AI tiên tiến và khả năng xuất đa định dạng linh hoạt.

[CVPR 2024 Oral] Họ InternVL: Giải pháp thay thế nguồn mở tiên phong cho GPT-4o. Mô hình đối thoại đa phương thức nguồn mở có hiệu suất gần bằng GPT-4o

👀 Huấn luyện một VLM 65 triệu tham số từ đầu chỉ trong 2 giờ!

Kho lưu trữ chính thức của Qwen-VL (通义千问-VL), mô hình ngôn ngữ thị giác lớn trò chuyện và huấn luyện trước do Alibaba Cloud đề xuất.

MineContext là đối tác AI chủ động, nhận thức ngữ cảnh của bạn (Context-Engineering+ChatGPT Pulse)

MLX-VLM là một gói để suy luận và tinh chỉnh các Mô hình Ngôn ngữ Thị giác (VLM) trên Mac sử dụng MLX.

Align Anything: Huấn luyện mô hình đa phương thức với phản hồi

Bộ công cụ đánh giá đa phương thức toàn diện cho các tác vụ Văn bản, Hình ảnh, Video và Âm thanh

DeepSeek-VL: Hướng tới Hiểu biết Tầm nhìn-Ngôn ngữ trong Thế giới Thực

Kho lưu trữ chính thức của MiniMax-Text-01 và MiniMax-VL-01, mô hình ngôn ngữ lớn & mô hình ngôn ngữ thị giác dựa trên Linear Attention

Kho lưu trữ chính thức cho "Mini-Gemini: Khai thác tiềm năng của các Mô hình Ngôn ngữ Tầm nhìn Đa phương thức"

Bộ sưu tập các mô hình thị giác-ngôn ngữ AWESOME cho các tác vụ thị giác

Bộ công cụ đa năng cho AI ngoại tuyến. Trò chuyện, xem, nói chuyện và tạo hình ảnh trên điện thoại hoặc Mac — GGUF LLMs, thị giác máy tính, chuyển giọng nói thành văn bản Whisper, Stable Diffusion, gọi công cụ và máy chủ mạng nội bộ. Chạy trên CPU, GPU hoặc NPU của bạn. Không tài khoản, không khóa API, dữ liệu không rời khỏi thiết bị của bạn.

InternLM-XComposer2.5-OmniLive: Hệ thống đa phương thức toàn diện cho tương tác video và âm thanh phát streaming thời gian dài

Mã nguồn được sử dụng để huấn luyện và chạy suy luận với các mô hình ColVision, ví dụ: ColPali, ColQwen2 và ColSmol.

Framework Cradle là nỗ lực đầu tiên về Điều khiển Máy tính Tổng quát (GCC). Cradle hỗ trợ các agent hoàn thành xuất sắc mọi tác vụ máy tính bằng cách cho phép khả năng suy luận mạnh mẽ, tự cải thiện và quản lý kỹ năng, trong một môi trường chung chuẩn hóa với các yêu cầu tối thiểu.

Một bản cài đặt mã nguồn mở để tinh chỉnh chuỗi Qwen-VL bởi Alibaba Cloud.

[CVPR 2025] Mô hình Vision-Language-Action mã nguồn mở, đầu cuối dành cho GUI Agent & Computer Use.

Danh sách các tài nguyên tuyệt vời về LLM/VLM/VLA/Mô hình Thế giới cho Xe tự hành (LLM4AD) (được cập nhật liên tục)

NVIDIA AI Blueprint cho tìm kiếm và tóm tắt video (VSS) là một kiến trúc tham chiếu tăng tốc bằng GPU để xây dựng các tác nhân phân tích video với cảnh báo được xác thực theo thời gian thực, hỏi đáp trực quan và báo cáo tự động. VSS Blueprint sử dụng các mô hình ngôn ngữ tầm nhìn (VLMs) như NVIDIA Cosmos, LLMs như NVIDIA Nemotron, RAG và NVIDIA NIMs.

Bộ sưu tập các ý tưởng và thuật toán độc đáo, sáng tạo hướng tới Máy móc văn bản nâng cao. Dự án này được duy trì bởi Nhóm OCR thuộc Phòng thí nghiệm Công nghệ Ngôn ngữ, Phòng thí nghiệm Thông Y, Alibaba Group.

Seed1.5-VL, một mô hình nền tảng ngôn ngữ-thị giác được thiết kế để thúc đẩy khả năng hiểu và suy luận đa phương thức đa năng, đạt hiệu suất hàng đầu trên 38 trong tổng số 60 benchmark công khai.

Máy chủ suy luận LLM hiệu năng cao tương thích với OpenAI và Anthropic dành cho Apple Silicon. Hỗ trợ MLX native, continuous batching, các mô hình đa phương thức, gọi công cụ MCP và Claude Code.

Lấy dữ liệu sạch từ các tài liệu phức tạp, được hỗ trợ bởi các mô hình thị giác-ngôn ngữ ⚡

[ICCV 2025] Triển khai cho Describe Anything: Chú thích hình ảnh và video cục bộ chi tiết

Một kiến trúc Mô hình Ngôn ngữ Lớn Đa phương thức (MLLM) mới, được thiết kế để căn chỉnh cấu trúc giữa các embedding thị giác và văn bản.

Tổng quan về các LLM tiếng Nhật

Tinh chỉnh LLM trên máy Mac của bạn với Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding và tinh chỉnh OCR — chạy gốc trên MLX. API tương thích với Unsloth.

Các mô hình đa phương thức hợp nhất tuyệt vời