multimodal

SDK để tương tác với các API của stability.ai (ví dụ: suy luận stable diffusion)

mPLUG-DocOwl: Mô hình ngôn ngữ lớn đa phương thức mô-đun hóa để hiểu tài liệu

[ECCV2024] Video Foundation Models & Data dành cho thấu hiểu đa phương thức

🎨 NeMo Data Designer: Tạo dữ liệu tổng hợp chất lượng cao từ đầu hoặc từ dữ liệu gốc.

GenAI Processors là một thư viện Python nhẹ giúp xử lý nội dung song song hiệu quả.

Cho phép Claude (hoặc bất kỳ LLM nào) thực sự xem video — nhận biết cảnh, loại bỏ khung hình trùng lặp + bản ghi lời thoại, từ URL hoặc tệp cục bộ. Chạy cục bộ, giấy phép MIT.

AI đa thức thời gian thực trên thiết bị với các tính năng tương tự GPT-Live

[ICLR & NeurIPS 2025] Kho lưu trữ cho dòng Show-o, một Transformer duy nhất hợp nhất việc hiểu và tạo đa phương thức.

Một bản cài đặt mã nguồn mở để tinh chỉnh chuỗi Qwen-VL bởi Alibaba Cloud.

Triển khai "BitNet: Scaling 1-bit Transformers for Large Language Models" trong pytorch

Bộ sưu tập các ý tưởng và thuật toán độc đáo, sáng tạo hướng tới Máy móc văn bản nâng cao. Dự án này được duy trì bởi Nhóm OCR thuộc Phòng thí nghiệm Công nghệ Ngôn ngữ, Phòng thí nghiệm Thông Y, Alibaba Group.

Tổng hợp các chương trình đồ họa cho số liệu khoa học và bản phác thảo bằng TikZ.

Hệ thống tự động lập trình cho ứng dụng của bạn — Alan AI SDK cho Android

Hệ thống tự lập trình cho ứng dụng của bạn — Alan AI SDK cho Flutter

Hệ thống tự lập trình cho ứng dụng của bạn — Alan AI SDK cho Ionic

Backend đa phương thức thống nhất cho các ứng dụng dữ liệu AI

LLM đa phương thức tốc độ cao trên thiết bị di động

Lấy dữ liệu sạch từ các tài liệu phức tạp, được hỗ trợ bởi các mô hình thị giác-ngôn ngữ ⚡

Một kiến trúc Mô hình Ngôn ngữ Lớn Đa phương thức (MLLM) mới, được thiết kế để căn chỉnh cấu trúc giữa các embedding thị giác và văn bản.

Trí tuệ trực quan cho ngôi nhà của bạn.

Tổng quan về các LLM tiếng Nhật

Kho lưu trữ này là bản triển khai chính thức của Disentangling Writer and Character Styles for Handwriting Generation (CVPR 2023)

WeMM-Embedding is a family of universal multimodal embedding models by the WeChat Vision Team at Tencent, supporting multimodal understanding and retrieval.

Công cụ suy luận ngoại tuyến cho nghệ thuật, trò chuyện thoại thời gian thực, chatbot hỗ trợ bởi LLM và quy trình làm việc tự động

Danh mục trực quan được tuyển chọn của hơn 155 kiến trúc mô hình ngôn ngữ thị giác (VLM/MLLM): tài liệu nghiên cứu, sơ đồ, công thức huấn luyện, tập dữ liệu và mốc thời gian phát hành cho các tác nhân AI đa phương thức.

Cung cấp cho Claude khả năng xem và hiểu video — Plugin Claude Code với tính năng trích xuất khung hình và phân tích âm thanh đa phương thức

AI đa phương thức cỡ nhỏ để hiểu và tạo nội dung trên văn bản đa ngôn ngữ, hình ảnh và video, nhanh hơn tới 5 lần so với OpenAI CLIP và LLaVA

Xtreme1 là nền tảng gán nhãn và chú thích dữ liệu tất cả trong một dành cho huấn luyện dữ liệu đa phương thức, hỗ trợ đám mây điểm 3D LiDAR, hình ảnh và LLM.

Thống nhất việc tạo lưới 3D với các Mô hình ngôn ngữ

Chuyển đổi tài liệu thành Markdown sẵn sàng cho AI với khả năng nhận diện hình ảnh