multimodal

Các bài báo và điểm chuẩn mới nhất về lập luận với các mô hình nền tảng.

MOSS-Audio là mô hình nền tảng mã nguồn mở cho việc hiểu âm thanh thống nhất, hỗ trợ lời nói, âm thanh, âm nhạc, chú thích, QA và suy luận trong các tình huống thực tế.

Triển khai chính thức của SEED-LLaMA (ICLR 2024)

Trang dự án cho "Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement".

Danh sách tổng hợp các mô hình nền tảng và đa phương thức hàng đầu! [Bài báo + Mã nguồn + Ví dụ + Hướng dẫn]

Triển khai chính thức cho "Blended Latent Diffusion" [SIGGRAPH 2023].

Second Brain là một khung tác nhân hoạt động như một hệ điều hành, sử dụng trí thông minh tệp tin cục bộ, tự động hóa quy trình làm việc và LLM để hoàn thành các tác vụ cũng như giao tiếp qua nhiều phương thức và nền tảng nhắn tin.

Khám phá "Khoảnh khắc Aha" đa phương thức trên mô hình 2B

Kho lưu trữ này cung cấp các chương trình để xây dựng mã RAG (Retrieval Augmented Generation) cho Generative AI với LlamaIndex, Deep Lake và Pinecone, tận dụng sức mạnh của các mô hình OpenAI và Hugging Face để tạo và đánh giá.

Hunyuan3D-Omni: Khung thống nhất để tạo tài nguyên 3D có thể kiểm soát

[ECCV 2024] Tokenize Anything via Prompting.

Kho lưu trữ này chứa mã đánh giá cho bài báo "MMMU: Một điểm chuẩn hiểu và suy luận đa phương thức đa ngành lớn cho AGI chuyên gia"

Một công cụ học tăng cường bất đồng bộ cho đào tạo hậu kỳ đa phương thức ở quy mô lớn

Triển khai chính thức cho "Blended Diffusion for Text-driven Editing of Natural Images" [CVPR 2022].

[ECCV2024] Mô hình ngôn ngữ lớn đa phương thức có căn cứ với mã hóa hình ảnh cục bộ

Tạo tự động hóa trình duyệt như thể bạn đang hướng dẫn con người bằng GPT-4 Vision.

RAI là một khung tác nhân bất khả tri về nhà cung cấp cho robot AI vật lý, sử dụng các công cụ ROS 2 để thực hiện các hành động phức tạp, các kịch bản được xác định, thực thi giao diện tự do, tóm tắt nhật ký, tương tác giọng nói và hơn thế nữa.

Định tuyến đa phương thức, mã hóa địa lý và bản đồ gạch (map tiles).

LLaVA-Mini là mô hình đa phương thức lớn (LMM) hợp nhất, hỗ trợ hiểu hình ảnh, hình ảnh độ phân giải cao và video một cách hiệu quả.

Hệ thống tự lập trình cho ứng dụng của bạn — Alan AI SDK cho React Native.

Một tác nhân AI đa phương thức MCP có mắt và tai!

Nền tảng cho Trí tuệ tình huống (Situated Intelligence)

Suy luận CLIP bằng C/C++ thuần không phụ thuộc bên ngoài

Flame là một hệ thống AI đa phương thức mã nguồn mở được thiết kế để chuyển đổi các bản thiết kế UI thành mã React chất lượng cao. Nó tận dụng mô hình ngôn ngữ thị giác, tổng hợp dữ liệu tự động và quy trình đào tạo có cấu trúc để thu hẹp khoảng cách giữa thiết kế và phát triển front-end.

Trung tâm cho các lược đồ chuyên ngành công nghiệp khác nhau để sử dụng với VLM.

Tổng hợp các mô hình đa phương thức (bao gồm MLLM, UMM và NMM).

Mã nguồn chính thức của "EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model"