multimodal

Triển khai cắm và chạy (plug-and-play) của Tree of Thoughts: Giải quyết vấn đề có chủ ý với các mô hình ngôn ngữ lớn giúp nâng cao khả năng suy luận của mô hình lên ít nhất 70%.

Các hướng dẫn và tài nguyên được tuyển chọn cho Large Language Models, AI Painting và nhiều hơn nữa.

Dễ dàng chuyển đổi các tập hợp lớn URL hình ảnh thành một bộ dữ liệu hình ảnh. Có thể tải xuống, thay đổi kích thước và đóng gói 100 triệu URL trong 20 giờ trên một máy duy nhất.

Bộ công cụ đánh giá đa phương thức toàn diện cho các tác vụ Văn bản, Hình ảnh, Video và Âm thanh

Fengshenbang-LM là hệ thống mô hình lớn mã nguồn mở do Trung tâm Nghiên cứu Tính toán Nhận thức và Ngôn ngữ Tự nhiên của Viện Nghiên cứu IDEA chủ trì, trở thành cơ sở hạ tầng cho AIGC tiếng Trung và trí tuệ nhận thức.

MOSS‑TTS Family là một dòng mô hình tạo giọng nói và âm thanh mã nguồn mở từ MOSI.AI và nhóm OpenMOSS. Được thiết kế cho các kịch bản thực tế phức tạp, có độ trung thực và biểu cảm cao, bao gồm giọng nói dài ổn định, hội thoại nhiều người nói, thiết kế giọng nói/nhân vật, hiệu ứng âm thanh môi trường và TTS phát trực tuyến thời gian thực.

Bộ công cụ huấn luyện trước và tiêu chuẩn đánh giá của OpenMMLab

Plugin thị giác đầu tiên cho DeepSeek Harness, và cầu nối thị giác cho mọi coding agent chỉ hỗ trợ văn bản. Dán hình ảnh, nhận dữ liệu JSON có cấu trúc (OCR, bố cục, ngữ nghĩa).

SimpleMem: Bộ nhớ suốt đời hiệu quả cho các tác nhân LLM — Văn bản & Đa phương thức

Công cụ tìm kiếm đa phương thức mã nguồn mở (Morphik Core). Bởi Morphik — Văn phòng hậu kỳ AI dành cho điều dưỡng chuyên sâu & đời sống người cao tuổi (morphik.ai).

Từ Chain-of-Thought prompting đến OpenAI o1 và DeepSeek-R1 🍓

Mã nguồn và mô hình cho bài báo ICML 2024, NExT-GPT: Mô hình ngôn ngữ lớn đa phương thức Any-to-Any

MTEB: Đánh giá tiên tiến về các embedding qua các ngôn ngữ và phương thức

InternGPT (iGPT) là một nền tảng demo mã nguồn mở nơi bạn có thể dễ dàng trưng bày các mô hình AI của mình. Hiện hỗ trợ DragGAN, ChatGPT, ImageBind, trò chuyện đa phương thức như GPT-4, SAM, chỉnh sửa ảnh tương tác, v.v. Hãy thử tại igpt.opengvlab.com

Một framework hiện đại, có thể mở rộng để nén dạng cột và là định dạng tệp dạng cột FOSS nhanh nhất. Trước đây thuộc @spiraldb, hiện là dự án ở Giai đoạn ươm tạo tại LFAI&Data, một phần của Linux Foundation.

Kiến trúc nền tảng cho (M)LLM.

Biểu diễn, gửi, lưu trữ và tìm kiếm dữ liệu đa phương thức

[NeurIPS 2024] OSWorld: Đánh giá chuẩn các tác nhân đa phương thức cho các tác vụ mở trong môi trường máy tính thực tế

SDK TypeScript AI type-safe, không phụ thuộc nhà cung cấp, dùng cho chat stream, gọi công cụ, tác nhân và ứng dụng đa phương thức trên OpenAI, Anthropic, Gemini, React, Vue, Svelte và Solid.

InternLM-XComposer2.5-OmniLive: Hệ thống đa phương thức toàn diện cho tương tác video và âm thanh phát streaming thời gian dài

Lớp ngữ cảnh cho dữ liệu phi cấu trúc: các tập dữ liệu có kiểu và có phiên bản trên S3, GCS, Azure

Dễ dàng tính toán các embedding clip và xây dựng hệ thống truy xuất clip với chúng

Hình ảnh để suy luận không cần gán nhãn (sử dụng các mô hình nền tảng để huấn luyện các mô hình có giám sát).

Đơn giản hóa quá trình tinh chỉnh (fine-tuning) cho các mô hình đa phương thức: PaliGemma 2, Florence-2 và Qwen2.5-VL

[EMNLP-2024] Xây dựng các tác nhân ngôn ngữ đa phương thức để tạo nguyên mẫu và sản xuất nhanh chóng

Tài nguyên toàn diện về Generative AI, bao gồm lộ trình chi tiết, dự án, trường hợp sử dụng, chuẩn bị phỏng vấn và chuẩn bị lập trình.

Kho lưu trữ chính thức của OFA (ICML 2022). Bài báo: OFA: Hợp nhất các kiến trúc, tác vụ và phương thức thông qua một framework học tập chuỗi sang chuỗi đơn giản

mPLUG-Owl: Dòng mô hình ngôn ngữ lớn đa phương thức mạnh mẽ

HuixiangDou: Vượt qua các kịch bản trò chuyện nhóm bằng trợ giúp kỹ thuật dựa trên LLM

(ෆ`꒳´ෆ) Khảo sát về Tạo/Tổng hợp Văn bản thành Hình ảnh.