multimodal

Implementasi Plug and Play dari Tree of Thoughts: Pemecahan Masalah yang Disengaja dengan Model Bahasa Besar yang meningkatkan penalaran model setidaknya 70%

Tutorial dan sumber daya terkurasi untuk Large Language Models, AI Painting, dan banyak lagi.

Ubah kumpulan URL gambar yang besar menjadi dataset gambar dengan mudah. Mampu mengunduh, mengubah ukuran, dan mengemas 100 juta URL dalam 20 jam pada satu mesin.

Toolkit evaluasi multimodal serbaguna untuk tugas teks, gambar, video, dan audio.

Fengshenbang-LM adalah sistem model besar sumber terbuka yang dipimpin oleh pusat penelitian komputasi kognitif dan bahasa alami IDEA, yang menjadi infrastruktur untuk AIGC bahasa Mandarin dan kecerdasan kognitif.

MOSS‑TTS Family adalah keluarga model pembuatan suara dan ucapan open‑source dari MOSI.AI dan tim OpenMOSS. Dirancang untuk skenario dunia nyata yang sangat akurat, sangat ekspresif, dan kompleks, mencakup ucapan berdurasi panjang yang stabil, dialog multi-pembicara, desain suara/karakter, efek suara lingkungan, dan TTS streaming waktu nyata.

Kotak Alat Pra-pelatihan dan Tolok Ukur OpenMMLab

Plugin visual pertama untuk DeepSeek Harness, dan jembatan visual untuk setiap agen koding teks saja. Tempel gambar, dapatkan bukti JSON terstruktur (OCR, tata letak, semantik).

SimpleMem: Memori jangka panjang yang efisien untuk Agen LLM — Teks & Multimodal

Mesin pengambilan multimodal sumber terbuka (Morphik Core). Oleh Morphik — AI back office untuk perawatan terampil & hunian senior (morphik.ai).

Dari Chain-of-Thought prompting hingga OpenAI o1 dan DeepSeek-R1 🍓

Kode dan model untuk makalah ICML 2024, NExT-GPT: Large Language Model Multimodal Any-to-Any

MTEB: Evaluasi mutakhir untuk embedding lintas bahasa dan modalitas

InternGPT (iGPT) adalah platform demo open source untuk memamerkan model AI Anda dengan mudah. Kini mendukung DragGAN, ChatGPT, ImageBind, obrolan multimodal seperti GPT-4, SAM, penyuntingan gambar interaktif, dll. Coba di igpt.opengvlab.com.

Kerangka kerja mutakhir yang dapat diperluas untuk kompresi kolom, dan format file kolom FOSS tercepat. Sebelumnya di @spiraldb, sekarang menjadi proyek Tahap Inkubasi di LFAI&Data, bagian dari Linux Foundation.

Arsitektur fondasi untuk (M)LLM

Merepresentasikan, mengirim, menyimpan, dan mencari data multimodal

[NeurIPS 2024] OSWorld: Benchmarking agen multimodal untuk tugas terbuka di lingkungan komputer nyata.

🤖 SDK AI TypeScript yang aman dari tipe dan agnostik penyedia untuk streaming obrolan, pemanggilan alat, agen, dan aplikasi multimodal di OpenAI, Anthropic, Gemini, React, Vue, Svelte, dan Solid.

InternLM-XComposer2.5-OmniLive: Sistem multimodal komprehensif untuk interaksi video dan audio streaming jangka panjang

Lapisan konteks untuk data tidak terstruktur: dataset bertipe dan berversi di atas S3, GCS, Azure.

Hitung embedding CLIP dengan mudah dan bangun sistem temu kembali CLIP menggunakannya.

Gambar untuk inferensi tanpa pelabelan (menggunakan model dasar untuk melatih model terawasi).

menyederhanakan proses fine-tuning untuk model multimodal: PaliGemma 2, Florence-2, dan Qwen2.5-VL

[EMNLP-2024] Membangun agen bahasa multimodal untuk prototipe cepat dan produksi

Sumber daya komprehensif tentang AI Generatif, termasuk peta jalan terperinci, proyek, kasus penggunaan, persiapan wawancara, dan persiapan pemrograman.

Repositori resmi OFA (ICML 2022). Makalah: OFA: Menyatukan Arsitektur, Tugas, dan Modalitas Melalui Kerangka Kerja Pembelajaran Sequence-to-Sequence yang Sederhana

mPLUG-Owl: Keluarga Large Language Model Multi-modal yang Kuat

HuixiangDou: Mengatasi Skenario Obrolan Grup dengan Bantuan Teknis berbasis LLM

(ෆ`꒳´ෆ) Survei tentang pembuatan/sintesis teks-ke-gambar.