pretraining

Implementasikan LLM mirip ChatGPT dalam PyTorch dari awal, langkah demi langkah

Komunitas Llama bahasa Mandarin, mengumpulkan materi pembelajaran Llama terbaru secara real-time, membangun ekosistem open source model besar Llama bahasa Mandarin terbaik, sepenuhnya open source dan dapat digunakan secara komersial.

Teknologi umum untuk mengaktifkan kemampuan AI dengan LLM dan MLLM

Repositori resmi OFA (ICML 2022). Makalah: OFA: Menyatukan Arsitektur, Tugas, dan Modalitas Melalui Kerangka Kerja Pembelajaran Sequence-to-Sequence yang Sederhana

mPLUG-Owl: Keluarga Large Language Model Multi-modal yang Kuat

HRM-Text adalah model pembuatan teks 1B berbasis arsitektur HRM, yang diperkuat dengan penyelesaian tugas dan penalaran ruang laten.

Makalah tentang pretraining dan pembelajaran mandiri (self-supervised learning) pada Graph Neural Networks (GNN).

[ICLR'23 Spotlight🔥] Pre-training gaya BERT/MAE pertama yang sukses pada jaringan konvolusional apa pun; Implementasi Pytorch untuk "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"

GraphGen: Meningkatkan Fine-Tuning Tersupervisi untuk LLM dengan Pembuatan Data Sintetis Berbasis Pengetahuan

Repositori Resmi untuk Metode Seri Uni-Mol

Kode pretraining dan inferensi untuk model bahasa depth-recurrent skala besar

【ICLR 2024🔥】 Memperluas Pra-pelatihan Video-Bahasa ke N-modalitas melalui Penyelarasan Semantik Berbasis Bahasa

Daftar kurasi makalah Visi 3D yang berkaitan dengan domain Robotika di era model besar seperti LLM/VLM, terinspirasi dari awesome-computer-vision, mencakup makalah, kode, dan situs web terkait

Implementasi resmi MARS: Memanfaatkan Kekuatan Reduksi Varians untuk Melatih Model Besar

Proyek Pribadi: MPP-Qwen14B & MPP-Qwen-Next (Multimodal Pipeline Parallel berdasarkan Qwen-LM). Mendukung [video/gambar/multi-gambar] {sft/percakapan}. Jangan biarkan kemiskinan membatasi imajinasi Anda! Latih MLLM mirip pelatihan LLaVA 8B/14B Anda sendiri di RTX3090/4090 24GB.

Repositori resmi untuk "Craw4LLM: Efficient Web Crawling for LLM Pretraining"

Saprot: Model Bahasa Protein dengan Alfabet Struktural (AA+3Di)

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs.

PITI: Pretraining is All You Need for Image-to-Image Translation