pretraining

Implementiere ein ChatGPT-ähnliches LLM in PyTorch von Grund auf, Schritt für Schritt.

Llama-Community auf Chinesisch, die in Echtzeit die neuesten Llama-Lernmaterialien zusammenfasst und das beste chinesische Llama-Open-Source-Ökosystem aufbaut, vollständig Open Source und kommerziell nutzbar

Allgemeine Technologie zur Ermöglichung von KI-Funktionen mit LLMs und MLLMs

Offizielles Repository von OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

mPLUG-Owl: Die leistungsstarke Familie multimodaler Large Language Models

HRM-Text ist ein 1B-Textgenerierungsmodell basierend auf der HRM-Architektur, verstärkt durch Aufgabenabschluss und Latent-Space-Reasoning.

Forschungsarbeiten zum Vortraining und selbstüberwachten Lernen bei Graph Neural Networks (GNNs).

[ICLR'23 Spotlight🔥] Das erste erfolgreiche BERT/MAE-artige Vortraining für beliebige neuronale Faltungsnetze; PyTorch-Impl. von „Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling“

GraphGen: Verbesserung des Supervised Fine-Tuning für LLMs durch wissensbasierte synthetische Datengenerierung

Offizielles Repository für die Methoden der Uni-Mol-Serie.

Pretraining- und Inferenz-Code für ein großflächiges, tiefenrekurrentes Sprachmodell

[ICLR 2024🔥] Erweiterung des Video-Language-Pretraining auf N-Modalität durch sprachbasierte semantische Ausrichtung

Eine kuratierte Liste von 3D-Vision-Papern mit Bezug zur Robotik im Zeitalter großer Modelle wie LLMs/VLMs, inspiriert von awesome-computer-vision, einschließlich Papers, Codes und zugehörigen Websites

Die offizielle Implementierung von MARS: Unleashing the Power of Variance Reduction for Training Large Models

Persönliches Projekt: MPP-Qwen14B & MPP-Qwen-Next (Multimodale Pipeline-Parallelisierung basierend auf Qwen-LM). Unterstützt [Video/Bild/Multi-Bild] {SFT/Konversationen}. Lassen Sie sich nicht von Armut in Ihrer Vorstellungskraft einschränken! Trainieren Sie Ihr eigenes LLaVA-ähnliches MLLM (8B/14B) auf einer RTX3090/4090 mit 24 GB.

Offizielles Repository für „Craw4LLM: Efficient Web Crawling for LLM Pretraining“

Saprot: Protein-Sprachmodell mit strukturellem Alphabet (AA+3Di)

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs.

PITI: Pretraining is All You Need für Image-to-Image-Translation.