bigscience-workshop

🌸 LLMs zu Hause ausführen, im BitTorrent-Stil. Fine-Tuning und Inferenz bis zu 10x schneller als das Auslagern

Laufende Forschungsarbeit zum großflächigen Training von Transformer-Sprachmodellen, einschließlich: BERT & GPT-2

Zentrale Anlaufstelle für die Engineering/Scaling WG: Dokumentation, SLURM-Skripte und -Logs, Rechenumgebung und Daten.

Sprachübergreifende Generalisierung durch Multitask-Finetuning

Tools zur Kuratierung biomedizinischer Trainingsdaten für Large-Scale Language Modeling.