bigscience-workshop

Exécutez des LLM chez vous, façon BitTorrent. Fine-tuning et inférence jusqu'à 10 fois plus rapides qu'avec le déchargement classique.

Recherche continue sur l'entraînement de modèles de langage transformer à grande échelle, incluant BERT et GPT-2

Point central pour le groupe de travail ingénierie/mise à l'échelle : documentation, scripts et journaux SLURM, environnement de calcul et données.

Généralisation cross-lingue via le fine-tuning multitâche

Outils pour la curation de données d'entraînement biomédicales destinées aux modèles de langage à grande échelle