bigscience-workshop

🌸 Ejecuta LLMs en casa, al estilo BitTorrent. Ajuste fino e inferencia hasta 10 veces más rápido que con descarga de datos

Investigación continua sobre el entrenamiento de modelos de lenguaje transformer a escala, incluyendo: BERT y GPT-2

Lugar central para el grupo de trabajo de ingeniería/escalado: documentación, scripts y registros de SLURM, entorno de computación y datos.

Generalización interlingüe mediante ajuste fino multitarea

Herramientas para curar datos de entrenamiento biomédicos para modelos de lenguaje a gran escala.