bigscience-workshop

🌸 在家以 BitTorrent 方式运行 LLM，微调与推理速度提升至 10 倍以上

大规模训练 transformer 语言模型的持续研究，包含：BERT 与 GPT-2

工程与扩展工作组（WG）的中心站点：文档、SLURM 脚本与日志、计算环境与数据。

通过多任务微调实现跨语言泛化

用于大规模语言模型生物医学训练数据策展的工具。