bigscience-workshop

🌸 在家以 BitTorrent 方式運行 LLM，微調與推論速度提升至 10 倍以上

大規模訓練 transformer 語言模型的持續研究，包含：BERT 與 GPT-2

工程與擴展工作群組（WG）的中心站點：文件、SLURM 腳本與日誌、運算環境與資料。

透過多任務微調實現跨語言泛化

用於大規模語言模型生物醫學訓練資料策展的工具。