微软完成 2.8 万亿参数 MoE 模型 MAI-Base-2 预训练

微软 AI 于 10 月 15 日宣布完成新一代混合专家基础模型 MAI-Base-2 的预训练，总参数量 2.8 万亿、激活参数 800 亿，于今年 8 月至 9 月使用约 1.6 万块英伟达 GB200 GPU 训练 38 天。