在 AI 训练任务上，芯片决定了算力的理论上限，服务器和集群的整合可以保证基础的运行效率，而最终能充分发挥计算潜力的是深度学习框架。飞桨自诞生以来一直在百度业务实践中被不断改进。结合计算机视觉、自然语言处理、科学计算等领域的应用，飞桨研发了异构硬件下的低存储和高性能训练技术，并拥有多项领先技术成果，基础训练性能也一路提升。

4.1 登顶全球最权威 AI 性能基准评测
11 月 10 日，机器学习基准测试平台 MLPerf （MLPerf 是目前国际公认的权威 AI 性能评测基准）放出了最新一期榜单，在 BERT 模型训练排行榜上，百度使用飞桨框架提交的 8 机 64 卡配置在同等 GPU 配置下获得第一名[1]。百度参与的自然语言处理赛道要求训练 BERT Large 模型，比较语言模型准确率（Masked Language Model Accuracy）训练至 72% 的端到端时间。作为 NLP 领域的知名模型之一，BERT 使用的 Transformer 架构正是目前主流大模型的基础架构。

本次评测共有 21 个公司和机构参与。百度提出的方法在端到端训练时间和训练吞吐两个指标上均超越了同等 GPU 配置下的所有对手。在同等 GPU 配置下端到端训练收敛时间比其它提交结果快 1% 到 20%，在训练吞吐量上比其他提交结果要快 2% 到 12%。此结果进一步印证了飞桨分布式训练的性能表现。