微软推出 ZeRO++技术 减少AI大模型训练时间和成本
发布时间：2024-01-02 00:47:28 所属栏目：外闻 来源：DaWei
导读： 微软研究人员日前推出了名为 ZeRO++ 的新技术，此软件用于优化大模型训练时容易遇到的数据传递费用和网络带宽受限等问题,能有效降低大模型训练的时间和成本。
据悉，ZeRO++ 建立在现有的
据悉，ZeRO++ 建立在现有的
|
微软研究人员日前推出了名为 ZeRO++ 的新技术，此软件用于优化大模型训练时容易遇到的数据传递费用和网络带宽受限等问题,能有效降低大模型训练的时间和成本。 据悉，ZeRO++ 建立在现有的 ZeRO 传输技术基础上，提供能够有效地提高培训效率、同时可减少培训时间和费用的加强沟通策略。 为了减少参数通信量，ZeRO++ 可对权重进行量化，其利用基于块的量化方法来保持训练精度，这种优化的量化过程相对原始Zero 传输技术更快更准确。为了能够尽量减少通信开销，ZeRO++ 通过在每台机器上保持完整的模型副本，以向 GPU 显存换取通信带宽。而在梯度通信方面，ZeRO++ 引入了一种名为qgZ 的新的量化梯度通信方式，可以减少跨节点的流量和延迟。 这些改进的通信技术大大减少了通信量，微软研究人员表示，与 ZeRO 相比，ZeRO++ 减少了高达4 倍的通信量，提高了训练吞吐量和效率。当在每个GPU 上使用小批量大小时，在高带宽集群中，ZeRO++相比ZeRO-3 的吞吐量提高了 28% 至 36%。在低带宽集群中，与 ZeRO-3 相比，ZeRO++ 实现了平均 2 倍的加速，这使大模型训练在更多的集群环境下更加适用。 例如 Turing-NLG、ChatGPT 和 GPT-4 这样的大型模型，其训练需要跨多个 GPU 设备占用大量显存和计算资源，而 ZeRO++ 引入了通信优化策略，以克服在低带宽集群上进行训练时原有 ZeRO 传输技术的带宽限制。目前微软已经放出了相关技术文档，研究人员可以利用 ZeRO++ 更有效地训练模型，在 AI 领域探索新的可能性。 （编辑：徐州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
推荐文章
站长推荐
