华为云CTO张宇昕:大模型时代需要全新的网络互联技术
2024-02-26 11:45
2月26日消息,华为云CTO张宇昕在巴塞罗那华为云峰会表示,大模型时代对算力有着全新的要求:1、联算比。未来需要全新的网络互联技术来解决运算量和GPU算力之间的巨大差距。2、容算比。当前在模型训练过程中为获取足够显存容量,存在不必要的GPU算力闲置。3、存算比。当前在模型训练过程中,大量的时间消耗在GPU数据加载,造成算力的进一步浪费。基于此,云的系统架构将从“以CPU为中心的主从架构”向“多元算力对等架构” 跃迁。(科创板日报)
喜欢您正在阅读的内容吗?欢迎免费订阅泰伯每周精选电邮。
立即订阅
声明:泰伯网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,文章内容仅供参考。