字节豆包大模型团队提出稀疏模型架构，推理成本最高可降低83%
2025-02-12 14:42
据豆包大模型团队消息，字节跳动豆包大模型Foundation团队近期提出UltraMem，一种同样将计算和参数解耦的稀疏模型架构，在保证模型效果的前提下解决了推理的访存问题。据介绍，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2-6倍，推理成本最高可降低83%。（36氪）
喜欢您正在阅读的内容吗？欢迎免费订阅泰伯每周精选电邮。
立即订阅
声明：泰伯网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述，文章内容仅供参考。
