文心4.0推理成本翻十倍？百度今日跌超5%，大模型企业如何走远？

2023-10-13 17:06

文心4.0参数曝光，大模型真的只是巨头们的游戏

继今年5月推出文心大模型3.5后，有消息称，百度正在加紧训练文心大模型4.0，已接近可发布状态。有专家表示，大模型成本将会大幅提升，向用户收费将是大势所趋。

而11月9日，财联社爆料称百度的文心大模型4.0正在加紧训练，已经接近可发布状态。次日，IT之家也扒到了更多关于文心4.0的消息，涉及了底层架构、基础设施、训练数据集、成本等关键信息。

从已经爆出来的信息看，文心大模型4.0的参数规模要大于目前所有公开发布参数的大语言模型，预计可能突破万亿级别。换句话说，文心4.0的神经网络结构将变得更复杂、参数规模更大，这必然带来更大的计算量，推理成本增加也就顺理成章。

单看参数量，很多人会觉得还好，毕竟根据目前揭秘的信息，GPT-4的参数量已经在1.8万亿左右。但爆料人进一步表示，文心大模型4.0仍然是一个单一模型，并没有采用GPT和很多其他大语言模型使用的混合专家模型（MoE）。

如此大参数量的模型，对算力要求注定不会小。现在的消息是，文心 4.0 是在万卡 AI 集群上训练出来的，应该也算上是国内首次使用万卡规模集群进行训练的大语言模型。而万卡集群，国内目前只有华为、阿里透露已建成万卡 AI 集群，但我们都没看到基于它推出的具体模型。

最后，在芯片和集群方面，使用什么样的芯片型号，用多大的规模和集群架构进行推理都会影响大模型的推理成本。以GPT-4为例，据爆料，GPT-4推理运行在由 128 个 GPU 组成的集群上。在不同地点的多个数据中心存在多个这样的集群。文心大模型4.0在这方面，不知是否也遇到了挑战。

虽然大模型领域的“摩尔定律”（Scaling Laws）已经开始发挥作用，随着未来能源和计算成本快速下降，更强大的AI能力将会出现。但现实是，随着大语言模型的不断升级迭代，参数量突破万亿、模型能力越来越强、用户使用量激增，推理成本都是大模型厂商需要持续优化的地方。

而文心大模型4.0快速攀升的参数量、数据量所带来的训练和推理成本提升，也正在成为大模型商业化过程中需要考虑的重点。

在消息传出后，同时受到市场大势影响，百度港股股价低开低走，截至目前下跌5.02%，报收于124.9港元每股。

原文标题 : 文心4.0推理成本翻十倍？百度今日跌超5%，大模型企业如何走远？

声明： 本文由入驻维科号的作者撰写，观点仅代表作者本人，不代表OFweek立场。如有侵权或其他问题，请联系举报。

共0条评论，0人参与

登录登录即可访问所有OFweek服务

请输入评论内容...

请输入评论/评论长度6~500个字

暂无评论

图片新闻