侵权投诉
搜索
更多>> 热门搜索:
订阅
纠错
加入自媒体

文心4.0推理成本翻十倍?百度今日跌超5%,大模型企业如何走远?

2023-10-13 17:06
奇偶派
关注

文心4.0参数曝光,大模型真的只是巨头们的游戏

继今年5月推出文心大模型3.5后,有消息称,百度正在加紧训练文心大模型4.0,已接近可发布状态。有专家表示,大模型成本将会大幅提升,向用户收费将是大势所趋。

而11月9日,财联社爆料称百度的文心大模型4.0正在加紧训练,已经接近可发布状态。次日,IT之家也扒到了更多关于文心4.0的消息,涉及了底层架构、基础设施、训练数据集、成本等关键信息。

从已经爆出来的信息看,文心大模型4.0的参数规模要大于目前所有公开发布参数的大语言模型,预计可能突破万亿级别。换句话说,文心4.0的神经网络结构将变得更复杂、参数规模更大,这必然带来更大的计算量,推理成本增加也就顺理成章。

单看参数量,很多人会觉得还好,毕竟根据目前揭秘的信息,GPT-4的参数量已经在1.8万亿左右。但爆料人进一步表示,文心大模型4.0仍然是一个单一模型,并没有采用GPT和很多其他大语言模型使用的混合专家模型(MoE)。

如此大参数量的模型,对算力要求注定不会小。现在的消息是,文心 4.0 是在万卡 AI 集群上训练出来的,应该也算上是国内首次使用万卡规模集群进行训练的大语言模型。而万卡集群,国内目前只有华为、阿里透露已建成万卡 AI 集群,但我们都没看到基于它推出的具体模型。

最后,在芯片和集群方面,使用什么样的芯片型号,用多大的规模和集群架构进行推理都会影响大模型的推理成本。以GPT-4为例,据爆料,GPT-4推理运行在由 128 个 GPU 组成的集群上。在不同地点的多个数据中心存在多个这样的集群。文心大模型4.0在这方面,不知是否也遇到了挑战。

虽然大模型领域的“摩尔定律”(Scaling Laws)已经开始发挥作用,随着未来能源和计算成本快速下降,更强大的AI能力将会出现。但现实是,随着大语言模型的不断升级迭代,参数量突破万亿、模型能力越来越强、用户使用量激增,推理成本都是大模型厂商需要持续优化的地方。

而文心大模型4.0快速攀升的参数量、数据量所带来的训练和推理成本提升,也正在成为大模型商业化过程中需要考虑的重点。

在消息传出后,同时受到市场大势影响,百度港股股价低开低走,截至目前下跌5.02%,报收于124.9港元每股。

       原文标题 : 文心4.0推理成本翻十倍?百度今日跌超5%,大模型企业如何走远?

声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

    通信 猎头职位 更多
    文章纠错
    x
    *文字标题:
    *纠错内容:
    联系邮箱:
    *验 证 码:

    粤公网安备 44030502002758号