大模型之难！3年后，数据可能会耗尽？

2023-08-30 11:30

文/陈根

研究机构Epoch AI认为，对数据需求急剧增加，以至于可用于训练的高质量文本可能会在2026年耗尽。

大模型的核心三要素就是算法、算力与数据，而决定着大模型智商水平的核心就是数据，数据就如同人类的知识教育输入一样，输入高质量的知识，相对而言就能产出高质量的认知。

而大模型对于数据的学习能力则取决于算力，当算力不断提升的情况下，就意味着大模型学习人类数据的能力越来越快，而人类社会所产出高质量数据的能力将远落后于大模型的学习能力。

那么根据算力演变，以及人类社会产生数据能力的模型推算，训练大模型的数据将在2026年耗尽这是完全可能，甚至在很多领域会更快的被耗尽。

因此，从这个层面来看，掌握着产业核心数据的公司将是接下来重点需要关注的领域。这也正是我一直所说的，要关注行业垂直领域，拥有着核心数据的公司，这些公司在叠加了AI技术之后，将很快训练出行业垂直性的专业小模型。

而从商业落地价值实现的层面来看，专业小模型比通用大模型更快的实现商业变现与行业变革的能力。同样，这也让我们看到，没有掌握核心数据的公司，不论是谈论大模型，或是谈论小模型，本质上都只是炒作。因为没有数据，就不可能训练出相应的模型。

原文标题 : 陈根：大模型之难！3年后，数据可能会耗尽？

声明： 本文由入驻维科号的作者撰写，观点仅代表作者本人，不代表OFweek立场。如有侵权或其他问题，请联系举报。

共0条评论，0人参与

登录登录即可访问所有OFweek服务

请输入评论内容...

请输入评论/评论长度6~500个字

暂无评论

图片新闻