产业观察
BAT 集体重做「AI 预训练」,补「脏数据」的坑
📋总体概括
近大半年,国内多家头部AI模型厂商(BAT为代表)密集启动「预训练返工」,核心原因直指训练数据质量不足。部分厂商曾花一年时间死磕万亿参数大模型,落地效果反而被市面上规模仅其1%的小模型倒挂,复盘后确认是脏数据拖累。这场集体返工说明:参数军备竞赛告一段落,数据清洗与治理成为决定模型真实能力的关键变量,中国大模型的竞争重心正从堆算力、堆参数转向补数据基本功。
⚡关键信息
- ▸国内一批AI模型厂商近大半年密集启动预训练返工,起因均指向训练数据质量不行
- ▸有厂商花一年死磕万亿参数模型,落地表现被市面上1%规模的小模型倒挂
- ▸排查结论是被脏数据拖了后腿,数据问题成为模型表现不佳的根因
- ▸BAT集体重做AI预训练,行业重心从参数规模转向数据治理
🔥犀利点评
所谓万亿参数被1%小模型倒挂,本质不是模型不行,是喂进去的语料稀烂。大厂们前两年比参数、比榜单,现在集体回去洗数据,等于承认中国大模型的第一阶段是建立在脏地基上的。返工不可耻,可耻的是当初明知道数据质量存疑还硬吹发布会。下一轮分化不会看谁的参数大,而是看谁的数据管线真的干净。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 雷峰网 阅读全文 →