AI进化撞上“数据墙”？三大模型研发遇阻，巨头纷纷转向新赛道，有哪些信息值得关注？
2024-11-19 阅读 94
更新于 2024年11月21日
最可怕的并不是撞上“数据墙”，最可怕的是ilya说的I told you！
自从Ilya和Mira等一众创始人离开OpenAI，全世界都预见到了OpenAI的研发会陷入瓶颈，但大家都没想到的是连Anthropic也陷入到瓶颈，这就出人意料了。
多家AI巨头一起陷入瓶颈，这无疑就是在说Scaling Law已经到达极限，这条技术路线已经没有什么可以发展的了。
如果从行业发展的角度来说，一条技术路线到头了没什么可怕的，大不了换一条路线就是了，可Ilya明显没有这么干，他不单回复了一个I told you，还选择初创一家企业SSI，专注于超级对齐，这就说明Ilya早就看到这个瓶颈了，但他经过这么长的时间都还没有想到下一步该怎么办，只能够原地打转了。
有困难不可怕，可怕的是你不知道接下来该怎么办，在这种条件下，市场唯一能确定的就是AI的高增长性已经终结了，谁也不敢打赌下一轮技术升级会在什么时候到来，是时候开始出清了。
由于从去年开始AI概念就炒得火热，全世界的各行各业都开始了一波替代焦虑，甚至英伟达的股价都翻了超过6倍，全球的AI投资浪潮出现了一波癫狂式的上涨，相关企业的估值出现严重高估是极度正常的。
现在Scaling Law已经到达极限了，各AI巨头似乎就没有必要再抢芯片了，甚至有可能连研发训练都会能停就停了，这时候谁都能预想到整个产业链即将迎来一轮产能过剩。
像英伟达这两天已经被揭最新的Blackwell出现了过热问题，说不好接下来的财报预告就会显示订单骤降，说不好明年的业绩就要开始萎缩了。
而最惨的应该是AI行业的龙头OpenAI，前面创始人们已经用脚给OpenAI的未来进行投票了，现在再来一个尚未知晓如何跨越的技术瓶颈，这就等于给它的技术发展彻底判了死刑。
失去了技术领先的护城河，OpenAI就只能靠扩展日活量来就对财务危机，可在过去这一年多里ChatGPT的日活量已经出现了爆炸式增长，导致潜在增长量很有限，而且到目前为止，ChatGPT都还没有显示出它的应用价值，很难想象它还能有多少增长空间。
OpenAI现在面临的是明显的发展失速，而且这个落差还很大，很难说前面的投资有多少会打了水漂，但其资产流动性明显是出现了骤降，资产价格也会大幅缩水。
现在这么大的一个新闻出来，所有的投资人都开始意识到前面在AI领域的投资已经过火了，大家都开始想办法止损了，于是相关企业的资产价格都应该开始出现暴跌。
然而，AI技术的发展神话对于美国或者美股来说实在是太重要了，如果连AI的高增长都消失了，那么美国在对抗恶性通货膨胀的时候还能打出什么牌呢，所以肯定还会有人想继续凭空炒作AI概念，想制造一个市场信心未失的假象。
可是纸终归是包不住火的，凭空炒作的结果就是社会不良资产的规模迅速增长，资金流动性不断萎缩，换言之钱都被扔进海里了，手上没钱那是活该，这样的市场肯定是会爆的。
理智的投资者肯定会在市场爆雷之前，趁早离开这条赛道，能卖多少就卖多少，现在这时候谁要是留在场内甚至是进场的人，都会成为被割的韭菜。
现在已经不是谈论AI行业是否存在泡沫的问题了，而是这个泡沫已经爆了，是时候要崩盘了。
数据迟早会“坐吃山空”，转向新赛道是正确的。根据OpenAI提出的Scaling law定律：
大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关，而与模型的具体结构（层数/深度/宽度）基本无关。也就是说，AI大模型用到的训练数据越多，模型的性能就会越强。
秉持着这个信念，AI界的各位都铆足了劲堆数据，渴望“大力出奇迹”。
但真的能一直靠大力、更大力、再加大力来源源不断地实现“奇迹”吗？似乎不太行呢。
首先，高质量数据并不是取之不尽的；其次，数据之于AI大模型似乎也存在边际效用递减。例如最近OpenAI刚发布不久的Orion，经过测试发现虽然Orion的性能确实是OpenAI现在最强的模型，但它的性能提升程度远小于从GPT-3到GPT-4的提升。这就造成了一个尴尬的情况：大模型所需的数据越来越多，但对性能的提升作用越来越低，加上高质量数据的数量也有限，可能在2026-2032年之间的某个时间点，数据存量就会耗尽。
也就是所谓的“数据墙”。
如果想要打破这一现状，转变赛道无疑是最好的选择。目前就有不少科技公司就选择开始转变策略，不再只是单纯地往大模型上堆数据，进行大模型的优化和版本迭代。
此时有两条路线可以选择：一是转向开发AI应用，二是调整规模法则的应用。
因此大家可以明显感受到最近一年的AI应用实现了爆发式的增长，包括OpenAI、Anthropic等AI界龙头企业也推出了searchGPT、computer use等应用或功能。
这些AI应用大多都能为大家的生活带来极大的便利，而且对我们普通人来说简单好上手，实用价值更高，就比如我一直在用的【迅捷AI写作】。
一款具备了AI写作、AI助手的强大工具，支持生成多种文章类型，在日常中非常实用。
它有两种模式，分别是可以直接通过对话形式生成文本的对话模式，以及功能设置更加全面的专业模式。专业模式下输入主要内容就能生成文章，还能设置字数、语气、风格、语言。
专业模式的生成结果还可以直接进行排版编辑，并且能够进一步使用AI功能进行润色、改写、扩写、续写等智能优化。最后可以直接下载导出保存为文本。
它的用途广泛，有了这样一款工具，大家就能更加快捷地解决工作学习上的写作任务。
除了增加了对AI应用的开发和投入，AI大企还在积极开发新技术来增强这些建构模型。他们开始探索如何应对训练数据的匮乏，调整规模法则的应用，保持模型改进的稳定性。
例如，OpenAI的研究人员开始采用AI生成的合成数据来训练模型。他们还采用了强化学习方法，通过让模型从大量有正解的任务中学习（比如数学或编程问题），以此来改进处理特定任务的方式。此外，OpenAI还尝试在预训练后进行推理，即让模型在回答问题时花更多时间“思考”。OpenAI科学家Noam Brown称它是推理计算的Scaling（扩展）。这些都是AI企业为了应对“数据墙”而做出的尝试。由此看来，AI行业发展确实急需转变原有的模式，在“数据墙”到来之间找到破局之法。而不是紧抱Scaling law定律只是单纯地堆数据。
很高兴在这里给大家安利我的日常爱用工具，有空欢迎到 @社恐打工仔 主页逛逛~那就下次见啦~
不是Scaling law失效了，而是数据先枯竭了。训练过大模型的都知道，最先成为瓶颈的大概率是数据。高质量数据不够用，它就像是模型训练中的重要资产，但如今也快被榨干了。
OpenAI下一代大模型Orion的质量已经存疑，即使是像OpenAI这样的巨头公司，每年花费数十亿来建造数据中心，也会面临训练数据枯竭的问题。
非营利研究机构Epoch AI在今年7月更新的一篇论文中指出，未来数年内，（原始）数据增长的速度将难以支撑AI大模型扩展发展的速度，在2026-2032年之间的某个时间点，数据存量将耗尽。这就是：高质量数据不足导致性能减速。Orion模型聪明是足够聪明的，但它能力的提升远远小于从GPT-3到GPT-4的飞跃，也就是说质量提升不大。
而OpenAI对于“数据荒”另谋的出路是合成数据，强化学习，就是用GPT-4或者o1生成的合成数据。
AI生成的数据终究不是事实数据，合成数据是否能帮Orion模型进步还得先打个问号。只能说并不是个万全之策，而且很可能会让Orion在某些方面与那些旧模型相似。
但好在，国内大模型一直在强调的是以应用为主，在大模型的战场上已逐渐转向各自在多个领域落地起飞，到next level了，也就是专注行业大模型，重在实际的应用场景，更加聚焦在应用层面的AI工具。
至于国内大模型落地进展更不用质疑，在各行各业大战拳脚，渗透速度巨快。如果你还不了解国内大模型的落地进展，可以看看以下国内大模型的落地应用：
01.度加创作工具百度作为国内首个交出“AI原生应用”答卷的大厂，在原生应用遍布各领域。旗下的一款AI创作工具，目的为打造人人可用的全流程AI创作工具，降低创作门槛，提高创作效率。
将AI能力融入在选题推荐、字幕处理、声音识别转化、素材挑选、花字包装等视频创作的全过程中，其中还包含有AI成片、AI数字人等工具。
它的AI成片功能，正是可以通过输入文本来生成视频的自动视频制作工具。而且它还内置了各种热点文案可供创作，产量高，出片快。
02.迅捷PPT只用一句话就能让它生成整套PPT，告别加班赶PPT全靠它~一个自动化生成图文PPT的AI创作工具。
不管你是新手不懂制作PPT、还是设计PPT中遇到瓶颈等各种PPT制作难题，都可以用它实现AI生成PPT的极简操作！
目前官网提供免费制作PPT次数，各种PPT模板免费用，搜索同名官网登录就能免费生成PPT。
软件推出上百个PPT模板，包括了各种专业领域的模板，比如商业、医疗、学生答辩等都会用到不同的模板。操作极其简单，使用教程可见下图：
你只需要输入PPT主题，选择合适的PPT模板，剩下的内容包含图文、排版、格式、动画全都能帮你自动生成完毕，而且PPT生成质量高，都是直接能拿给领导汇报的程度~
03.秒哒百度最新发布的无代码开发工具，具备无代码编程、多智能体协作和多工具调用三大特性。它的让每个人都拥有程序员的能力，将打造数百万“超级有用”的应用。
这个平台可以直接生成部分或全部的前端、后台代码，甚至数据库代码，允许用户将生成的应用导出并单独部署。
只需要给出指令和参考文件，秒哒会自动分为策划智能体、小编智能体、程序员智能体、质检员智能体等多个不同的角色等任务。
尽管国内外AI发展面临许多挑战，但也总有企业能成功跑出新质生产力“加速度”。
想说的就这么些，可以的话点点关注 @王哪跑
不妨换一个角度，
在现有数据墙的基础上，来个二段跳加重棍！diudiudiu，猴就上去了。
