AI进化撞上“数据墙”？三大模型研发遇阻，巨头纷纷转向新赛道，有哪些信息值得关注？
2024-11-19 阅读 28
最近AI领域确实出现了一些挑战，例如三大模型（BERT、GPT和Transformer）的研发遇到了一些阻碍，也有一些巨头公司开始转向新的研究方向。这表明AI领域正面临一些新的挑战和机遇。一些信息值得关注的包括：
-
新的研究方向：巨头公司开始转向新的研究方向，可能会带来一些全新的技术突破和创新。这些新的研究方向可能涉及到更加复杂和多样化的问题，例如多模态学习、增强学习等。
-
数据隐私和安全：随着对数据隐私和安全的关注不断增加，AI研究也将更加注重如何在保护用户数据的前提下进行模型训练和部署。这可能会带来一些新的技术和方法。
-
跨学科合作：AI领域的发展越来越需要跨学科的合作，例如与认知科学、心理学、生物学等领域的合作。这种跨学科的合作可能会带来一些新的思维和方法。
总的来说，AI领域正面临着一些新的挑战和机遇，需要不断探索和创新。关注这些信息可以帮助我们更好地了解AI领域的发展动态，以及未来的发展方向。
更新于 2024年11月21日
最可怕的并不是撞上“数据墙”，最可怕的是ilya说的I told you！
自从Ilya和Mira等一众创始人离开OpenAI，全世界都预见到了OpenAI的研发会陷入瓶颈，但大家都没想到的是连Anthropic也陷入到瓶颈，这就出人意料了。
多家AI巨头一起陷入瓶颈，这无疑就是在说Scaling Law已经到达极限，这条技术路线已经没有什么可以发展的了。
如果从行业发展的角度来说，一条技术路线到头了没什么可怕的，大不了换一条路线就是了，可Ilya明显没有这么干，他不单回复了一个I told you，还选择初创一家企业SSI，专注于超级对齐，这就说明Ilya早就看到这个瓶颈了，但他经过这么长的时间都还没有想到下一步该怎么办，只能够原地打转了。
有困难不可怕，可怕的是你不知道接下来该怎么办，在这种条件下，市场唯一能确定的就是AI的高增长性已经终结了，谁也不敢打赌下一轮技术升级会在什么时候到来，是时候开始出清了。
由于从去年开始AI概念就炒得火热，全世界的各行各业都开始了一波替代焦虑，甚至英伟达的股价都翻了超过6倍，全球的AI投资浪潮出现了一波癫狂式的上涨，相关企业的估值出现严重高估是极度正常的。
现在Scaling Law已经到达极限了，各AI巨头似乎就没有必要再抢芯片了，甚至有可能连研发训练都会能停就停了，这时候谁都能预想到整个产业链即将迎来一轮产能过剩。
像英伟达这两天已经被揭最新的Blackwell出现了过热问题，说不好接下来的财报预告就会显示订单骤降，说不好明年的业绩就要开始萎缩了。
而最惨的应该是AI行业的龙头OpenAI，前面创始人们已经用脚给OpenAI的未来进行投票了，现在再来一个尚未知晓如何跨越的技术瓶颈，这就等于给它的技术发展彻底判了死刑。
失去了技术领先的护城河，OpenAI就只能靠扩展日活量来就对财务危机，可在过去这一年多里ChatGPT的日活量已经出现了爆炸式增长，导致潜在增长量很有限，而且到目前为止，ChatGPT都还没有显示出它的应用价值，很难想象它还能有多少增长空间。
OpenAI现在面临的是明显的发展失速，而且这个落差还很大，很难说前面的投资有多少会打了水漂，但其资产流动性明显是出现了骤降，资产价格也会大幅缩水。
现在这么大的一个新闻出来，所有的投资人都开始意识到前面在AI领域的投资已经过火了，大家都开始想办法止损了，于是相关企业的资产价格都应该开始出现暴跌。
然而，AI技术的发展神话对于美国或者美股来说实在是太重要了，如果连AI的高增长都消失了，那么美国在对抗恶性通货膨胀的时候还能打出什么牌呢，所以肯定还会有人想继续凭空炒作AI概念，想制造一个市场信心未失的假象。
可是纸终归是包不住火的，凭空炒作的结果就是社会不良资产的规模迅速增长，资金流动性不断萎缩，换言之钱都被扔进海里了，手上没钱那是活该，这样的市场肯定是会爆的。
理智的投资者肯定会在市场爆雷之前，趁早离开这条赛道，能卖多少就卖多少，现在这时候谁要是留在场内甚至是进场的人，都会成为被割的韭菜。
现在已经不是谈论AI行业是否存在泡沫的问题了，而是这个泡沫已经爆了，是时候要崩盘了。
数据迟早会“坐吃山空”，转向新赛道是正确的。根据OpenAI提出的Scaling law定律：
大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关，而与模型的具体结构（层数/深度/宽度）基本无关。也就是说，AI大模型用到的训练数据越多，模型的性能就会越强。
秉持着这个信念，AI界的各位都铆足了劲堆数据，渴望“大力出奇迹”。
但真的能一直靠大力、更大力、再加大力来源源不断地实现“奇迹”吗？似乎不太行呢。
首先，高质量数据并不是取之不尽的；其次，数据之于AI大模型似乎也存在边际效用递减。例如最近OpenAI刚发布不久的Orion，经过测试发现虽然Orion的性能确实是OpenAI现在最强的模型，但它的性能提升程度远小于从GPT-3到GPT-4的提升。这就造成了一个尴尬的情况：大模型所需的数据越来越多，但对性能的提升作用越来越低，加上高质量数据的数量也有限，可能在2026-2032年之间的某个时间点，数据存量就会耗尽。
