人工智能的发展会经历第三次寒冬吗？
2024-11-19 阅读 10
更新于 2024年11月21日
AI寒冬，我觉得可能的，我比较担忧的是硬件问题。
虽然老黄Volt，Ampere，Hopper，Blackwell一代一代地发，但对于达成AGI的第一个阶段性目标——AGI Agents，看起来已经有点吃力。(我已经说过多次，现在是摩尔定律终结的档口。硅芯片能榨取的算力已经不多了，这不是靠玩玩修辞手法，改变一下计算口径，就能涨算力的)
众所周知，Sam Altman在达到初阶AGI，成为资本家吸血鬼之前是不会停手的，只有出售Agents才有希望让OpenAI们扭亏为盈，什么模型+App，这好使吗？这不好使，模型加App，能有人+App好用么？人产出的内容都大量积压，很多好的博主连个赞都讨不上，还模型。
我想Agents对硬件的开销是极大的，除了传统的模型训练外，它们还要吃流媒体多模态，吃长文本，还要吃思维链和微操时的Tokens损耗——就像打开一个流着液体金币的水龙头。你误操作一下，回去一看，几千万Tokens就没了。
OpenAI们会说……小模型一样聪明，mini打败了初代大魔王，你信他个鬼。
在训练上，也不是没问题，超10万卡集群可能是道坎。
能不能实现AGI？问你呢？台积电。
有很多新的计算方案，但似乎有点遥遥无期，要么就像Groq那样的变态，把SRAM当显存用。
台积电：新鲜的水，五年后送到！
