如何看待 OpenAI 发布 o1 系列模型？
2024-11-19 阅读 73
更新于 2024年11月21日
可以肯定是OpenAI最新出的o1大模型是目前推理能力最强的大模型。由于它引入了自动化COT能力，在数学推理、coding能力上比现有的大模型都要强上许多。
数学能力大幅提升：在国际数学奥林匹克（IMO）资格考试中，GPT-4o 只正确解决了 13% 的问题，而o1推理模型的得分为 83%。
Coding能力相比于gpt4o也有明显提升但是由于引入了模型的反思机制，整体的推理速度明显比之前的所有模型要慢得多：
对于同样一个问题，虽然 GPT-4o 没有正确回答，但 o1-mini 和 o1-preview 都正确回答，并且 o1-mini 达到答案的速度大约是 3-5 倍。
在以前我们可以利用COT（思维链）技术，来让模型举一反三。在大模型的应用中，COT的方法能够激发大模型预训练过程中的先验知识，更好的帮助模型理解人类输入的问题。举个例子，在下面的例子中，大模型基于问题是不能够给出正确的答案，它的效果往往会比较差
但是如果你把人类的思维方式给到大模型，那么他就会通过你给出的推导例子，正确回答出你提到的问题。
上述过程存在一个主要缺陷，即需要人工大量编写COT规则。对于一类问题尚可，但若需为每个问题编写推导逻辑，这显然不可行。因此，OpenAI借鉴AlphaGo的MCTS（蒙特卡洛树搜索）和强化学习方法，使LLM能快速找到CoT路径，而且这个过程不需要人工进行干预，模型即可自动生成。
在实测o1大模型的coding能力的时候，发现确实提升了较大的幅度。
这里拿了leetcode中“第4151场周赛”题目进行测试，选择了最困难的题目：
https://leetcode.cn/problems/minimum-number-of-valid-strings-to-form-target-ii/
o1模型给出的代码，其运行结果通过了799个测试用例（共807个）
而对于Claude 3.5 Sonnet模型来看，其运行结果则通过了798个测试用例：
好像两个模型差距并不大。
再来一道困难题目，是第414场周赛的困难题目：
这次o1模型能够一遍就可以成功，而且其执行效率还算可以。
而对于Claude 3.5 Sonnet并没有给出正确的答案。对于GPT4来说，再23年3月份的时候，对于困难的题目只有3/45的准确率，这也是在一定程度上说明了o1模型推理能力确实提升了不少。
1. OpenAI o1模型特点OpenAI o1系列模型包括o1-preview和o1-mini两个版本。其具有以下特点：
强大推理能力：o1模型在复杂推理任务上有重大进步，代表人工智能能力新水平 。它采用强化学习（RL）训练，并在模型推理时采用更长的内部思维链（Chain of Thought，CoT），在物理、化学、数学等强逻辑领域性能大幅提升，能够像人类一样思考并解决问题，例如在国际数学奥林匹克的资格考试中，o1的正确率为83%，而GPT - 4o仅为13% 。版本差异：o1-mini版是简化版本，在速度、体积和成本方面优化，适合处理快速任务；o1-preview版在推理能力上更强，更适合处理复杂的推理任务。两者在处理任务能力、速度和成本上主要区别 。2. OpenAI o1模型应用场景由于其卓越的推理能力，o1系列模型适用于多个领域：
科学、编程和数学领域：o1系列模型在处理科学、编程、数学等领域中的复杂问题特别有用。可以帮助医疗研究人员标注细胞测序数据，物理学家生成量子光学所需的复杂数学公式，软件开发者构建和执行多步骤工作流程等 。安全相关领域：o1系列提出了一种新的安全训练方法，利用模型推理能力使其遵循安全和一致性指南，在安全性测试中表现优秀，例如在最难的越狱测试之一中，o1 - preview模型得分为84，而GPT - 4o得分为22（0 - 100评分标准）。3. OpenAI o1模型发布背景技术发展需求：随着人工智能技术的发展，对于模型的推理能力要求越来越高，o1模型是OpenAI向其更广泛的类人人工智能目标迈出的一步，它满足了在复杂任务处理上对高效推理能力的需求，也是对以往模型的改进和扩展，比如对GPT - 4o模型的进一步优化 。市场竞争因素：人工智能领域竞争激烈，各大公司都在不断推出新的模型和技术。OpenAI发布o1模型也是为了保持其在行业内的领先地位，巩固其技术优势，并推动人工智能技术的进一步发展和应用 。4. 各界对OpenAI o1系列模型发布的评价技术能力上的肯定：各界普遍认为o1模型在推理能力上取得了显著进步。研究人员指出其采用全新的训练算法和数据集，设置奖励和惩罚机制，经过强化学习训练，在处理复杂任务时，表现超越了之前的GPT - 4o模型，在一些科学、数学、编程领域的测试中可与人类专家媲美，甚至超越人类专家水平，如在国际数学奥林匹克的资格考试中，o1推理模型得分83%，而GPT - 4o只能正确解决13%的问题；在Codeforces编程竞赛中，o1模型能力达到89%分位，而GPT - 4o只有11% 。应用前景的期待：相关人士对o1的应用场景充满期待，认为它能够在科研、编程、医疗、教育等多个领域发挥作用，例如医生可以用它来辅助分析医疗数据，物理学家借助o1模型进行复杂物理公式推导等领域开启众多新的应用案例，推动相关行业发展进步 。5. OpenAI o1系列模型发布的影响和意义技术层面：o1模型是首个历经强化学习训练的大规模语言模型，这致使它在输出回答之前会形成较长的思维链，这种模型训练范式的转移带来了新的发展方向，即Scaling Law重心从预训练向后训练和推理侧转移，为未来大模型的发展提供了参考范式，同时开辟了大模型缩放的新维度，意味着可以突破预训练的瓶颈，扩展推理计算 。应用层面：o1系列模型的推理能力将推动人工智能在科研、编程、医疗等复杂问题的处理能力上实现飞跃式发展，并通过思维链透明化的创新让用户更加信任模型的回答和应用，这会逐步开启人工智能在更多领域的商业化应用，虽然初期模型可能会有一些使用上的限制和成本考量，但未来有望逐步改善并拓宽应用领域。而且o1模型还有可能会促进其他研究机构和企业在AIGC领域进行新的探索和研究，启发研发方向从单纯关注模型大小和预训练向推理能力和后训练发展，比如促使人们考虑如何将推理从知识中分离出来，以减少预训练的计算量，并思考模型如何与人类价值观和原则相融合，进而有助于引导整个行业朝着健康可持续的方向发展 。6. 各界对OpenAI o1系列模型发布的综合看法行业内部观点：在行业内，OpenAI o1被视为大模型技术的重要进展。一些专家认为它改变了技术策略，通过强化学习和思维链等方式极大提升了推理能力，对解决以往大模型面临的数据墙问题有所缓解，对AI发展进程影响深远，它标志着大模型开始具备归纳世界能力，同时对产业格局以及创业公司产生影响，比如改变训练算力和推理算力比例，给创业公司带来新机会等 ；但也有人关注到其仍存在一些局限，比如o1并不总是比GPT - 4o适用所有场景，对于处理需要广泛世界知识的任务上表现不如GPT - 4o，使用成本较高等问题范式转变带来的不仅有机会，也有挑战（如强化学习和大语言模型结合后的泛化能力在开放场景下的提升需要过程监督数据等困难）但总体上呼吁要继续深入探索强化学习与大语言模型结合的技术路径，提升模型的泛化能力和推进多模态理解生成一体化是下一步AI技术发展关键 。外部大众视角：从大众视角出发，普通用户可能更加关注模型的实际使用效果和体验，例如o1模型的复杂任务推理能力令人印象深刻，但使用限制和较高的使用成本等问题也受到一定的关注。一些用户也在期待着随着技术发展，模型能在功能和成本效益方面实现更好的平衡，进而有更多的应用场景可以使用该模型进行辅助解决问题。7. OpenAI o1系列模型发布引发的社会争议对就业影响的担忧：随着o1模型在科研、编程等领域展示出强大的能力，一些人担它可能会替代部分人工岗位，如一些简单的编程和数据处理工作可能被模型取代，进而对就业结构产生影响。尽管这种影响目前尚不明确，但仍引发了社会各界的广泛讨论和关注。伦理道德问题：强大的人工智能模型可能引发一系列伦理道德问题。例如，如果模型在应用过程中产生错误的决策或建议，可能会对相关人员造成不良影响；同时，模型所拥有的思维链透明化功能也可能引发隐私保护等问题，因为用户可以看到模型的思考过程，这可能涉及到部分信息的泄露风险，如何确保模型的合理、合法、合规应用是需要进一步探讨和解决的问题。8. 总结OpenAI发布的o1系列模型具有强大的推理能力和独特的技术特点，适用于科学、编程和数学等多个领域。它的发布背景源于技术发展和市场竞争的需求，各界对其在技术能力上给予肯定，对应用前景充满期待。该系列模型在技术层面带来了新的范式和发展方向，在应用层面有望推动人工智能在多领域的商业应用。行业内和大众对其综合看法既有认可其先进性和潜在影响，也有关注到使用成本、应用局限性等方面的问题。它的发布还引发了社会对就业结构和伦理道德等问题的争议。总体而言，o1系列模型是人工智能领域的一项重要进展，对未来的技术发展和社会应用将产生深远影响。
OpenAI发布o1系列模型是挺让人兴奋的。这代表着技术又往前迈了一步，可能会给我们的生活和工作带来新的变化。
从好的方面讲，也许能让智能产品更聪明，在回答复杂问题、提供创意灵感上更厉害。像在文案创作、知识问答这些方面会更有用。
不过也可能会让人有些担忧。比如可能会对一些工作岗位产生冲击，或者带来新的隐私、伦理之类的问题。但不管怎样，这都是科技进步的一个体现
