我想做一个专门解答大数理论问题的GPT,该怎么实现?

2024-11-19 阅读 10
更新于 2024年11月21日
不行吧。LLM只能说是一大堆Tensor和NDArray的排列组合,实际上根本没理解“integer number”这个概念,只能在语料库(训练集)里面找最匹配的,然后根据温度设置随机抽选一个结果再发回去。
因此AI经常会出现“Strawberry”里只有2个r,“1.14514191981和14.1”中1.14更大的离谱答案。
而现在那些PUA LLM的方案只不过是让某些权重提升一些,实际上遇到专业问题是没法正常解决的。
问题还是在于超长序列。