禅世界论坛

<- 社交登陆。【论坛使用帮助】
任赜:辨析关于大语言模型(LLM)的泡...
 
Notifications
Clear all

任赜:辨析关于大语言模型(LLM)的泡沫观点

1
1 Users
0 Reactions
32 查看
Many
 Many
(@many)
Illustrious Member Admin Registered
已加入: 9 年 前
帖子: 12214
Topic starter  

任赜:辨析关于大语言模型(LLM)的泡沫观点

缘起

昨天在微信上看到两个说法。(1)在一段视频中,大语言模型奠基人辛顿说(大意):数学家将很快失去用武之地。因为数学是一个封闭的体系,像国际象棋和围棋一样。可以开发一个人工智能模型,让一个模块负责提出定理,另一个致力做出证明,它就可以持续学习海量的数学知识。我认为人工智能很快就会超越人类数学家,人类数学家将失去用武之地。(2)因为看到AI已经能把一本高数习题册上面的大部分习题都做对了,因而判断数学老师将可能被取代。

我对这两个判断都不以为然,觉得它们都属于“泡沫”观点,过甚其辞,不靠谱。AI发展的前途无可限量。在成为热门话题时,出现“泡沫”观点,无足为奇。促发此文写作的动因有二:(1)辨析“泡沫”观点,可以是一项有意义的理性作业,(2)埋头于这样的理性作业,可以多少减轻阅读时政新闻导致的压抑感,提升心境。因此,虽然我不具备足够的AI领域专业知识,但愿意写出我的看法,与朋友交流。

由于ChatGPT的成功,现在大语言模型几乎成了AI的代名词。这是不准确的。其他类型的模型当下还没有成功普及的例子,此文注重谈大语言模型。

AI取代数学家

先谈第一个问题,“AI将取代数学家”。我请ChatGPT与Gemini查核那个辛顿视频是否真实,二者都说:辛顿确实说过其中一些观点,如“数学是一个封闭的体系,像国际象棋和围棋一样”,AI可以“玩数学(play mathematics)”,向自己提问题,再试做证明。“可能在今后十年左右,AI将在数学领域比人类强得多(I think AI will get much better at mathematics than people, maybe in the next 10 years or so)。二者也都说,那些话不是在学术场合或公开场所做出的,辛顿没有直接说过“AI可以取代数学家”。既然事出有因,评论这些观点就不是无谓之举了。

就我理解,数学不是一个封闭的体系。

罗素(与怀特海合著)在《数学原理Principia Mathematica》(1910–1913)中试图证明:数学=逻辑+定义,其核心主张(逻辑主义)是:1.数学对象(数、集合、函数)都可以被定义为逻辑对象。2.数学定理可以从纯粹逻辑公理推导而出。3.整个数学体系可以在“逻辑”基础上获得严格、无矛盾的形式化基础。

罗素设想的数学体系,应该说是一个“封闭”的体系。1930年代,哥德尔证明“哥德尔不完全性定理”,给罗素理论以致命打击。要点是:如果一个数学体系足够强(如能表达算术),它就不能既完备又无矛盾。就是说:一形式系统如果足够强,则一定有无法证明的命题,即不完备;一形式系如果是完备的,其相容性在本系统内不可证明。因此,罗素希望构造一个无矛盾且能证明所有数学真理的纯逻辑体系是不可能成功的。

另一位巨人,数学家希尔伯特,在1900年提出的23个未解的数学问题,成为二十世纪众多数学家努力的目标。其中第8个问题是“素数分布”,在这个领域,陈景润对哥德巴赫猜想,张益唐对“素数间隙”问题,做出了推进性贡献。据ChatGPT,现状是:完全解决(已公认):约10–12个;部分解决/取决于定义/方案不唯一:约6–8个;仍未解决/被认为悬而未决:约3–5个;已被证明无法按原意解决:1个(第五问题部分如此),外加若干因现代数学的改变而“被吸收”。

希尔伯特提出问题时,坚信没有不能解决的数学问题。但是,已经证明存在大量不可判定、不可计算的问题。(参见:吴道平,“从一个简单却不可判定的问题说起”, http://wu-daoping.hxwk.org/2020/06/02/从一个简单却不可判定的问题说起/)

我曾经看到一个说法,对哥德尔不可能定理,维特根斯坦提出一个解决思路:把导致悖论的命题作为公理引入数学体系。我对此印象很深,以为这是维特根斯坦的一个贡献。另一方面,这样做,将“麻烦制造者”命题作为公理加入,会使原系统完备,但哥德尔定理表明,在新的系统中会产生新的不可判定的命题。因此,这种思路就导致一步一步后退,建构一个一个新体系,但不能“根治”不完备性问题。刚刚找ChatGPT和Gemini核查,维特根斯坦并未提出这个思路。反过来看,这个思路导致数学体系通过增添新公理而一步一步“向前进”,数学体系是开放的。

我希望,上述资讯足以表明:数学体系(足够“强”的数学体系)不是“封闭”的。

如果这个判断成立,那么,依据“数学是封闭体系”而判断AI模型能取代数学家的工作,就不能成立。对大语言模型,对任何AI模型,均如此。数学体系不是与围棋、象棋同样的体系。数学家建构数学体系(复数),不仅在一个体系内推演改进既有结果,还会开发新系统。一个特定棋类的体系,是一组棋子与给定而固定的规则,棋手按规则走棋子。

不仅如此。我还持有一些重大疑问。关于“AI提问机”:它的工作原理是什么?它能提出数学家可能提出的所有数学问题吗?能像希尔伯特那样提出前沿领域的待证定理或猜想吗?能像哥德尔那样提出全新的挑战性命题吗?关于“AI证明机”:AI确实能证明定理,但是,它是否能够具有与数学家匹配的能力,能够证明所有(数学家可以证明的)命题?在看到对这些问题的靠谱的正面答案之前,无法采信“AI能取代数学家”的说法。

对比一下:说AI(不限于大语言模型)能够取代所有人工计算,是可信的,因为所有人工计算都要依据一定规则,而AI可以学会那些规则。说AI能够在围棋、象棋或类似领域击败最好的人类选手,是可信的,因为那些游戏的规则是确定的,AI可以学会按规则走棋,而且,AI具有远超单个人类的算力优势。

AI取代数学老师

再谈第二个问题,“AI将取代数学老师”。我相信自学极其重要。我喜欢数学。一直非常享受上数学课,也在课堂学到许多知识。但我并不是按部就班跟随老师学出来的。自学曾经是、一直是学习知识的一个基本手段。我在初三时(1964年),读到北大教授胡宁一篇题为“狭义相对论里关于时间和空间的概念”的文章,从此痴迷相对论。为了看懂有关的科普性物理书,自学过微积分初步。读博和做论文时,需要比较多的“real analysis(实分析)”数学知识。我是找了教科书自学的。这部分数学在经济学中有重大应用。经济学大师阿罗(Arrow)证明“完全竞争市场存在均衡点”,就用到Brouwer不动点定理(Brouwer fixed point theorem)。曾经想去数学系蹭课(我的导师也鼓励我去),因为时间冲突,未能如愿。凭自学得到的知识,我得以对付一门选修课,学阿罗的《Social Choice and Individual Values(社会选择与个人价值)》。那门课很少有人选——内容艰深枯燥,教授是数学博士出身,从西班牙来的,口音很重。我当时想,哪怕单为陶冶心智,也要去上那门课,读懂那本124页的小册子。阿罗在书中以公理化数学方式证明了一个震撼性结论:即使每个人都是理性的,做公共选择时,“多数票决”的民主机制,不可能确保投票结果是理性的,或者说,会导致矛盾的结果。这叫做“阿罗不可能定理”。自学的知识还帮助我在写论文时,就一种特定“社会福利函数”的一个性质,提出一个微小的改进成果。

说自学的重要性,应该有利于“取代数学老师”的说法。我其实是“欲擒故纵”。我想强调,我完全不同意“数学老师将可能被取代”的判断。这里且不谈只重记忆背诵、题海战术那种教育方式的老师。确实,AI可以帮助甚至“取代”部分教学工作。但是,人类学习涉及众多因素。人的心智有差异,“开窍”过程有不同,需要“因材施教”。相信“数学老师将可能被取代”说法的人,着眼点多半在教会做题。但数学教育的目的不仅在此,还在于严谨思维的训练,在于激发好奇心和创造性思维。通常,人类孩童学数学,需要老师(父母)的“启发式”教诲,中小学启蒙阶段,依赖老师“带入门”,引导到陌生的知识领域,到大学本科阶段,需要(具有更多知识、更高眼界的)老师对数学问题提供解说、点拨,在研究生阶段,需要导师对一个领域的现状、前沿、方向的指点、引导。

更广义地说,我相信,人类学数学时,与老师、父母、同学、其他人的人际互动,学校的环境氛围,都是重要的。AI不可能提供这些要素,不可能取代人类老师。

特别地,我怀疑大语言模型能够胜任教师的任务、取代人类教师。

女儿小时候学数学,当然,从数数开始。数手指头,1、2、3……8、9、10,加上脚趾头,到18、19、20,都很好。再上去,到“28、29”,她说“二十八、二十九、二十十”。我升调“嗯?”了一声,她停顿一下,说:“三十!”她意识到、领悟了了十进位数的规则。人类学数学,不仅仅是学说话。人类有神奇的逻辑思维能力,那需要开发。ChatGPT只有学说话的训练,没有逻辑思维能力,它怎么能胜任数学教学?

不久前,朋友告诉我,初二教我们几何的王才富老师去世了。我还记得他在黑板上画一图,演示如何用“反证法”证明一个命题的场景。当然,不记得是什么命题了,但是,记得我的感受:一种“顿悟”、“豁然开朗”的感觉。这不是学会说话的本事,是在更高层面、逻辑思维方面的能力提升。我多次向ChatGPT提问逻辑问题,发现它缺乏逻辑概念的基础知识、逻辑推理的初级能力。我不相信它能取代像我非常敬佩的那样的人类老师的教学。

再举一个反面的例子。我对数学归纳法有效性的基础,从中学起,一直不甚了了。后来读哲学书,一些启蒙思想家,特别是休谟在《人类理解研究》中,强调(普通)归纳法不能导致可靠的普遍性结论,令人信服。为什么数学归纳法就有效呢?直到几年前,因为考察科学哲学问题,又翻出罗素《数理哲学导论》,我才看到,数学归纳法是被皮亚诺作为公理5列入数学体系的。我想,要是当年就有老师解惑多好啊!大语言模型不懂逻辑,不可能当这样的老师。

结语:关于AI“理性”的基础性的问题

附带多说几句。欧几里得几何中有第五公理,“平行公理”,是系统的一个起点。如果采用替代公理,可以建构“非欧几何”体系。自然数体系又需要一个第五公理,“归纳公理”,按解说,如果没有归纳公理,自然数系统会出现“非标准模型”,无法确定自然数的全体。神奇吗?

问题:AI能重新“发现”、“建构”这些数学体系吗?能了解那些“第五公理”的性质和意义吗?有什么依据说它能呢?其实还可以进一步问:要是没有欧几里得、皮亚诺、罗素那样的天才人物(欧几里得《几何原本》可能不是一个人的作品),人类必定能“发现”、“建构”出这些体系吗?至少,中国和世界的历史没有提供依据,让人得以理性地得出正面答案。

在我看来,人类的创造性思维,是一种神奇属性。我们还不理解人类“创造性思维”的机制。凭什么说AI机器就能有这种神奇属性?

我们知道,大语言模型运行时,会陷入“幻觉”而胡说八道。我看到一个说法,“幻觉”是它的“创造性”之源。这个说法,恐怕只能姑妄听之,难以当真。

AI要具有像人类一样的“完整”的理性,就不仅要能够像人类一样地说话,还要会像人类一样地思考,包括逻辑推理,道德判断,审美意识。康德研究人类理性时,确定了求真、求善、求美这三个领域。大语言模型还没有具备“求真”领域的“逻辑推理”能力。

今天看到的《纽约时报》一篇评论,题为《人工智能泡沫破裂将会是好事》,作者是牛津大学经济学家Frey博士。文中所说“人工智能泡沫”指大量投资经费与电力消耗导致AI目前的增长势头会成泡沫,AI发展需要另辟蹊径。那是从经济学角度分析人工智能的发展问题,本文讨论的是关于AI的泡沫观点,二者主题不同。我高度赞赏他对AI大语言模型的一些看法,摘录下来,让ChatGPT翻译成中文,又作了校对、修改,在文本中用了黑体字。附上供参考。

附录

A Bursting Bubble Would Be Great for A.I.

New York Time

Dec. 5, 2025, 5:01 a.m. ET

By Carl Benedikt Frey

Dr. Frey is an economist at the University of Oxford and the author of the book “How Progress Ends: Technology, Innovation and the Fate of Nations.”

https://www.nytimes.com/2025/12/05/opinion/ai-bubble-innovation-advancement.html

Generative A.I. needs its own course correction — both for the sake of energy efficiency and for its own advancement. Large language models, for all their wonders, can only predict the next thing a human would say. Train one on texts from the late 1800s and it won’t invent airplanes or rockets. It will channel ideas from that period, when leading scientists thought human flight was impossible. If we only scale up our current approach, wasting money on fast-obsolete chips and energy-guzzling data centers, we won’t progress beyond our current technology, which still yields limited, mediocre results.

Better A.I. would remember what it learns, just as humans do, and squeeze more work from each watt. Tech companies spend billions of dollars running large language models that don’t learn while they run. A tool that does both simultaneously would come closer to approximating the human brain, allowing it to innovate more readily.

Humans are astonishingly energy-efficient. A child can pick up cause and effect, how the physical world behaves and basic social norms with a brain that runs on only about 20 watts of power.Today’s A.I. models burn through mountains of data and electricity to approximate that same performance, yet still misfire the moment they must handle unfamiliar problems. A course-corrected A.I. would help us tackle new challenges — making scientific discoveries, enabling medical breakthroughs — rather than merely refining what we already know.
ChatGPT中译文

人工智能泡沫破裂将会是好事

《纽约时报》
2025 年 12 月 5 日,美国东部时间上午 5:01

作者:卡尔·本尼迪克特·弗雷(Carl Benedikt Frey)
弗雷博士是牛津大学的经济学家,著有《进步如何终结:技术、创新与国家命运》一书。

生成式人工智能需要一次自身的“路径纠偏(course correction)”——既为了能源效率,也为了它自身的进步。大型语言模型再神奇,也只能预测人类下一句会说什么。如果你用 19 世纪晚期的文本来训练它,它不会发明飞机或火箭;它只会复现那个时代的思想——当时的顶尖科学家仍认为人类飞行不可能。如果我们只是继续放大当前的路径,在快速过时的芯片和耗能巨大的数据中心上浪费金钱,我们就不会实现超越现有技术(它还在产出有限的、平凡的结果)的进步。

更好的人工智能应当像人类一样能够记住所学内容,并从每一瓦能量中挤出更多工作量。科技公司花费数十亿美元来运行那些在运行过程中并不继续学习的大型语言模型。如果一种工具能兼顾“运行”与“学习”二者,它将更接近于模拟人脑,从而更容易实现创新。

人类的能效惊人。一个孩子能领悟因果关系、物理世界的运作方式以及基本的社会规范,靠只需要大约 20 瓦的功率的大脑。如今的人工智能模型却要消耗海量的数据和电力来勉强达到类似的表现,但一旦遇到不熟悉的问题仍常常出错。实现路径纠偏的人工智能将帮助我们应对新的挑战——促成科学发现、推动医学突破——而不仅仅是对我们已有的知识进行提炼(refining)。

附记

关于辛顿“数学是封闭体系”的专家批评意见

完成此文后,出于严谨思维的考量,又向ChatGPT与Gemini提出同样的问题:

Are there major mathematicians or philosophers or experts in other areas who criticized Hinton’s view of “mathematics is a closed system”(是否有重要的数学家、哲学家或其他领域专家批评辛顿“数学是封闭体系”的观点)?

ChatGPT回答:

Yes, there are major figures across mathematics, philosophy, and computer science who offer strong criticisms or important counterarguments to Hinton’s characterization of “mathematics as a closed system.”

中译文

是的,在数学、哲学和计算机科学领域,有一些重要人物对辛顿(Hinton)将“数学视为一个封闭系统”的论断提出了强烈的批评或重要的反驳。

Gemini回答:

Short answer: Yes — many experts would implicitly or explicitly reject or criticize that view, because it conflicts with mainstream results in logic (Gödel), the philosophy of mathematics, and the actual practice of research mathematics.

But: there is no prominent published “critique of Hinton by name,” because Hinton’s remark is recent, not widely circulated in academic mathematical circles, and appeared in a low-visibility interview.

中译文

短答:是的——许多专家会隐性或显性地否定或批评这种观点,因为它与逻辑学(如哥德尔)、数学哲学的主流成果以及实际的数学研究实践相冲突。

但:目前并没有出现点名批评希顿(Hinton)的正式出版物,因为他的这番言论较新、尚未在数学学界广泛传播,而且出现在一个曝光度较低的采访中。

 

我在此文表述的观点,与ChatGPT和Gemini列举的那些学者的意见,是一致的。我为此感到欣慰。

具体的人物和观点,不复制/粘贴到这里了。去问ChatGPT和Gemini即得。

 

2025/12/5初稿

12/7修订成稿

作者投稿



   
引用
Share:

【声明】:禅世界论坛尊重言论自由,任何人可讨论佛学、政经、生活和科技等话题。言论发表前请根据常识和法规自审。论坛管理员和版主有权删除任何不当内容。使用本论坛即表示接受【禅世界论坛规则】【论坛使用帮助】。 【禅世界免责声明】


【Chanworld.org】2017.06.06-2021.04.30-2025.04.10-MG-RM