《镜子大全》《朝华午拾》分享 /u/liwei999 曾任红小兵,插队修地球,1991年去国离乡,不知行止。

博文

《AI浪潮:不识数的 ChatGPT》

已有 2764 次阅读 2023-2-18 17:45 |个人分类:立委科普|系统分类:教学心得

利人:

立委:怎么着?确实是10个、也确实是有“喜”字的短语。

知道它不识数,硬要玩它,道德上属于不尊重残障实体的不良行为吧:

numerically challenged entities should not be tested on math purely for making fun of it

以前我们做训练的时候,所有的数字都被 NUM 替代,因为这家伙形式上无穷变体,实质只是一类。IE 的传统里面,有一个与 “专有名词” 并举的对象,叫做 DE(Data Entity,MUC 称为 numex ),主要就是针对这些带有数字的对象(百分比、重量、温度、算术公式、年龄、时间等),NLP面对 DE 从来都是先分类,然后把它包起来。语言模型,无论统计的还是符号的,都不细究它。直到需要语义落地的时候,再打开这个包,去调用(所谓外挂)某个 function 去做符号拆解和语义定位,然后才能进入数学的计算和操作。LLM 在没有做特殊外挂前,自然也是如此,于是上面的笑话可以看成是 “by design”:a feature, not a bug lol, 至于怎么外挂来解决它,那是另一回事。

xuefeng:纠正了一下,已经学会数汉字了。

这种对话之后便能更新自身的认识(程序模式),可以称之为有“自我进化”能力了。

立委:这叫 step by step 的现场调教法,很神奇,属于思维链(CoT)培训,背后的原理不是很清晰。有推测 step by step 的 CoT(Chain of Thought)方面的基本调教已经在他们内部的模型微调中做足了功夫,这才为现场特定的 step by step 的具体能力的调教提供了激发能力的基础。

不知道它学会了以后,能保持这个能力多久?在同一个session 里面多测试几次,确认它是真在现场学到了对汉字计数的能力。(当然 session一关闭,这个识数能力肯定消失,因为前面的调教场景没了。)

xuefeng:据说openai不会根据和用户的对话更新其核心数据库。一段缓存期之后就丢掉了这个“认识”。这样可以防止恶意影响chatGPT。

立委:不是数据库的问题,是模型本身是恒定的。few shots 和 step by step 的现场调教,都不会影响模型本身。

立委:

东东:看来文科chatGPT和理科能力不兼容

立委:这是个很奇特的 in-context 的学习现象,学到的“技能”不稳定,不等一个 session 结束,转眼就还给老师了。甚至到底是不是真学到了,也是个问号。完全有可能在看似学到了的那个当口,它的网络空间中有一些string正好与这个特定字数10相关联。

哪怕其实没有学到“识数”的技能,现场的调教能够 activate 其中高度相关的 strings,回应下来满足了我们的要求,加上它的能说会道的解释,也是一种很唬人的表现。不懂装懂,能装到这个段位,也是让人开眼了。

怎能教我不当他为人(同类)?

(耳边响起赵元任刘半农的老歌:「教我如何不想她?」)

错误不可怕,吓死人的是,错得那么像人。

生活中,我们都遇到过不会算术的人,尤其是老外,包括他们的收银员,不识数的比例很高(我领导特别爱暗地嘲笑有些收银傻妞连简单的加减都算不清)。离开计算器,这类人遇到数字像个傻子,掰手指头都整不明白,更甭提心算。ChatGPT 与她们差不多,说话与她们一样顺溜地道,数学底子也一样潮。后者是人类一分子,为什么前者只是算术差一点就要开除出类呢。

当一个实体看了那么多的书,记忆体那么大,到了我们无法想象的量级的时候,很多难以说清道明的所谓“涌现”的技能,更可能不过就是从他们的巨大网络空间中激发了最相关联的组合。我们凡人以常识和经验作为参考系来审视这些非常能力,无论如何也难相信这就是一种机械的关联恰好被触发,我们宁肯相信实体具有了技能,甚至灵性、意识。

前人不我欺,假作真时真亦假,无为有处有还无啊。

少平:

不坚持真理[Grin]

立委:哈 这一类也见过n次了。这好像是在学到的“能力”与必须尊重人类的原则之间,有一个权重偏向后者的设置(超参数?)。它的设计者心里是明晰的:多数技能不稳定,完全可能是真理的假象,权重宁肯偏向迁就和同意人,而不是坚持这种不可靠的技能,因为坚持真理与坚持谬误只有一步之遥。

 

 

【相关】

《朝华午拾》电子版

李维 郭进《自然语言处理答问》(商务印书馆 2020)

【语义计算:李白对话录系列】

【置顶:立委NLP博文一览】

chatGPT 网址:https://chat.openai.com/chat(需要注册)


https://liweinlp.com/?p=10243




https://blog.szjingmu.com/blog-362400-1376834.html

上一篇:《AI浪潮:chatGPT 搞定了人类语言》
下一篇:《AI浪潮博客目录》
收藏 IP: 107.130.103.*| 热度|

3 刘钢 李升伟 任国鹏

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 15:28

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部