dwchen的个人博客分享 /u/dwchen

博文

面对大模型,高校AI研究者该怎么办? 精选

已有 4580 次阅读 2023-5-8 10:44 |个人分类:大模型|系统分类:澳门黄金赌城

    2016年DeepMind公司的AlphaGO横空出世,不仅击败了围棋世界冠军,也击败了很多高校研究围棋算法的人工智能(AI)研究者。2023年,OpenAI 公司的ChatGPT火遍全网,不仅让很多文字工作者和编程人员感到阵阵寒意,也让多年从事自然语言处理的高校AI科研工作者自愧不如

最近几年,在人工智能发展的标志性成果中,越来越多的大成果是公司做出来的。公司开展的是目标明确的高度有组织科研,与高校自由探索式科研为主有着明显的区别。而且,这些AI顶尖公司不仅能整合资源解决关键科学难题,搞出核心技术,还经常在Nature、Science等顶级期刊发表论文,甚至有些是封面论文。有些AI公司甚至敢于开源代码,不怕被高校AI科研人员超越,真是艺高人胆大。可以说,在AI研究中,高校的AI研究论文在数量上虽然占据绝对领先地位,但是在引领行业发展、发挥关键性作用方面却越来越小、越来越边缘化,值得我们深思。

顶尖AI公司为什么这么成功? 我认为有以下四个因素。首先,科研有巨大投资,动辄几十亿美元的投资可以用于购买大量GPU形成大算力,从而可以构建大模型、训练大模型;据说有时一次训练就要耗费千万美元,真是财大气粗。其次,科研团队不仅是精兵强将,而且是兵多将广,可招聘几十个科研经验丰富的多学科交叉大团队,给予足够高的薪水,使团队人员全力以赴从事科研,而无需浪费大量时间申请不同的科研项目;第三、科研目标非常目标明确,团队围绕着一个目标开展工作,而不是各有各的小目标;第四、高度协作的有组织科研,团队成员的分工非常明确,还有专门的组织协调人员以提高沟通效率,解决后勤保障等问题等。

高校科研的特点主要有以下四点。首先是经费不足,申请科研经费的难度越来越大,经费额度也太小,买不了几块GPU卡。其次,高校科研团队的规模较小,一般为一个导师带几个研究生,不过10余人。而且,导师和研究生都不是专职科研人员,有很多上课和考试的任务。第三,高校科研团队的组织松散,即使的大一点的科研团队,每周坚持开一次会,其他时间大家都是各自为政,难以紧密协作,以自由探索式科研为主。第四,高校科研团队经验不足,虽然导师有一些科研经验,但是缺乏时间;研究生都是科研新手,处于学习探索阶段,经验不足导致科研进展非常缓慢。

在如此不利的情况下,高校的人工智能科研该何去何从呢?我认为也有四点对策。首先,是不搞大模型,专注于小模型,不与资金雄厚的公司竞争。其次,改进大模型,简化模型结构,使之轻量化,降低算力需求;第三,高校AI科研团队内部开展合作,力争有组织科研,形成大团队,避免重复投资,集中人力物力搞大模型;最后,与AI公司开展合作,利用公司的大模型和大算力,开展科研工作。

总之,人工智能核心技术方面,很久没有看到高校团队的不可或缺的贡献了。希望AI研究的战略科学家们,能居安思危,采取有效行动,将自由探索式科研与有组织科研有机结合。这样才能适应AI科研发展趋势,做出突出贡献,搞出标志性成果,重现高校引领AI科研方向的辉煌。




https://blog.szjingmu.com/blog-57940-1387218.html

上一篇:以ChatGPT为代表的第五次工业革命将解放脑力劳动者
下一篇:研究生培养的点睛之笔:学位论文答辩
收藏 IP: 218.104.225.*| 热度|

12 李升伟 郑永军 周忠浩 逄焕东 李剑超 檀成龙 贾玉玺 王安良 晏成和 孙颉 杨正瓴 曾杰

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-26 07:22

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部