立即购买
AI Debate2 | 李飞飞提「AI北极星」,卡尼曼指「系统 1」理解有误
  • AI Debate2 | 李飞飞提「AI北极星」,卡尼曼指「系统 1」理解有误

    Innov100
    2020-12-28 16:00:43
  • 导读:美东时间 12 月 23 日,由 Gary Marcus 主持的 AI Debate 再次召开,主题为“推动 AI 前进:跨学科方法” (Moving AI forward: an interdisplinary approach)。

    犹记得去年 Gary 与 Yoshua Bengio 针对深度学习能否实现通用人工智能的激烈辩论。在本届 AI Debate 中,Bengio 没来,却换来了 16 位业内知名大咖,包括Judea Pearl、李飞飞、Daniel Kahneman、Ken Stanley等人。

    本届 AI Debate 共持续三个小时,包括三个panel,分别为

    l  Panel 1: "Architecture and Challenges"

    Yejin Choi, Luis Lamb, Fei-Fei Li, Robert Ness, Judea Pearl, Ken Stanley and Rich Sutton

    l  Panel 2: "Insights from Neuroscience and Psychology"

    Danny Kahneman, Christof Koch, Adam Marblestone, Doris Tsao and Barbara Tversky

    l  Panel 3: "Towards AI we Can Trust"

    Ryan Calo, Celeste Kidd, Margaret Mitchell and Francesca Rossi

    智源社区从 16 个学者分享中选取其中 4 位的观点进行分享,颇具启发。如下:

    l  李飞飞:下一个AI的北极星在与真实世界的互动

    l  Judea Pearl:干草堆里寻针,需要先见过针

    l  Daniel Kahneman:AI 界对系统一和系统二的误解

    l  Ken Stanley:看10亿年生物进化因果链,我们忽视了很多维度

    话外——先介绍一下Marcus的开场白

    Marcus一开场先回顾了去年和Bengio的激烈辩论。他指出,上个十年要讨论的核心是“大数据和深度学习是否可以最终实现通用人工智能”。

    Marcus提到,相关讨论2012年就已经开始了。2018年,Marcus发表了Deep learning: a critical appraisal,历数了为什么深度学习不能实现通用人工智能的几大原因,当时引来了很多争议。

    今年,GPT-3的大热又引来了新一波的争议。Hinton 10月发表观点称,「深度学习无所不能。」两种观点一直针锋相对。

    Marcus表示,在2020年的末尾,两种观点却出现了前所未见的融合(convergence),似乎原本站在 Hinton 阵营的 Yann LeCun 近日发表文章称,「有些人一直以来对GPT-3能够做什么抱有不切实际的幻想。」「想要通过扩展语言模型来打造智能机器,就好比要造一架能上月球的飞机。」

    抵达通用人工智能似乎为时尚早。Marcus 指出,下一个十年,我们要讨论的问题就是,如何让AI步入下一个新台阶。

    01 李飞飞:下一个AI的北极星在与真实世界的互动

    李飞飞作为 AI 领域最为知名的华人女科学家之一,凭借ImageNet的工作触发了新一代人工智能的浪潮,也成为众多学子心中的偶像。在本次报告中,李飞飞提出两个概念:(1)下一个AI的北极星是什么?(2)与真实世界进行互动,是人工智能下一个重要的研究问题。

    李飞飞:作为科学家,最吸引我的是,能够不断去拓宽人类知识的边界,不断问新的问题,并且发明工具来解决这些问题。我最喜欢引用爱因斯坦曾说的一句话:“问题提出本身通常比解决问题要重要的多”。那么在AI领域重要的问题是什么?在这里我把这样的问题称为“AI 北极星”(AI North Star)

    在20世纪最后的三十年中,对于人工智能最为重要的“AI北极星”是人类智能,特别是视觉智能中的物体识别。而21世纪头十年的“AI北极星”则是图像分类,ImageNet作为基准,促进了人们指向“AI北极星”,从而引发了深度学习的革命。

    那么现在,站在另一个新时代的起点,我们不禁要问“下一个AI北极星是什么?”(What is the next AI North Star?)

    对这一问题,答案肯定不止一条。但就我自己来说,下一个令人激动的“AI北极星”应该是:AI在真实世界中积极地感知和互动。

    我的这一观点主要受两本畅销书的启发。

    l  一本是由动物学家 Andrew Parker 所写的《In The Blink Of An Eye》,他提出“寒武纪的爆炸是由突然进化出来的视觉引发的,正是视觉的出现引发了一场进化的竞赛,在这场竞赛中动物要么进化、要么死亡。”

    l  另一本则是由哲学家Peter Godfrey-Smith所著的《Other Mind》,在这本书中,他认为“神经系统最原始和最基本的功能就是将感知与行动联系起来。”

    当下,AI已经拥有了视觉,那么接下来在真实环境中感知与行动之间不断循环互动,将引发人工智能的新一轮进化。

    我在这里分享一个实验。这个实验室由Held 和Hein在1963年做的关于两只新出生小猫的实验,如下图所示,其中一只可以主动探索外部世界(注:在笼子中走动,来观察周围环境),另一只则是被动来看外部世界(注:不能行动,由另一只小猫的运动带动杠杆,从而观察周围环境)。世界结果表明,数周之后两个小猫的神经系统有巨大的差异,被动组的小猫不能发展具备完整功能的感知系统,而主动组的小猫则可以。

    综上所述,在我看来 AI 下一个最为激动人心的“北极星”正是:来自对世界积极的感知和互动。在这种感知和互动之间存在一个至关重要的循环,这个循环驱动了学习、理解、推理和计划等能力。对于我们的 AI 智能体,可探索的环境包括多模型、多任务、生成以及社交等。我们目前正在研究以及构建这种具备互动学习能力的智能体,这些智能体使用感知和驱动来学习和理解世界。

    02 Judea Pearl:干草堆里寻针,需要先见过针

    Judea Pearl(朱迪亚·珀尔),加州大学洛杉矶分校(UCLA)教授,图灵奖(Turing Award)得主。他在 20 世纪 80 年代开发并倡导了AI 的概率方法,被称为贝叶斯网络之父。然而为了强人工智能的愿景,Pearl 脱离主流 AI 研究社区,提出了一套因果的数学语言和理论,引领了正在席卷各个学科的”因果革命“。

    他表示“如今,我们正坐在一座金矿上,但这座金矿封存在深度学习的世界当中。”因此他提出了一种因果革命的引擎,即深度理解的计算模型。他认为深度理解将是唯一能够回答“What is”、“What if”以及“If only”的路径。

    由于时间较短,Pearl的许多观点没有得到充分地阐释,我们结合Pearl之前在智源大会的内容,对其核心观点作以介绍。

    1、反对数据文化,应当加入知识

    Pearl在报告中提到,他非常反对仅仅依赖数据的文化,这只是一种数学的操作。举例一个统计学中的经典例子来说:“锻炼身体是否有利于健康?”

    x轴表示运动时间,y轴表示胆固醇水平。一方面,在图(左)中,可以看大每个年龄组中都出现了向下的趋势,表明运动可能的确有降低人体胆固醇水平的效果;另一方面,在图(右)中,同样的散点图并不依据年龄对数据进行分层,那么我们就会看到一个明显向上的趋势,这表明运动得越多,人体胆固醇水平就越高,这种矛盾在统计学中被成为辛普森悖论。

    这个例子说明了数据可能对你讲出两个不同的故事。如果信息发生一些变化,得到的结论就可能是不一样的。

    他提出“从干草堆里找针,前提是你得见过针是什么样子的。”

    2、我们正坐在一个金矿上,但金矿却被封印在深度学习的世界里

    Pearl在报告中提到,“最近,我意识到我们正坐在一座金矿上面,但是这个金矿却被封印在深度学习的世界里。”

    Pearl 提出了一套基于结构的关于因果的数学语言和理论,作为因果科学是回答因果问题的推理引擎,他称之为“深度理解”。该引擎的特点是 “Knowledge in, Knowledge out, Data in between”。

    深度理解能够执行三个功能:描述(“What is”)、预测(“What if”)以及反事实预测(“If only”)。

    03 Daniel Kahneman:AI 界对系统一和系统二的误解

    Daniel Kahneman是一位以色列裔美国心理学家,曾获得2002年诺贝尔经济学奖,但对于 AI 圈的人士,最为熟悉的则莫过于他的畅销书《思考,快与慢》,其中的 系统一 和 系统二 的概念成为了许多 AI 研究人员理解 AI 发展的底层框架。但在这次的 AI Debate 中,Daniel 却表示,AI 领域的学者或许误解了他对两个系统的描述。

    Daniel Kahneman在这里我想讲一些更“有野心”的事情。大家都认为我应该认同 系统一 和 系统二 的观点(尽管这并不是我的想法),因为我确实写过这么一本书来介绍这个概念。我们谈论 系统一 和 系统二 的时候,会认为前者是一种工作速度较快的系统,而作为对比,后者工作速度则相对较慢。

    但事实上,正如我在书中所描述的,系统一 和 系统二 的最主要区别并不在此,而是一个只是发生在你身上,而另一个需要你去做更高水平的处理。语言、想法、情绪等都发生在你的身上,但这些都不需要做额外的处理。我们应当这样理解,任何可以自动完成的事情,任何只是发生在我身上的事情,都隶属于系统一。

    心理学家们认同的 系统一 和 系统二的另一个区别是,在操作层面上,系统一 是并行操作,而系统二是串行操作。

    我的一个感觉是,两种体系的想法已经被太多人接受了,所以我今天想重点强调一下其中的误解。

    在人工智能中,人们似乎将两种体系与符号/非符号联系在了一起。系统一是非符号,系统二是符号。当我去看机器学习的时候,也有类似的感觉,机器学习的黑箱似乎能够神奇且快速地产生非常复杂的反应。但事实上,这种系统一 - 非符号/系统二 - 符号的映射并不是那么准确。

    的确,我们描述为非符号的任何事物、任何活动,都属于系统一;但是系统一并不能被描述为非符号系统。

    系统一事实上更为复杂和丰富,它能够对世界进行表征,这种表征代表了对世界的模拟。我们也是依赖系统一对世界的表征进行生存。大多数时候,我们处于所谓的“Valley of normal”(正常谷)。大多数发生在我们身上的事情,并不会让我们感到惊讶,但也不会让我预料到我接下来想要说什么。

    我们处在正常谷里,我们并没有期待,系统一接受许多事件的发生,认为这些事件只不过是已发生事件的正常延续。但它也会拒绝一部分事情,这些正是那些让我们觉得吃惊的事情。因此,系统一能够把这些“非正常”的事情与正常的事情区分开来。

    前面Pearl提到的反事实推理,许多都是发生在系统一中。因此,常识和因果关系出现在系统一当中,而非系统二。

    这是我想要重点澄清的。我真的很高兴能够在 AI 领域听到这两个概念,但我不确定它们是不是被正确地使用了。

    04 Ken Stanley:看10亿年因果链,我们忽视了很多维度

    Kenneth Stanley是Open AI的研究员。他此前和Marcus共同创立了一家叫做几何智能(geometric intelligence)的公司,后被Uber收购。Ken 在报告中的观点是,我们常常说受启于人类智能,但往往却忽视产生人类智能的前提——数亿年的生物进化。如果把眼光放得长远一些,我们会发现,在考虑智能体系的构建时,我们忽视了许多应该考虑的维度。

    Ken Stanley众所周知,当下的人工智能可以解决各类问题。但是我们人类能够做的事情却仍然是独特的,原因在于我们拥有“开放式的创新”——在几千年人类文明中我们冒出了无穷无尽的想法,从火和轮子这样的小东西,到计算机、空间站这样的庞然事物。

    这个复杂性大爆发的过程,源于我们所谓的开放式创新(Open-ended Innovation)。这是人类特有的能力,现在的算法相对来说,则相去甚远。

    这种开放式创新的现象并非只是人类诞生之后才出现;事实上,我们人类本身也是一个开放式创新系统的产物,这个系统便是:自然进化。

    站在更为长远的历史的角度,去看智能的诞生,这是一个完全不同的因果链。在数 10 亿年的发展进程中,正是这个庞大的系统(注:进化系统)发明创造了所有活着的自然生物,它发明了诸如光合作用、会飞的鸟,甚至具有高级智力的人类。从已有的人类经验来看,这也是唯一一个能够产生真正具有人类智慧的系统。

    在这个系统基础上,当我们人类开始在宇宙中存在,凭借着人类这样一个“开放式创新系统”,便孕育出了人类文明,包括数千年的知识、科学、艺术等所有的发明创造,正如前面所说,从火和轮子,到计算机、空间站,以及人工智能等等,相继涌现。

    所以,在这个简短的报告中我想要表达的是,我们应该试着去理解这种现象。这不仅仅是对我们人类为什么存在的解释,更是因为它先于我们,创造了我们,也根深蒂固地存在于我们的本性之中。

    当我们去关注这种“开放式创新”的现象,就会发现此前我们大家会忽视的一些智能维度。例如:发散性(Divergence),这与目前我们偏爱的算法收敛恰恰相反;种群性(Populations),所谓不把所有鸡蛋放在一个篮子里,种群中大量存在的个体才有进化的可能;多样性保护(Diversity Preservation);跳板收集(Stepping Stone Collection)等。

    实际上我们并不了解,究竟宇宙的什么特性促成了源源不断的超过10亿年的创造力,而人类目前创造的任何人工系统都没有这个属性。

    从这个角度讲我们可以暂时把算法放在一边,去从系统层面上探究一下问题所在。这是一个丰富的研究领域,还亟待挖掘,目前在这个领域的研究还只是冰山一角。

    05 Q&A:神经网络的进化

    Marcus我有个问题要问Ken 和飞飞。你们都提到了进化论,尤其是神经网络的进化。现在这个领域(神经进化)的现状如何?我们有了大量的计算资源,这会成为下一个十年的重点吗?

    Ken Stanley自然界中的进化属性是如此的强大,而且还没有得到算法方面的解释,因为我们不能创造出自然界中已经创造出来的现象。但这些是我们应该继续追寻和理解的属性。这些属性不仅存在于进化中,也存在于我们自身之中。

    在我们自己的创新历史和进化史之间存在一种平行。从这个意义上说,我认为我们将继续追求这类进化算法,并且将它们与其他算法混合,包括学习算法。因为毕竟,这就是我们生活的世界,有一个进化的外环和学习的内环组合而成的闭环。

    李飞飞:对我来说,进化是智能出现过程中最伟大的实验环境之一。但对于遵循进化的环境或者是生物方面的限制,我不是教条主义者。作为一个科学家,我仍然坚持这样的梦想: 将会有一套统一的智能原则,这些原则已经指导了一定数量动物智能的出现,也将赋予机器智能。进化论是我们所见过的最伟大的实验之一,它给了我们如此多的灵感。

    来源:智源社区公众号

    作者:李梦佳 贾伟

    更多精彩内容请登录https://www.innov100.com官方网站

    或扫描下方二维码,点击关注微信公众号(ID:sagetimes)


  • 点赞点赞(0)

数据服务
月报系列
咨询服务
培训服务