01
AI与脑科学的错位 1.1 神经元突触的复杂性与智能程度相关 刘嘉：首先我想请各位老师简单的介绍一下，他们认为脑启发的人工智能应该怎么做，和传统AI有什么区别。先请教一下杜凯老师，对于深度学习的神经元，我们通常都是将其看作简单的一个点，它的功能非常简单，而我们大脑的神经元却具有非常丰富的形态，这种复杂的树突形状在计算上会带来哪些本质上的区别？ 杜凯：谢谢。首先我想提到一点，最简单的神经系统，比如一个线虫（C. elegans），它的神经元其实非常简单，真的就像一个点，经过很多年的进化，你会发现一个很有趣的规律，当一个生物越高等，它进化出来的神经元的树突也会越来越大、越来越复杂，但是神经元胞体的大小却几乎不变，这意味着在进化当中树突的复杂性一定以某种方式和智能程度是相关的，这种复杂的树突有什么样计算上的优势，在神经科学里研究了快20年，这个研究领域称为树突计算。 简单来讲，单个的神经元细胞因为有复杂的树突结构，它的计算功能更像一个网络，而不是一个点。最近的一篇Nature Neuroscience的文章进一步提出，因为复杂树突的存在，在大脑里进行feed forward和feed back计算的时候是分开的，这样使得我们大脑有一个很高级的功能，前向（feed forward）和后向（feed back）的传播可以同时进行，比如我们在学习的时候不需要把眼睛闭上，可以一边看东西一边学，我觉得这是和现在AI在本质上非常不一样的地方。 1.2 神经元连接的多样性、灵活性，是生物智能的关键 刘嘉：杜凯老师讲了一个生物的神经元本身就是一个网络，本身不是一个点，这种网络会给智能的多样性带来深刻的影响。不仅仅是生物神经元本身，我们还知道大脑的表征和连接结构都有非常丰富多变的特性和灵活性，而传统的AI相对来说比较简单，一般都是前馈（feed forward）神经网络。因此，和传统的AI相比，大脑神经元连接的多样性、灵活性，给生物智能带来更多的可能。那么在这种情况下如何实现计算？就这一问题我想请教一下宋森老师。 宋森：我们从神经科学的研究中发现，与现在的人工神经网络有很大的不同。越来越多的研究发现大脑里面有很多的细胞类型，这些不同类型细胞之间的连接，在发育的时候是由基因所决定的。这些先天的连接给之后的学习造成一个先验性，使得在这之上的学习变的容易了，这是生物神经元的多样性给我们的一个启示。 另外，如果大家去记录这些神经元的发放，会发现每次反应都不太一样，有非常多的变化。这种现象从好的一方面讲，它给我们带来了灵活性，作为对比，现在的神经网络，换一种情况的时候就可能会犯错误；但同时也给我们带来一个挑战，就是这个过程中到底什么是不变的，是怎么做计算的。 大家发现，局部的脑区虽然每个神经元的表征不断的在变，如果对整个神经元的群体进行分析会发现里面有一些不变的流形的存在，这种现象也告诉我们，哪怕不是在主动的学习时，可能我们的大脑也一直在不断优化这些表征，从而把信息更好、更高效的处理。 另外，大家还发现，当两个脑区之间通信的时候，它们用的代码，通讯的空间比单个脑区的放电模式少一些。如何把里面的内部表征、通信表征进行优化，也是大脑要考虑的一个问题。大脑通过这种比较模块化和多样性的方法进行表征，具有一些当前神经网络所采用的反向传播算法所不具有的好处，同时也是一个挑战。现在有越来越多的研究者在关心这些问题。 1.3 网络层面，人脑识别物体是多通路 刘嘉：我们可以看到在网络层面，大脑的神经网络不仅仅是通过单一规则或者简单规则来实现，而是动态的、通过不同脑区之间的交互实现的，这是在网络内部。但是我们也知道，真正的神经计算不仅仅是网络本身，你给它一个输入，问题就能解决掉了，还有大脑预先储存的先验知识，与输入共同交互才能产生，也就是我们通常所说的Bottom-Up，Top-Down两者之间共同交互，会形成一个动态的过程。而这个动态过程在传统的AI里是缺乏的，这对未来、下一步AI的发展究竟有什么影响呢？我们请教一下吴思老师。 吴思：神经计算和深度学习网络差别非常非常大，我今天谈一点，关于动态交互计算的问题。我们现在做深度学习网络，不知道大家注意到没有，比如说目标识别，我们是给深度学习网络呈现一个静止的图像，这个网络输出这是张三还是李四。但是我们神经系统从来不是这样的，静止图像是我们人为制造的一个幻觉，比如我坐在这儿，大家看向我的时候，从输入信号开始就是连续的光流，而不是静止的图像，这些光子到达你的视网膜再转换成电信号，然后一层一层的往后面传，这整个计算过程是一个动态的过程。 说的细致一点，在单个神经元层面上，每个神经元都不断接收输入信息，当超过一定阈值的时候才能发放，从单个神经元层面上我们就在做事件驱动的检测任务。这些神经元构成一层一层的网络，一层一层进行特征提取，这是深度学习已经模拟的，其实大脑还有一个根本不同，我们识别物体的时候不是像深度学习网络一样由简单到复杂的特征提取，而是有多条通路： 我们看到一个物体的时候，第一步会快速的从皮层下通路，对物体的整体的性质进行识别，这些信息到了高级脑区，和记忆、先验知识等进行融合，先猜测出来是什么东西，通过神经反馈再和深度学习模拟的那个慢速的腹侧通路进行动态交互，这个过程可能会经过几个回合，整个识别的过程都是输入和大脑内部的先验知识不断的相互比较印证的过程，而这个过程在目前是深度学习没有包含的，也是图像理解这个数学上不适定问题（ill-posed problem）的一个解决方案。 那为什么我们好像深度学习网络用的很好，我们没有包含动态的过程，由粗到细、由global到local的过程，也能做的挺好。我觉得这个问题Alan Yuille的报告中说的很好：现在我们的任务太简单了，如果只是做静态图像的识别根本不需要这个，但是如果真的要做一个能够与环境动态交互、很自主的机器人，这样的计算需求就会出现，那个时候就需要动态交互的过程了，这是我的一些个人理解。 1.4 学习层面，人与机器对知识的表征、传递和存储并不一致 刘嘉：刚才吴思老师提到了Alan Yuille的报告，Alan在报告中提到，现在深度学习依靠大数据，主要是通过“应试教育”，就是根据测试的内容针对性的训练来达到SOTA（state-of-the-art）。但是人类更多的是通过教育实现这件事，通过知识的传授，通过方法的把握来学习新的知识。这种人类和神经网络在获取知识和学习上的差异，可能对新一代人工智能的发展有一定的启发，这种启发究竟是什么？我想请余山老师分享一下。 余山：谢谢刘老师，我觉得今天这个场合就是一个很好的例子，我们坐在这里有四位专家给我们做报告，包括我们几位在这里一起讨论，我们自己包括在座的听众也学到了新的知识，以前不知道的现在知道了，以前不能做了现在可以做了，但是我们从没有见过一堆AI围在一起开个会、讨论一下就学会了新的东西，这是我感觉人类智能非常重要的一个方面。 现在我们说的比较多的包括单个AI智能或者群体的智能，可能比群体智能再高一个层面的是一种文明的智能。举个例子来讲，生物学家一般认为，如果有时光机器穿梭回比如说五万年前，如果把一个原始人的婴儿带到现代社会来，给他提供与现代人一样的环境的话，这个小孩长大之后是可以考大学的。几万年前的原始人和现代人的大脑的结构几乎是完全一样的，但是五万年前的人，他的能力、见识，对整个世界的认识比起我们来说差了很多很多。知识是人类几千年上万年逐渐积累起来的，随着文明的发展逐渐积累。 我们现在一个人类的婴儿不需要再花几百上万年从头去学，他可以在学校、教育体系里面花几年到十几年的时间就可以完成人类文明这么长的历史尺度积累下来的知识的获取，这是非常重要的人类智能的优势，如果说我们希望AI以后能够具有这样的能力，能够发展出类似文明的东西，很多AI可以各自去探索，可以积累之后，用非常高度集约的表征方式，互相传递知识，我觉得这会是对AI非常重要的推动，就像人类社会和单个人的差别一样。 但是想做到这一点还离得很远，我们现在人工智能系统特别是以深度学习为代表的一些系统，存在很多很多能力的差距，要想做到像人一样交流，传递知识，互相学习，一个很本质的问题是，现在知识的表征是非常单一的，在深度网络里面的知识都是通过结构来表征，通过在大量的数据集上进行训练，逐渐的把连接权重调好，比如训练怎么识别狗，调好之后“什么是狗”这个知识就分散在数以百万计的权重当中了。神经网络表征知识的方式只是通过很慢的结构化的学习过程来表征，但是在我们的语言能力中并不是，我们的知识是以活动的方式来表征的，比如我现在给大家说一个新的知识点，大家马上就记住了，但脑子里面不会立即有任何结构的改变。我们可以通过活动的改变来表征知识，传递知识，也可以把活动的改变逐渐转换成结构的改变，把知识存储下来。但具体到深度网络应该怎么做，我们现在还不知道，这是其中一个问题。 第二个问题，有了这样的一套知识表征的体系之后，还需要有某种符号系统，让AI之间可以相互交流，可以是语音、视觉等任何一种符号，作为不同层面知识的表征。今天也有演讲者说到Concept，概念很重要，这也是我们能够在抽象的层面做精炼的语言交流，做知识交互的基础。我个人觉得这是非常重要的，我们要让AI像人一样聪明，甚至发展出像人类文明一样的智能水平必须要考虑的问题。 1.5 把AI作为一个物种，研究智能的本质 刘嘉：余山老师提出一个特别精彩的假设，如果我们回到六千年前，把一个人带到今天，他是不是能在今天生存下去，成为一个AI的专家，这个假说很值得我们思考，关于知识怎么传递和传承的问题。 刚才几位老师讲了非常重要的观点，通过对人和生物智能的研究怎么启发AI，其实我们也可以从另外一个角度来看这个问题，AI可以作为关于生物智能的一种很好的模型，我们可以把它当成另外一个物种（species），另外一种类脑的智能，它可能对于人类理解我们自身的智能会有一些促进作用，特别是对于我们人类最基本的问题，什么是意识，什么是智能，这种本源的问题，可能我们站在自己的参照系里面很难去研究清楚，但是如果站在人工智能、神经网络参照系下，也许我们能够有一些理解或洞察。下面我想请陈良怡老师分享一下您的观点。 陈良怡：谢谢刘老师。听这个会我感觉学到了很多，第一个想法，大家看到大会最后一个报告，我觉得可以和GPT-3对照来看。我们现在有几十万亿甚至更大的人工神经网络，对应的我们可以模拟上百万个神经元，但是生命的系统本身存在的一个必要性，或者说它的复杂性是，小到一个十微米的细胞里也有成千上万的分子，大到组成一个神经大脑里上千万个神经元，百亿个突触这样的一个水平，它可以广阔超过于整个银河系里所有星系的数量，是非常大的、可以横跨整个空间和时间的尺度，这个系统超级复杂，意味着如果我们不是神，我们也许永远不可能同时看到这里面所有的东西，所以在这个意义上来讲，神经网络是给了我们一个很好的突破口，让我们可以去验证一些很基本的、原理性的东西。 比如对于神经网络，如果去做同一个任务，不同的研究者来做，他们的网络大体上架构是一样的，但是具体的层数可能不一样，参数也不太一样，但最后大家都能够得到类似的结果，可能你的是92%，我的是93%。对我们做生物的人来说，这里面有一个非常有意思的问题，为什么有可能大同小异甚至不同的架构，不同的参数的网络，最后能够得到差不多同等的性能，这里面最关键的组份是什么，最关键的元件是什么，根本性的原理是什么等等。 我们知道，深度学习一般认为是黑盒子，我们还没有理解的很深刻，每个人的模型得到大致相同的结果，但是也不完全一样，那么这里的一致性和不一致性到底体现在哪里，我觉得这是一个非常好的问题。如果深度学习能够在这个方面搞的很清楚的话，实际上对我们做生物智能的Infrastructure架构也会很有帮助，这是其中一个方面。 另一个方面，我也想提一件事，人工智能或者深度学习是从计算机来的，有一点和生物智能很不一样的地方。人工智能，或者所有冯·诺依曼体系的计算是决定性的，一旦参数决定了，输出肯定是一致的，但是这和我们日常的经验不一样，比如今天站在这个地方，突然心情有点好，就往左边走，明天到同一个地方，我就往右边走。生物智能本身就存在很大的随机性，这种随机性以什么形式体现？是以噪声形式体现还是其他形式体现？因为有了随机性就有了多样性，就有了多种选择进化的可能性。如果我们在生物的系统上研究本质的问题可能比较困难，但如果通过人造的人工智能或者深度学习的系统上能够实现也会给我们一些深刻的对本质问题的洞悉。02
生物智能启发的AI研究 2.1 复现大脑“硬件”，并不足以了解智能本质 刘嘉：因为时间有限制，刚才几位老师从他们的角度对脑启发的AI，以及AI对我们理解生物智能的帮助做了一些阐述和分享，我们现在想进一步追问这个问题。因为我们说脑启发AI的时候必然有一个前提，就是我们想知道大脑的结构和功能究竟是什么样子，这样才能启发我们的AI。从1948年提出的第一个神经元模型—MCP模型，到50年代提出Perceptron（感知机）模型，都是深刻的受到当时神经科学的发展的影响。 经过这几十年的神经科学、认知科学的发展，我们其实已经积累了更多的东西。如果我们做类脑的AI有一个前提，那就是生物智能究竟长什么样子，我们首先有一个模板一个目标来进行模仿或模拟。智源生命模拟研究中心的马雷老师在报告中提到，谷歌刚发出一篇文章，关于人类大脑皮层目前来说最庞大的数据库，包含了数万个神经元，这些神经元有1.3亿个突触连接，模仿了大脑皮层多达一立方毫米的区域，虽然这只占大脑体积的不到百万分之一，但是已经是非常海量的数据了。 我们这个团队（人工智能的认知神经基础重大研究方向）在智源也想做类似的事情，我们认为，只有提供出来关于生物智能的开源开放的数据库，我们的类脑AI发展才会有更好的前景。我们和谷歌的不一样，谷歌主要从生物这一个角度切入，我们希望能够从生物数据库，到神经模拟，到类脑算法到认知、任务等等一系列，形成一个完整的、多层面的、多尺度的数据库。现在请各位老师简单介绍一下他们在这方面的一些工作，以及生物智能开源开放平台大致的框架。首先请陈良怡老师介绍一下BioDB，以斑马鱼为核心的工作。
图片来源：BrainPy，智源生物智能开源开放平台
目前这个平台已经完成了基本的结构框架，也包含了十几种神经元模型、树突模型和网络模型，也有一些视觉的基本计算功能。我们比较有信心的说，比神经科学领域的其他一些软件比如neuron、brain2等具有更方便、更快速等优点。我们的长远目标是希望这个软件平台大家能广泛的使用，因为也是我们国内自主开发的软件平台，如果不做复杂的问题，只做算法研究也比较方便。欢迎大家使用，希望这个软件能为类脑计算的发展做出贡献。 2.5 打造类脑AI的 “ImageNet” 刘嘉：好，谢谢。我们刚才讲到要推动这个领域的发展，除了它的软件平台之外，我们知道Alan教授在其报告中也多次提到李飞飞以及她做的ImageNet，这个对于深度学习的发展是功不可没的，特别是对于怎么调试系统、怎么测试，相当于提供了一个非常非常精准的学习环境。但是对于类脑计算或者大脑启发的AI来讲，它显然是不够的。它更多的是关心所谓的端到端学习，内部发生什么事情它并不关心。这在认知科学里面叫“弱等价”，也就是说人和机器可以干同一件事，但是它们的内部过程是不是一样的其实并没有关心，这叫弱等价。包括图灵所提出来的图灵测试也是一样，我们看行为上大家能不能达到一样。 但是如果我们想更进一步，我们想做类脑的AI，我们必须做一个“强等价”方面的工作，也就是说它们不仅是要在结果上和人类似，或者和生物智能类似，同时要在内部的认知过程中，也应该和生物系统类似。因为他们有类似的实现层，相同的神经元，精细神经元，有相同的输出，最重要的是中间的过程，它们的算法层、认知过程应该也是类似的。从这个角度讲，我们的智能开源开放平台也在做一个与ImageNet类似的、用于调教类脑AI的网络，我们把它称为CogNet—就是由认知任务本身所定义的一套数据集，用来对类脑AI进行调试，这样能够推进类脑AI的发展。请宋森老师简单介绍一下这方面的工作。
03
认知神经学者眼中的 AI 未来 刘嘉：刚才几位老师简单的介绍了一下我们生物智能开源开放平台，从最底层的精细神经元的数据、连接、结构、功能，以及到神经形态计算、到类脑算法，以及支撑他的两个工具，一个是关于类脑计算的平台，一个是调教类脑AI的数据集。我们希望这个数据集是开源开放的，我们希望做出来之后供社区免费、公开的使用，大家可以用它进一步开展关于类脑AI的研究，促进类脑AI的发展。 我们觉得未来有多条路径可以实现通用人工智能，我们坚信人工智能将来在社会里会起到更大的作用。但是究竟哪一条路更适合，哪一条路更快，哪一条路能够让我们实现真正的智能，我们现在并不知道，因为我们的未来是不确定的。正是基于此，我们觉得从多个角度探索智能的本质，推进人工智能的下一步发展，也是我们每一个人现在正在努力的方向。我们也在和基于大数据、大模型、大算力的团队也有充分的合作，我们互相的互补，互相启发，共同推进关于人工智能这个领域的发展。 虽然我们还有很多话想说，因为时间关系，最后我想请各位老师用简单的一两句话，来谈一下你对未来AI这一块发展的预期或者想法，或者理想、愿景是什么。 宋森：我觉得要搞明白AI里怎么把这个模块化和灵活性协同在一起是非常重要的，现在有希望在小的动物上，因为可以看到它的所有活动，它可以做多种活动，有可能开始搞明白生物怎么解决这个问题的。 吴思：在我眼里，我从来没有把脑科学和人工智能区分开，我觉得两个都在搞智能，只是一个关注的是生物大脑，一个是人为制造的大脑，两者应该是相互促进的。我们今天可能更多强调的是脑科学对AI的帮助，其实AI对脑科学也有帮助，因为AI相当于一种关于大脑工作原理的很好的一个实例工具，两者可以协同发展。 余山：我想起来我们做类脑AI的人的一些情况。我们经常说“名师出高徒”，我们向大脑去学习，我们有一个非常非常厉害的老师，没有理由不成功。 陈良怡：我就用一个诗人的一句诗，是我们的一位硕士生同学在他答辩的论文里写的一句，跟大家共勉。罗伯特·弗罗斯特的一句诗：“在一个林子里，有一条很多人走过的路，有一条很少人走过的路，我选择了走那条很少人走过的路”，我觉得这也是每个人的选择，每个人的创新（innovation），和你希望为这个领域做的贡献（contribution）的原因之所在。 杜凯：我代表我们年轻的“天演”团队说一句，我希望我们能够真正的服务于脑科学，为脑科学提供一个了解大脑如何运作的工具，同时也能给人工智能提供一个特别好的工具，去探索人类智力的边界。 刘嘉：希望下来之后大家如果有更多的问题欢迎和我们几位老师联系。我们这个领域需要更多的新鲜血液加入，如果大家想做这方面的博士、博士后等等，我们热烈的欢迎你们加入我们，使我们这个方向变得越来越强大。像刚才陈良怡老师说的一样，现在走的人还比较少，我们也希望将来走的人越来越多！来源: 智源社区