一连写下三条。

看的林宇有些诧异。

倒也不愧是教授，肚子里面有真货。

见林宇表情有变，宫本更是骄傲了起来。

“林宇先生，连接主义神经网络在80年代末火过一阵，但很快就被证明不可行。”

“为什么？”

“层数稍微深一点，梯度就消失了。”

“计算复杂度太高，计算机根本跑不动。”

“还容易过拟合，泛化能力差。”

“您说第五代计算机是死路，那连接主义呢？”

“这个更需要新型计算机的方向难道能代表人工智能？”

宫本放下粉笔，转过身，当着一种媒体的面质问林宇。

“据我所知，全世界在这个方向上的投入已经大幅削减。”

“美国、欧洲、日本的实验室，都在转向其他方向。”

“您说人工智能在另一条路上走得很好。”

“那我请问，您走的是哪条路？”

“您解决了梯度消失问题吗？您解决了计算复杂度问题吗？您有能用的系统吗？”

宫本的问题一个接一个，每个都精准地打在连接主义神经网络的痛点上。

台下，那些懂行的学者们开始交头接耳。

宫本说得对。

连接主义在80年代末确实火过一阵，但很快就被证明有严重的理论和工程问题。

到了1994年的今天，这个方向已经冷了下来。

德国马普所的科特勒教授在笔记本上写了几笔，抬起头，目光在林宇和宫本之间来回移动。

德国现在的研究方向正好卡在两种主义之间。

不过也本来是以符号主义为主的。

搞得是基于属于逻辑的知识工程与专家系统。

俩人的说法他听起来都觉得有道理。

同时他已经意识到了这将是改变未来计算机与人工智能生态的一场奠基型的辩论。

现在，只等一个人能完全的压服对方了。

法国来的科恩·塔诺季摘下眼镜，表情若有所思。

法国也是完完全全的符号主义占上风，现在林宇能说服他们已经很不容易了。

但也压根打消不了他们对连接主义的怀疑。

美国驻华使馆的科学参赞靠在椅背上，一脸放松，想的是反正谁也没有美国在这走的远。

他乐得看这场好戏。

中国学者区，周院士的表情没什么变化，但他身旁的几个年轻教授开始有些坐不住了。

他们看过林宇的人工智能，知道那东西确实能跑、能用、能下棋。

但他们不知道林宇是怎么解决那些理论问题的。

现在宫本把这些问题一个个摆出来，他们免不了也有些担心。

而林宇一点不慌，耐心等宫本说完，才慢慢开口。

“宫本教授问得很好。”

他走到黑板前，在宫本写的那行字旁边，又加了一行：

深度学习。

“您说的梯度消失问题，确实存在。”

“但您可能不知道的是，有问题就要去解决，而不是对着问题停摆。”

林宇的话说的有些重。

瞬间激起来了不少业内人的逆反心理。

这东西要是能解决，谁不想解决？

要是能解决那还叫走不通的路吗？！

可下一秒，众目睽睽之下林宇拿起粉笔，随后在黑板上画了一个简单的示意图。

准备露两手绝活出来。

“宫本教授。梯度消失的原理您清楚吧？”

“传统神经网络使用的是sigmoid来作为激活函数。”

“这个激活函数的导数性质在两端会趋近于零，因此多层反向传播时，梯度会指数级衰减。”

“这是梯度消失的根本原因。”

台下不少业内人士都深以为然的点了点头。

宫本更是直言不讳：

“林先生说的这个谁不知道？可谁解决了？”

“连接主义可是公认的比符号主义更倾向于失败！”

听着他的发言。

林宇倒也是认可这个年代是这样的。

不如说如果解决了，现在就不是第二次人工智能寒冬。

就是以为整个学界都走了错路，这才导致了进展寒冬的出现。

于是林宇呵呵一笑。

“您急什么？”

“如果不确认好你的基础牢固，我也怕再说下去你听不懂啊。”

“到时候再来反复问我。”

不等宫本发怒，林宇在图上标出几个点。

“梯度消失算什么大问题？”

“解决方案是显而易见，换激活函数就好了！”

闻言，台下一阵交头接耳。

不懂的那些人去问身边可能懂的教授。

可得到的统一答案却是，这事没那么简单。

想换个计划函数得是数学上有突破才行。

可随后林宇就在黑板上写下了一个新函数：

ReLU(x)= max(0， x)

“这个函数，正半轴导数为1，负半轴导数为0。”

“因为没有饱和区，所以梯度就不会消失。”

“以此为连接主义的激活函数，梯度消失的问题就不会出现。”

“就这么简单。”

说完，林宇拍了拍手。

给出了个所有人意料之外的答案。

这甚至都不是数学上的突破。

只是思路上的转变。

一瞬间，台下不知道哪个教授喊了一声安静。

随后记者区也不闹了，只能听见钢笔在纸上哗哗作响的声音。

台上，宫本教授盯着那个函数看了几秒后，脸色微变。

他当然知道sigmoid函数的饱和问题，但他从没想过换一个这么简单的激活函数就能缓解梯度消失。

可这事没完。林宇还在继续写。

“这只是其一。”

“其二是逐层预训练。”

他在黑板上画了一个多层网络的示意图。

“这件事情这么好解决，宫本教授为什么非要说做不到？”

“只要先训练第一层，固定参数，然后再训练第二层，就这么以此类推。”

“逐层初始化，再整体微调。”

“靠着这种方法，不就可以有效地把网络深度推到十层以上了？”

“再加上残差连接。”

林宇又画了一个示意图，靠着一条短路路径绕过中间层，直接把输入连接到输出。

“让网络学习残差函数，而不是原始映射。”

“这样，梯度可以通过短路路径直接传播，即使中间层很深，梯度也不会消失。”

“宫本教授，这三个技巧组合在一起，可以把网络深度推到百层以上。”

“梯度消失？不存在了。”

台下，懂行的学者们开始倒吸冷气。

上百层？上千层？

现在的神经网络最多三四层，再深就训不动了。

林宇说的这些东西，完全超出了他们的认知范围。