“教授在看过您写的那些东西后，立马就让我来请您过去。”

王欣走在前面，脚步比平时快了几分。

沈默跟在后面，边走边问：“辛顿跟硅谷那些公司接触过了吗？”

“脸书已经被排除了，他们想让教授去做内容审核的应用，教授觉得那是羞辱。”

王欣回头看了一眼：“至于谷歌，教授和师兄都不愿意为了谷歌的超级大脑，放弃自主研究，他们更希望能找一家支持团队随时研究深度学习的公司。”

沈默追问：“佰度呢？”

王欣说：“佰度已经派人过来了，但人还在路上。”

一行人穿过旧楼的走廊，来到实验室。

辛顿、克里泽夫斯基、苏茨克维等人已经站在门口，眼里充满了对知识不加掩饰的渴望。

“沈，这些都是你写的吗？”

辛顿手里还攥着文件，页边已经被翻得有些卷了。

“也不全是。”

沈默把外套搭在椅背上，“有些是我们凌锋量化的其他人在训练时发现的。”

辛顿两眼放光，克里泽夫斯基更是迫不及待道：“Dropout rate要取多少？”

“0.5。”

“为什么是0.5？”

沈默说：“因为二项分布的期望刚好让每个神经元的输出在训练和推理时保持一致。”

“你算过推理时的缩放系数？”辛顿追问。

沈默回答：“当然，训练时激活值除以2，推理时不用动。”

克里泽夫斯基急不可耐道：“0.3呢？你试过0.3吗？”

沈默说：“试过，0.3的时候，隐藏层之间的共适应没有被打断。”

“0.7呢？”苏茨克维也问了一句。

“0.7的时候，信息损失太大，训练不收敛。”

众人一个问题接一个问题地抛出来，沈默一一作答。

好在他前世为了在AI大模型时代不被优化掉，自己硬啃了不少深度学习和人工智能的基础。

虽然谈不上什么学术大拿，但至少能撑住场面，不至于被问倒。

“为什么不用集成？”辛顿又问。

“因为参数共享，所有子网络共享同一套权重。”

沈默说：“推理时不需要集成，训练过程本身已经完成了隐式集成。”

“隐式集成。”

苏茨克维像是在咀嚼一颗糖果，舍不得咽下去。

克里泽夫斯基说：“所以你的办法，本质上是给网络注入噪声？”

“噪声为什么能防止过拟合？”辛顿补充了一句。

沈默说：“因为过拟合的本质，是神经元之间形成了过于紧密的共适应关系，它们学会了彼此依赖，而不是独立提取有用的特征，随机失活强迫每个神经元不能依赖固定的组合，逼它们独立。”

你不是个资本家吗！

怎么这么懂人工智能！

辛顿不禁感叹道：“你刚才说的这段话，和我二十年前写玻尔兹曼机论文时的想法一模一样，深度学习的目标，是让网络在‘清醒’时，感知真实数据，从而形成印象。”

“你的玻尔兹曼机，是为了让机器学会‘生成’。”

沈默说，“但难点就在于训练上并不是那么容易的。”

“你似乎找到了办法！”

辛顿晃了晃手里的文件，“就是这个‘生成对抗’是吗！”

沈默点点头：“我们凌锋量化在DNN的基础上，找到了深度信念网络（DBN），本质上也是一种生成式模型，用对抗博弈的思路，让机器不仅能识别，还会创造。”

“能说得更具体一点吗？”辛顿往前倾了倾身。

沈默笑了笑：“不好意思，这是凌锋量化最新的研究成果，属于商业机密，暂时不对外公开，只有凌云科技内部专攻人工智能的研究人员，才有资格接触。”

实验室，顷刻间安静了下来。

苏茨克维、克里泽夫斯基等人交换了一个眼神，连一向沉稳的辛顿，脸上也久久不能平静。

“是不是……只要加入你们，就可以了解DBN？”苏茨克维缓缓开口。