670 涌现（4K） (第1/2页)

俞兴与周明的会面十分愉快，而有了他的铺垫，晚上再见到纠结扭捏的韦福如，也不觉得出奇了。
　　
　　人各有志，韦福如要在微软做出成绩也是应有之意，况且，现在不来DLF，以後未必没有缘分。
　　
　　俞兴对这一点很淡定，也不觉得自己飞一趟就多麽兴师动众，反倒是韦福如感受到碳矽掌门人不远万里而来的胸襟，愈发纠结了。
　　
　　因为涉及到挖人，也涉及到技术讨论，晚上小宴只有俞、吴、周、韦四人，其他同行来的人多数去市里或者到微软参观。
　　
　　等到饭桌上的话题转到DLF这次的TD—1模型，韦福如才稍微松了一口气。
　　
　　吴恩达兴致勃勃的介绍DLF对自注意力机制的研究和探索，也略微提到编码器和解码器方案的利弊，这些同样是周明和韦福如或者说每一个深度学习领域的学者与大厂部门都在思索的。
　　
　　很快，饭桌上的氛围就转为熟悉的争辩。
　　
　　自注意力机制展现了让人欣喜的方向，但接下来到底往哪走仍然是巨大的问题。
　　
　　俞兴在纯技术层面上面的参与度不高，也就边吃边听着他们三个人从共识走向争辩再回归到共识—一规模，还得是规模。
　　
　　想要模型继续进化，必然需要更多数据的训练，需要更多的资金注入。
　　
　　「TD—1模型是个证明谷歌机制的好东西，但纯粹编码器的方案可能存在着一个天花板，它对公司当箭的业务看莉，司是，从长远来看，还是需要解码器的生成参与。」韦福如给了一个预测，「想要让模型变聪明，想要让AI真正更加快速的发展，解码器是重要的一环，编码器和解码器的统一就是既能商业又能学术的最佳方案。」
　　
　　这是他目前在微软着手研究的方向。
　　
　　俞兴先前已经听过吴恩达总结来自韦福如有别於DLF现在内部争论的第三条路线，现在听到本人的描述，觉得中间的话应该判断的还是比较准确的。
　　
　　无论如何都不能缺少解码器的生成能力。
　　
　　他的暗暗点头被韦福如注意到了。
　　
　　韦福如见状，笑道：「俞总，其实我觉得随着训练量的大幅提高，模型的聪明程度或许会进入一个快速成长期，就好像人类的孩子在几岁之後随着对世界认识的增多，也会突然变得懂事，嗯，怎麽说呢————」
　　
　　俞兴听到这种说法，眼睛一亮：「涌现，会不会是模型的能力忽然大幅提高的涌现出来？」
　　
　　韦福如低头琢磨这个词，赞叹道：「不错，这个形容挺好的，涌现。」
　　
　　吴恩达在旁边问道：「俞总也想过这个？」
　　
　　「我是不懂这个的。」俞兴惯例表明身份，然後才说道，「我就是觉得有意思，如果我们对深度学习的究极目标是做到AGI，那麽，现在的TD—1模型的能力是1，AGI的能力是10，中间到什麽阶段的时候它会突然让人觉得聪明呢？像孩子那样一下子成熟不少？」
　　
　　「假设我们一定能走到10，那就一定有这样的阶段吧。」
　　
　　「我以前是学医的，如果从医学角度，从生物角度，我们来看，从一个非洲爪蟾胚胎上取出来皮肤细胞，不对它的DNA进行任何修改，让细胞自主发育，最终也能重新长出完整的身体结构。」
　　
　　「整个过程没有人为设计结构，完全都是细胞自主完成。」
　　
　　俞兴提到的是一个经典实验，英国科学家1958年用非洲爪蟾幼体的肠细胞核移植入去核卵细胞，发现这样的胚胎也能发育成一个个体，而这个个体的基因组与供体细胞一致，即一个分化的细胞在一定条件下能够逆转，进而再发育为一个体。
　　
　　深度学习三人组完全没明白俞总想要表达什麽意思，相互看了看，确认对方都没懂。
　　
　　「我觉得DNA像是硬体规格书，不管怎麽测序基因，都没法推导个体宏观的五官和四肢，但是，当百亿千亿的细胞通过离子通道形成广泛的生物电网络，一个个体就拥有了智慧。」
　　
　　俞兴指了指自己，也指了指对面的韦福如，说道：「成百上千亿的细胞所形成的生物电网络很可能是智慧存在的规模前提，换成我们在聊的深度学习，它也需要那样类似的规模才能出现能力的涌现。」
　　
　　他用了一个生物上的例子来理解模型的能力涌现，而这恰恰是AI飞快发展的轰动标志o
　　
　　在OPENAI发布GPT—3之前，所有的模型做新任务都必须微调，要给出成千上万的标注数据，然後针对新任务进行专门的重新训练，最後才能达到很好的效果。
　　
　　但是，GPT—3的涌现是它不用修改模型的参数，不用样本或者少量样本就能完成训练时从没专门学习过的任务。
　　
　　比如，没有专门对模型进行翻译训练，但能进行几十种语言的互译，没有教它，它却会了，这是模型展现的让人震惊和不解的能力。
　　
　　刚开始做一张卷子只能得到20分，等到参数到达一定的阈值，忽然一下子就能得到80
　　
　　分，也没有中间50分、60分的过渡。
　　
　　俞兴是在用自己的理解来描述韦福如的涌现判断。
　　
　　「行了行了，俞总，知道你是学医的了。」吴恩达对於老板的这种说法不以为然。
　　
　　韦福如理解着来自俞总的话，琢磨了一会，却觉得颇有些意思。
　　
　　「我也就是耳濡目染，天天听你们说，想着什麽时候能出现更大的进步。」俞兴并不确定自己理解的是否正确，也不清楚自己的例子是否恰当，就是在这个场合尽力的聊聊深度学习的某个未来。
　　
　　周明这时候笑道：「俞总愿意听，愿意思考，我觉得这还真挺好，深度学习啊是越琢磨越有意思，就是不知道我到底能不能看到AGI出来的那一天了。」
　　
　　吴恩达耸耸肩：「尽力而为呗，争取多推动推动，也不是只有AGI才能发挥作用。」
　　
　　他说到这里，看了老板一眼：「当然了，俞总这时候就得强调AI对社会的挑战了，我有时候觉得俞总是最有信心的人。」
　　
　　俞兴笑道：「外行嘛，不知道你们具体的难处，当然就要乐观了，再说了，我要是不乐观，也不敢把DLF攒起来，不敢帮忙筹钱啊，吴总，你得谢谢我的外行。」
　　
　　吴恩达不得不敬一杯俞总的外行了。
　　
　　

（本章未完，请点击下一页继续阅读）