第251章 意义空前的贡献（1 / 3）

第251章意义空前的贡献

这种情况下，找知识的共性非但没对他们造成帮助。

反而成为了他们学习时候的拖累。

就很苦逼了。

与其出现这种情况，这些人干脆放弃了找知识的共性。

直接一视同仁，至少不会聪明反被聪明误。

类似于学习上这些人面对的窘境。

或许机器学习方面的学者也是因为同样的境遇才放弃了对训练数据共性的寻找。

至少在伊芙·卡莉这是因为这个原因。

纵然是现在知道了林灰在模型训练中引入了预训练方式。

伊芙·卡莉现在也不知道林灰究竟是如何做的。

按照林灰在论文中补充内容进行的阐述。

传统的训练机制下，文本摘要模型的产生思路是：

语料训练→模型

而按照林灰的思路引入预训练机制后。

文本摘要模型的产生思路是：

语料预训练→预训练模型→微调→模型

这个思路的本身是没问题的。

但伊芙·卡莉面对着这个全新的模型产生思路却满脑子全是问题。

具体应用的时候究竟引入何种的预训练方式才能够起到事半功倍的训练效率？

什么样的预训练模型才是预训练的目标？

对于预训练模型的“微调”究竟应该如何理解呢？

前两个问题是就林灰鼓捣的理论而产生的疑问。

第三个问题是因为语言方面的阐述而产生的一些疑问。

尽管伊芙·卡莉最近在向米娜·卡莉努力地学习汉语了。

但汉语显然并不是短时期内能够速成的。

对于预训练模型林灰所谓的“微调”的“微”究竟应该如何理解呢？

只是一点点小小的调整么？

还是说所谓的“微”只是因为林灰本人对这一事情难度的蔑视。

伊芙·卡莉觉得应该是后者。

不太可能是微小的调整。

为什么伊芙·卡莉这样想呢？

伊芙·卡莉觉得涉及到文本摘要方面的模型往往都是极其复杂的。

一个正式模型所涉及到的参数都是极其繁多的。

更何况是预训练产生的预训练模型呢？

这种先于正式模型产生的粗模型可能参数要更加复杂。