第四十六章 完善论文（2 / 3）

苏飞想了想道：“既然比你有天赋又比你努力，那你还努力干什么呢？该吃吃，该睡睡，该玩玩。”

周扬恍然大悟：“有道理！”

于是，他继续投入快乐风男的战场。……

苏飞则是把他的小破笔记本抱上床，他想要继续完善他的“菠萝”。

苏飞这几天根据现有的注意力机制文献，有空便修修改改，新想法的框架早就打好，但技术上其实早就步入瓶颈。

具体的技术难点有两个，一是既然要以注意力机制为基创造新的模型单元，那么就要舍弃现有的所有其他模型结构，舍弃这些结构代表着舍弃信息提取层，而注意力机制计算囊括的信息很单一，使用注意力机制可以得到更精确的信息，但同时会缩减信息源。

就好比你拿着放大镜看世界，世界的确更清晰了，但视野会缩小。

第二个难点则是，注意力机制计算是没有顺序的，也就是说信息的顺序是杂乱无序的，而且是没有时空性的，这就意味着在提取信息的时候，你不但有可能得到位置相反的信息，还可能得到时空错乱的信息。

就比如说你在读取一篇新故事的时候，你都是从头读取，对于没有读到的内容你是不知道的，这才会有新奇感，如果是推理小说，你甚至能根据前面故事的内容来推断最后的凶手。

然而一旦采用注意力机制计算，计算机在读这篇故事的时候，很可能会直接读取谁是凶手，因为这个因素是所有读者最为关注的，最吸引读者注意力的，然后逆着顺序往前读。

这两个难点也是困扰当今想改善注意力机制的学者们的最麻烦的难题，而苏飞目前对第一个难点有点想法。

他果断地打开系统商城，买了一张灵感激发卡。

苏飞不会自大到仅靠自己解决这种困扰整个学界十多年的难题。

当然，他也已经有些思路，只是需要灵感激发卡来给他具体化一下。

如果把注意力机制的计算看成一个矩阵，一个矩阵的计算获取一个单一信息，那么是不是只需要多个矩阵就能获得多个信息……

苏飞顺着这个思路往下想，同时心里默念“使用灵感激发卡”。

和上次一样，一股神秘的暖流钻上苏飞的大脑，一个个根据苏飞的思路演算的公式直接刻入他的脑海，一次次的理论修改也涌入他的脑海……

就仿佛是不断试错后成功的苏飞把这一过程带回去给过去的自己。

大脑瞬间便超负荷