第130章 步步紧逼的追赶者(下)（2 / 4）

论上讲将长短期记忆神经网络神经网路用于文本识别方面完全是可行的。

但具体如何将长短期记忆神经网络应用于文本识别，暂时埃克莱尔·基尔卡加也不太清楚。

这个还需要一段时间的研究来探索。

哈雷·普莱斯没有想到长短期记忆神经网络神经网路应该还有另一方面的原因。

因为长短期记忆神经网络并不是什么新鲜玩意。

hochreiter和schmidhuber于1997年提出了长短期记忆神经网络。

距今天已经将近二十年了，可以说是很久远了。

虽然长短期记忆神经网络在处理长序列文本的时候可能会有一定的优势。

但实际上当初提出长短期记忆神经网络并不是为了文本处理。

当时之所以提出长短期记忆神经网络神经网路是为了处理训练传统循环神经网路时可能遇到的梯度消失和梯度爆炸问题。

在机器学习中，用基于梯度的学习方法和反向传播训练人工神经网络时。

有时会遇到梯度消失和梯度爆炸的问题。

这两种情况都不是研究人员希望看到的情况。

出现梯度消失或梯度爆炸后，原本的深度学习根本深不起来，只能说是浅度学习。

个别极端情况，别说浅度学习了，连最起码的机器学习都做不到。

总而言之，梯度消失和梯度爆炸问题会极大地降低利用神经网络的深度学习的训练效率。

梯度消失和梯度爆炸问题也是一个极其难缠的问题。

和神经网络有关的研究人员在1991年就注意到梯度消失和梯度爆炸现象。

该问题在长短期记忆神经网络出现后得到一定的缓解。

但还是没有彻底解决梯度消失和梯度爆炸问题。

除了利用长短期记忆神经网络之外，其他的几种处理梯度消失和梯度爆炸的问题的方式（比如说多级层次结构、利用更快的硬件、利用其他的激活函数等等。）也各有各的局限性。

总之梯度消失和梯度爆炸问题但还没有被彻底解决。

到今天梯度消失和梯度爆炸问题已然成为了机器学习上空中一朵乌云。

这个问题已然严重制约机器学习向前发展。

心念及此，埃克莱尔·基尔卡加不免有些感慨。

也不知道这个问题什么时候会被什么人彻底解决？？？

埃