基于牛顿求根法的全新算法：实现RNN并行训练与评估，速度提升超过10倍

AIGC动态欢迎您的阅读

原标题：基于牛顿求根法的新算法实现了并行训练和评估RNN，提速超过10倍

关键词：序列，算子，矩阵，模型，方法

文章来源：机器之心

内容字数：7120字

内容摘要：机器之心报道编辑：Panda W。人们普遍认为RNN是无法并行化的，因为其本质上具有序列特性：状态依赖于前一个状态。这一特性使得长序列训练RNN变得困难。然而，最近出现了一种新算法，打破了这种常见看法，可以实现RNN和NeuralODE等非线性序列模型的并行评估和训练，为相关研究和开发带来了显著的速度提升。在过去的十年里，深度学习领域取得了快速发展，其中一个主要推动力就是并行化。通过GPU和TPU等硬件…

原文链接：点击查看原文：基于牛顿求根法的新算法实现并行训练和评估RNN，提速超过10倍