递归神经网络的有限状态机解释

摘要：训练简单递归神经网络的行为从准确性和可解释性两个方面对正则语言进行了分析。我们使用控制量的噪声和L1正则化来获得稳定和准确的响应，同时具有很高的可解释性，并引入了一种震动机制，当学习因过度正则化而停止时，该机制会重新激活沉默的神经元。适当的参数调整可以使网络具有很强的泛化能力，同时也提供了可以解释的解决方案作为有限自动机。用不同正则语言进行的实验表明，在所有情况下，训练后的网络都显示出激活模式，这些激活模式自动聚类成一组离散状态，而无需显式执行量化。对输入符号的状态转换的分析表明，网络实际上实现了一个有限状态机，它在所有情况下都匹配用于生成训练数据的正则表达式。

贡献：文章研究了RNN在训练识别Tomita文法时的行为。在不同的噪声水平和L1正则化下测试了网络，引入了一种冲击机制，当学习因过度正则化而停止时重新激活处于消亡状态的神经元，并且从准确性和可解释性的角度分析了网络的响应。

点击“阅读原文”，了解论文详情！