2 个月前

条件移位神经元的快速适应

Tsendsuren Munkhdalai; Xingdi Yuan; Soroush Mehri; Adam Trischler
条件移位神经元的快速适应
摘要

我们描述了一种机制,通过该机制,人工神经网络可以学习快速适应——即在数据量有限的情况下即时适应新任务的能力——我们称之为条件移位神经元(conditionally shifted neurons)。我们在元学习框架中应用了这一机制,其目标是使机器复制人类学习的部分灵活性。条件移位神经元通过从一个记忆模块中检索特定任务的偏移量来修改其激活值,而该记忆模块则基于有限的任务经验迅速填充。在来自视觉和语言领域的元学习基准测试中,增强条件移位神经元的模型取得了最先进的结果。