穿孔反向传播：人工神经网络的神经科学启发扩展 Perforated Backpropagation: A Neuroscience Inspired Extension to Artificial Neural Networks 번개 역전파: 인공 신경망의 신경과학적 확장

인공 신경망의 뉴런은 오늘날보다 생물학적 뉴런에 대해 훨씬 적게 알려져 있었던 시기에 처음 발명되었습니다. 본 연구는 핵심 뉴런 유닛을 생물학적 뉴런과 더 유사하게 수정하는 방법을 탐구합니다. 이 수정은 생물학적 수상돌기(dendrites)가 단순히 활성화를 전달하는 수동적인 경로가 아니라, 세포체로 활성화를 전송하면서 복잡한 비선형 함수를 계산한다는 점을 고려하여 이루어졌습니다. 논문에서는 "퍼포레이티드(Perforated)" 역전파 시스템을 제안하여, 깊은 인공 신경망의 뉴런들이 원래 구조에서와 동일한 특성을 코딩하면서 더 나은 성능을 달성할 수 있도록 합니다. 초기 네트워크 학습 단계 후, 추가적인 "수상돌기 노드(Dendrite Nodes)"가 네트워크에 추가되고, 다른 목표로 별도로 학습됩니다: 원래 뉴런들의 잔여 오차와 그 출력을 상관시키는 것입니다. 학습된 수상돌기 노드는 이후 고정되며, 원래 뉴런들은 수상돌기 노드가 제공하는 추가적인 오차 신호를 고려하여 더욱 학습됩니다. 원래 뉴런들을 학습하고, 그 다음으로 수상돌기 노드를 추가 및 학습하는 과정은 만족스러운 성능이 달성될 때까지 여러 번 반복될 수 있습니다. 우리의 알고리즘은 현대 최고의 PyTorch 네트워크들에 다양한 영역에서 성공적으로 적용되어, 원래 정확도를 개선하고 정확도 손실 없이 모델 크기를 크게 줄일 수 있게 하였습니다.