Stability-Plasticity dilemma(안정성-가소성 딜레마)

 인공지능의 방식 중 하나인 Neural Network에 대해 공부하다 보니 종종 자세히 알아보고자 하는 용어들이 나와 나올 때 마다 조금씩 정리를 해두고자 합니다.

 Neural Network에서 흔히 쓰는 용어들 중 하나인 Stability-Plasticity dilemma(안정성-가소성 딜레마)란 인공신경망이 기존에 학습된 내용을 유지하면서도 새로운 내용을 학습해야할 때 발생하는 딜레마라 할 수 있겠습니다. 먼저 아래의 그림을 통해 간단히 설명해 보도록 하겠습니다.

그림1. Strong version of the synaptic stability hypothesis

그림2. Weaker version of the synaptic stability hypothesis

 그림1과 그림2는 모두 Neural Network의 Stability(안정성)에 중점을 둔 것을 나타낸 것입니다. 그 중 첫 번째의 경우 왼쪽에서 오른쪽으로 시간이 지남에도 각 Node 사이의 Weight(가중치)가 변하지 않고 유지됨을 알 수 있습니다.

 반면 두 번째의 경우 몇몇 Node와 Weight가 약해졌다가 이후 다시 원상태로 돌아오는 모습을 보이고 있습니다. 이러한 Neural Network의 경향이 Stability라 할 수 있겠습니다.

그림3. Synaptic plasticity hypothesis

반면, Neural Network의 Plasticity(가소성)에 중점을 둔 경우 핵심 노드는 그대로 유지되고 있으나 학습이 진행되면서 기존의 Weight가 변하면서 각 Node와의 연결 weight가 변화하는 것을 볼 수 있습니다. 이 때 각 Node에 저장된 메모리는 유지되고 있으나 weight가 변화하면서 저장된 값에 변화가 생겨 기존의 값이 손상된 것을 볼 수 있습니다. 이러한 Neural Network의 경향이 Plasticity라 할 수 있겠습니다.

 이러한 Neural Network의 특징인 기억의 유지(stability)와 새로운 기억의 생성(Plasticity)은 Stability-Plasticity dilemma로 표현할 수 있겠습니다. 학습된 기억을 지속적으로 유지하는 것도 중요하지만 새로운 내용을 학습함에 있어서는 weight를 조정함으로서 약간의 변형이 불가피합니다. 즉, Stability와 Plasticity 어느 한 쪽으로만 비중이 크게 된다면 이는 좋은 인공신경망이 아니라는 의미가 되겠지요. 그렇기에 Stability-Plasticity dilemma는 인공신경망이 학습하는 대상이 무엇인가에 따라 비중을 조절하면서도 어느 한 쪽이 우월해서는 안된다는 것입니다.