Synaptic pruning

얼마 전 팟캐스트를 듣다가 synaptic pruning(시냅스 가지치기)라는 개념에 대해 알게 되었다. 뇌에서 신경 세포를 연결하는 시냅스가 청소년기까지 엄청나게 많이 생겼다가 이후부터는 사용하지 않는 시냅스들을 알아서 쳐내는 과정인데, 아동/청소년기에는 무엇이든 유연하게 빨리 배울 수 있도록 뇌의 가소성이 가장 높고, 불필요한 시냅스 가지치기를 통해 연결고리가 강한 시냅스만 남기면서 뇌가 성숙하고 효율이 높아진다고 한다.

여기서 흥미로웠던 부분은 가소성이 너무 높을 경우 오히려 학습 결과를 기억하는 능력이 떨어진다는 거였다. 이는 실제로 머신러닝 모델을 만들 때도 적용된다고 하는데, 인공신경망의 learning rate을 너무 높이면 최근 입력된 인풋의 영향을 지나치게 받아서 기존에 학습한 것들을 다 잊어버린다고 한다.

그동안 어떻게 하면 더 많은 양의 인풋을 더 빨리 학습할 수 있을까에 대해서만 고민해 왔는데, 그러다 보니 마치 소화도 못할 만큼의 음식을 꾸역꾸역 먹고 나서 더부룩할 때와 비슷한 느낌을 가끔 받았었다. 이젠 인풋의 양만 마구잡이로 늘리기보단 집중할 분야를 몇 개 정해서 그들의 연결고리를 강하게 해줄 인풋만 골라서 넣는걸 시도해 보려고 한다.