퍼셉트론: 뇌의 정보 저장과 조직에 관한 확률 모델

퍼셉트론: 뇌의 정보 저장과 조직에 관한 확률 모델

무작위로 연결된 단순한 '켜짐/꺼짐' 단위들이 강화(보상)에 따라 연결의 세기만 바꿔도 자극을 구별하고 일반화할 수 있다는 것을, 기호 논리가 아니라 확률로 분석한 논문입니다. 오늘날 신경망의 가장 먼 조상으로 꼽힙니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• 구글 머신러닝 단기 집중 과정 — 선형 회귀 · MSE 손실 · 경사 하강법 · 로지스틱 회귀를 손계산으로 배우는 머신러닝 첫 수업
• 머신러닝을 위한 수학 — 벡터 · 내적 · 코사인, 행렬 곱과 shape, 기울기 · 연쇄 법칙을 손계산으로 익히는 수학 최소한

한눈에 보기

• 퍼셉트론이 원래 "컴퓨터 알고리즘"이 아니라 뇌가 기억을 어떻게 저장하는가에 대한 심리학 · 신경과학 이론으로 제안됐다는 것을 압니다.
• 감각 단위(S) → 연합 단위(A) → 반응 단위(R)로 이어지는 구조와, "임계값을 넘으면 켜진다"는 규칙을 손으로 계산해 봅니다.
• 학습이 "연합 단위의 값 $V$가 활동에 따라 커지는 것"으로 설명된다는 것, 그리고 값을 바꾸는 방식(알파 · 베타 · 감마 체계)에 따라 성능이 달라진다는 것을 압니다.
• 올바른 반응 확률을 하나의 식 $P = P(N_{a_r} > 0)\cdot\Phi(Z)$로 예측하는 방법과, '이상적 환경'과 '분화된 환경'의 차이를 이해합니다.
• 오늘날 교과서의 "퍼셉트론 학습 규칙"이 이 논문의 표기와 어떻게 다른지 구분할 수 있습니다.

초록 (번역)

이 논문(1958)에는 따로 떨어진 초록이 없습니다. 아래는 논문 끝 '결론 및 평가'에서 저자가 직접 정리한 10개 결론을 옮긴 것입니다.

1. 무작위 자극으로 이루어진 환경에서, 무작위로 연결된 단위들로 된 체계는 앞서 논한 매개변수 제약을 따르면 특정 자극에 특정 반응을 연결하도록 배울 수 있습니다. 한 반응에 많은 자극이 연결되어도, 그 자극들이 서로 매우 닮았고 같은 감각 입력을 많이 활성화하더라도, 우연보다 나은 확률로 알아볼 수 있습니다.
2. 이런 '이상적 환경'에서는 배운 자극의 수가 늘수록 올바른 반응의 확률이 원래의 무작위 수준으로 줄어듭니다.
3. 이런 환경에서는 일반화의 근거가 없습니다.
4. 각 반응이 서로 상관된, 즉 '비슷한' 자극들의 뚜렷한 한 부류에 연결되는 '분화된 환경'에서는, 배운 특정 자극의 연상이 올바로 유지될 확률이 배운 자극 수가 늘수록 대체로 우연보다 나은 점근값에 다가갑니다. 이 점근값은 체계의 연합 세포 수를 늘려 1에 얼마든지 가깝게 만들 수 있습니다.
5. 분화된 환경에서는, 처음 보는 자극이 올바로 인식되어 알맞은 부류에 연결될 확률(올바른 일반화의 확률)이, 이전에 강화된 자극에 올바로 반응할 확률과 같은 점근값에 다가갑니다. 해당 자극 부류에 대해 부등식 $P_{c12} < P_a < P_{c11}$이 성립하면 이 점근값은 우연보다 낫습니다.
6. 윤곽에 민감한 투사 영역을 쓰고, 각 반응(또는 '비트')이 자극의 독립된 특징이나 속성 하나에 대응하는 이진 반응 체계를 쓰면 체계의 성능을 높일 수 있습니다.
7. 양가(bivalent) 강화 체계에서는 시행착오 학습이 가능합니다.
8. 자극 패턴과 반응의 시간적 구성도, 통계적 분리 가능성이라는 원래 원리를 확장하는 것만으로, 체계 구성에 큰 복잡함을 더하지 않고 배울 수 있습니다.
9. 퍼셉트론의 기억은 분산되어 있습니다. 어떤 연상이든 체계 안 세포의 큰 부분을 쓸 수 있고, 연합 체계의 일부를 없애도 어느 한 변별이나 연상의 성능에는 눈에 띄는 영향이 없으며, 대신 배운 모든 연상에 걸친 전반적인 결손으로 나타나기 시작합니다.
10. 단순한 인지 세트, 선택적 회상, 주어진 환경에 있는 부류들의 자발적 인식이 가능합니다. 그러나 공간과 시간 속의 관계를 알아보는 일은 퍼셉트론이 인지적 추상을 이루는 능력의 한계로 보입니다.

무엇을 풀었나

저자는 세 가지 질문으로 시작합니다. 바깥 세계의 정보는 어떻게 감지되는가, 정보는 어떤 형태로 저장되는가, 저장된 정보는 인식과 행동에 어떻게 영향을 주는가. 이 논문은 둘째와 셋째 질문을 다룹니다.

당시에는 두 입장이 맞섰습니다.

1. 부호화된 기억(coded memory): 자극이 사진 음화처럼 일대일 대응으로 저장되고, 알아볼 때는 저장된 내용과 새 자극을 맞춰 본다는 입장입니다.
2. 연결주의(connectionist): 자극의 모습은 저장되지 않고, 신경계 안의 새 연결(경로)로만 남는다는 입장입니다. 새 자극은 그 경로를 타고 알맞은 반응을 자동으로 일으킵니다.

저자는 둘째 입장을 택합니다. 그리고 기존 두뇌 모델의 문제를 지적합니다. 기호 논리 · 불 대수로 만든 모델들은 연결이 지나치게 정확해야 하고, 생물학적 근거가 없는 변수를 가정했습니다. 반대로 헵(Hebb) 같은 생리학 쪽 이론은 엄밀한 분석이 부족했습니다. 저자의 답은 구조의 대략만 알고 정확한 배선은 모르는 체계를 확률론으로 분석하는 것이었습니다.

핵심 아이디어

1. 퍼셉트론의 구조 — S · A · R 단위

직관: 회사 안내 데스크에 들어온 민원을(자극), 무작위로 배정된 담당자들이(연합 단위) 각자 "내 일인가?"를 판단하고, 가장 많은 담당자가 손 든 부서가(반응) 처리하는 것과 비슷합니다(해설용 비유).

단계 (논문 그림 1의 '광 퍼셉트론' 기준):

1. 자극이 감각 단위(S-점)로 된 망막에 닿습니다. 여기서 다루는 모델은 켜짐/꺼짐(all-or-nothing)으로 반응합니다.
2. 신호가 투사 영역($A_I$)의 연합 단위(A-단위)로 갑니다. 각 A-단위에 신호를 보내는 S-점들을 그 단위의 '기원점(origin points)'이라 부르며, 흥분성이거나 억제성입니다.
3. 투사 영역과 연합 영역($A_{II}$) 사이의 연결은 무작위입니다.
4. 반응 단위($R_1, R_2, \dots$)는 연합 영역에 무작위로 흩어진 많은 A-단위에서 신호를 받습니다. 한 반응에 신호를 보내는 A-단위 집합을 그 반응의 원천 집합(source-set)이라 합니다.
5. $A_{II}$까지는 앞으로만 흐르고, A와 R 사이에만 되먹임이 있습니다. 분석에는 "각 반응이 자기 원천 집합 바깥의 A-단위를 억제한다"는 규칙을 씁니다. 그래서 반응들은 서로 배타적입니다.

A-단위가 켜지는 규칙: 흥분성 입력과 억제성 입력의 대수합이 임계값 $\theta$ 이상이면 켜집니다.

(원문은 "흥분 · 억제 강도의 대수합 $\alpha = e + i$가 $\theta$ 이상"이라고 쓰고, 계산식에서는 억제를 빼는 조건 $e - i \ge \theta$를 씁니다. 여기서는 억제를 양수로 세어 뺀 형태로 적었습니다.)

숫자로 해 보기(해설용 예): 어떤 A-단위에 흥분성 기원점 2개, 억제성 기원점 1개가 있고 $\theta = 1$이라 합시다. 자극이 흥분성 2개와 억제성 1개를 모두 비추면 $2 - 1 = 1 \ge 1$이라 켜집니다. 흥분성 1개와 억제성 1개만 비추면 $1 - 1 = 0 < 1$이라 꺼집니다.

왜 무작위 연결인가: 저자는 생물의 학습 · 인식 관련 연결이 개체마다 같지 않고, 태어날 때 대부분 무작위라는 가정(헵 · 하이에크 등의 입장)에서 출발합니다. 정확한 배선도를 가정한 기존 모델과 원리적으로 다른 출발점입니다.

2. 자극이 A-단위를 켤 확률 — Pₐ

학습 곡선을 예측하는 데 가장 중요한 두 변수는 다음과 같습니다.

• $P_a$: 주어진 크기의 자극이 켜는 A-단위의 기대 비율
• $P_c$: 자극 $S_1$에 반응한 A-단위가 다른 자극 $S_2$에도 반응할 조건부 확률

망막이 충분히 크면 $P_a$는 다음 식으로 구합니다.

직관: 각 연결이 확률 $R$로 독립적으로 켜진다고 보고, "흥분 − 억제 ≥ 임계값"이 되는 모든 경우의 확률을 더한 것입니다.

숫자로 해 보기(해설용 예): $x = 2$, $y = 0$, $\theta = 1$, $R = 0.5$이면 흥분성이 하나라도 켜지면 되므로 $P_a = 1 - 0.5^2 = 0.75$입니다. 이번엔 억제성 연결 하나를 더해 $y = 1$로 두면, 켜지는 경우는 $(e,i) = (1,0)$: $0.5 \times 0.5 = 0.25$, $(2,0)$: $0.25 \times 0.5 = 0.125$, $(2,1)$: $0.25 \times 0.5 = 0.125$로 합이 $0.5$입니다. 억제성 연결이 늘자 $P_a$가 $0.75$에서 $0.5$로 줄었습니다.

이 결과는 논문의 관찰과 같은 방향입니다. 논문은 임계값을 높이거나 억제성 연결 비율을 늘리면 $P_a$가 줄고, 흥분과 억제가 비슷하면 자극 크기가 달라도 $P_a$가 크게 변하지 않는다고 설명합니다.

$P_c$는 두 자극이 망막에서 얼마나 겹치는지($L$, $G$)까지 넣은 더 긴 식(원문 식 2)으로 계산합니다. 두 자극이 완전히 같아지면 $P_c$는 1로 가고, 전혀 겹치지 않아도 0보다 클 수 있습니다. 최솟값은 $P_{c\,\min} = (1-L)^x (1-G)^y$입니다.

3. 학습 — 연합 단위의 '값' V

직관: 자주 일한 담당자의 목소리가 점점 커지는 것입니다(해설용 비유). 다음에 같은 민원이 오면 그 담당자가 속한 부서가 이길 가능성이 커집니다.

저자는 A-단위가 내보내는 신호의 효과를 값(value) $V$ 하나로 나타냅니다. 진폭 · 빈도 · 지연 · 전달 확률 무엇이든 될 수 있습니다. 활동하면 값이 오르고, 이 값이 원천 집합 단위로 합쳐져 반응 경쟁을 정합니다.

단계:

1. 우세 이전 단계(predominant phase): 자극이 일부 A-단위를 켭니다. 아직 반응은 없습니다.
2. 우세 이후 단계(postdominant phase): 한 반응이 이겨 켜지고, 자기 원천 집합 밖의 활동을 억누릅니다. 처음에는 어느 반응이 이길지 무작위입니다.
3. 강화: 켜져 있는 A-단위의 값을 올립니다.
4. 같은 자극이 다시 오면 같은 반응이 이길 경향이 커집니다. 이것을 학습이라 부릅니다.

값을 바꾸는 방식은 세 가지로 비교합니다(논문 표 1).

숫자로 해 보기(해설용 예): 반응 $R_1$의 원천 집합을 $\{A_1, A_2, A_3\}$, $R_2$의 원천 집합을 $\{A_4, A_5, A_6\}$이라 하고 모두 값 1에서 시작합니다. 자극 $S$가 $A_1$과 $A_4$를 켜면 두 반응이 받는 합이 1 대 1로 같아 무작위로 정해집니다. 실험자가 $R_1$을 강제하면, 알파 체계에서는 $A_1$의 값이 2가 됩니다. 다음에 $S$가 오면 $R_1$ 쪽이 2, $R_2$ 쪽이 1이라 $R_1$이 이깁니다. 감마 체계라면 $A_1$이 $+1$을 받는 대신 쉬던 $A_2$, $A_3$이 각각 $-\frac{1}{3-1} = -0.5$씩 깎여, 원천 집합의 총값이 3으로 그대로입니다.

왜 감마 체계가 좋은가: 논문은 세포들이 대사 물질을 두고 경쟁해 활동적인 세포가 덜 활동적인 세포를 희생시키는 모델을 "가장 흥미로운" 경우로 꼽습니다. 분석 결과에서도 감마 체계는 평균을 비교하든 합을 비교하든 성능이 같고, 부류마다 자극 수가 들쭉날쭉할 때 알파 · 베타보다 낫다고 보고합니다.

4. 올바른 반응 확률을 예측하는 한 식

저자는 모든 조사한 경우에서 다음 한 식이 올바른 선택 확률 $P_r$(배운 자극을 다시 보여 줄 때)과 올바른 일반화 확률 $P_g$(새 자극을 보여 줄 때)를 잘 근사한다고 보고합니다. 상수만 경우마다 바꿉니다.

직관: 앞 항은 "올바른 쪽 담당자가 한 명이라도 손을 드는가", 뒤 항은 "손 든 쪽 목소리 합이 우연한 흔들림을 이기는가"입니다.

숫자로 해 보기(해설용 예): $P_a = 0.1$, $N_e = 10$이면 $P(N_{a_r} > 0) = 1 - 0.9^{10} \approx 0.651$입니다. 만약 $Z = 0$이면 $\Phi(0) = 0.5$이므로 $P \approx 0.33$이 됩니다. $Z$가 커져 $\Phi(Z)$가 1에 가까워지면 $P$는 $0.651$ 쪽으로 다가갑니다.

이상적 환경과 분화된 환경:

• 이상적 환경은 무작위 점들로 된 자극처럼 부류 사이에 내재적 유사성이 없는 경우입니다. 이때 $c_1 = 0$이라 배운 자극 수 $n_{s_r}$이 커질수록 $Z$가 0으로 가고, 일반화 확률 $P_g$는 우연(0.5)보다 나아질 수 없습니다. 결론 2 · 3이 이것입니다.
• 분화된 환경은 네모 · 동그라미 · 세모나 알파벳처럼 구별되는 부류가 있는 경우입니다. 이때 $c_1 \ne 0$이라 $Z$가 0이 아닌 값으로 수렴하고, $P_r$과 $P_g$가 같은 점근값으로 갑니다. 결론 4 · 5가 이것입니다.

5. 이진 부호화와 양가 체계

반응 수가 늘수록 모든 반응을 서로 배타적으로 두면 성능이 떨어집니다. 저자의 해결책은 이진 부호화입니다. 서로 다른 자극 100개를 배타적 반응 100개로 나타내는 대신, 밝음/어두움 · 큼/작음 · 곧음/굽음처럼 독립적으로 알아볼 수 있는 특징을 반응 쌍 하나씩에 맡깁니다. 논문은 이상적인 이진 특징이 있다면 반응 쌍 7개만으로 100개 부류를 구별할 수 있다고 씁니다($2^7 = 128 \ge 100$).

양가(bivalent) 체계에서는 강화가 양(+)과 음(−) 두 가지입니다. 활동한 단위가 상황에 따라 값을 얻기도 잃기도 합니다. 양 · 음 강화를 바깥에서 줄 수 있으면 사실상 '보상'과 '벌'이 되어, 퍼셉트론이 시행착오 학습을 할 수 있다고 저자는 설명합니다. 이 체계는 코넬 항공연구소의 IBM 704 컴퓨터로 모의 실험했고, 결과가 이론의 주요 예측을 모두 뒷받침했다고 보고합니다(세부 결과는 따로 발표 예정이라고만 적혀 있습니다).

참고: 오늘날 교과서의 퍼셉트론 학습 규칙 (해설용)

요즘 교과서는 퍼셉트론을 "입력의 가중합이 임계값을 넘으면 1"인 분류기로 쓰고, 틀릴 때만 가중치를 고치는 규칙을 소개합니다.

이 식은 1958년 논문에 나오지 않습니다. 논문은 개별 가중치 대신 A-단위의 '값' $V$와 확률 분석으로 학습을 설명합니다. 다만 "켜진 단위의 기여를 강화 신호에 따라 올리거나 내린다"는 양가 체계의 생각이 이 규칙과 통합니다.

숫자로 해 보기(해설용 예): $w = (0, 0)$, $b = -0.5$, 입력 $x = (1, 0)$, 정답 $t = 1$, $\eta = 1$이라 합시다. $w \cdot x + b = -0.5 < 0$이라 $\hat{y} = 0$으로 틀립니다. 고치면 $w = (0,0) + 1 \times (1 - 0) \times (1, 0) = (1, 0)$이고, $b$도 같은 방식으로 $-0.5 + 1 = 0.5$가 됩니다. 다시 넣으면 $1 + 0.5 = 1.5 \ge 0$이라 맞힙니다.

전체 흐름

12345678flowchart LR
  A[자극] --> B[망막 S-점 · 켜짐/꺼짐]
  B --> C[투사 영역 A_I · 국소 기원점]
  C -->|무작위 연결| D[연합 영역 A_II · e - i ≥ θ 이면 발화]
  D --> E[반응 R1 · R2 원천 집합 값 V의 합 비교]
  E --> F[이긴 반응이 경쟁 반응의 원천 집합 억제]
  F --> G[강화: 활동한 A-단위의 값 V 변화]
  G -->|같은 자극이 다시 오면| D

결과

이 논문은 벤치마크 실험이 아니라 이론 분석입니다. 원문에 나오는 구체적 설정과 주장은 다음과 같습니다.

• 예시 학습 실험(이상적 환경): 무작위로 비춘 점들로 된 자극 1,000개를 보여 주고, 앞 500개에는 $R_1$, 뒤 500개에는 $R_2$를 임의로 강화하는 상황을 분석합니다.
• 그림의 매개변수: 세 체계를 비교한 그림 10은 반응 수 $N_R = 100$, A-단위 수 $N_A = 10{,}000$, $P_a = 0.07$, $\omega = 0.2$ 조건입니다. 그림 7은 $P_a = 0.005$, 그림 8은 $P_a = 0.07$ 조건입니다.
• 분화된 환경: 네모-동그라미 변별 문제에서 잰 매개변수로 그린 학습 곡선(그림 11)에서 $P_r$과 $P_g$가 예측대로 같은 점근값으로 갑니다. 연합 세포가 수천 개인 체계라면 이 정도로 단순한 문제에서 오류는 무시할 만해진다고 씁니다.
• 6개 물리 매개변수: 조직 방식(알파 · 베타 · 감마, 합 · 평균, 단가 · 양가)이 정해지면 학습 · 지각 변별 · 일반화가 $x$, $y$, $\theta$, $\omega$(A-단위가 연결된 R-단위 비율), $N_A$, $N_R$ 여섯 매개변수로 예측된다고 주장합니다. 감각 단위 수 $N_s$는 아주 작을 때만 중요합니다.
• 모의 실험: 양가 체계를 IBM 704로 모의했고, 값이 크기에 비례해 줄어들게 하면 정답 여부와 상관없이 모든 반응을 강화해도 두 부류를 스스로 구별하는 '자발적 개념 형성'이 나타났다고 보고합니다.

왜 중요한가 · 이후 영향

• "배선 대신 학습"이라는 출발점: 정확한 배선도 없이 무작위 연결과 연결 세기의 변화만으로 인식 · 일반화가 생긴다는 생각은 이후 모든 신경망 연구의 전제가 됐습니다.
• 분산 기억: 기억이 한 곳이 아니라 많은 세포에 퍼져 있어 일부를 없애도 전체가 조금씩만 나빠진다는 결론 9는, 오늘날 신경망의 가중치에 지식이 퍼져 있다는 설명과 같은 그림입니다.
• 확률적 분석: 기호 논리 대신 확률로 학습 성능을 예측하려 한 점은 통계적 학습 이론의 먼 출발점으로 볼 수 있습니다(해설자의 평가).
• 한계가 다음 연구를 불렀습니다: 학습되는 것은 마지막 연결뿐이고 앞쪽 연결은 무작위로 고정됩니다. 여러 층을 함께 학습시키는 방법은 이후 역전파가 해결합니다. 또 민스키 · 패퍼트는 책 『퍼셉트론』에서 단층 퍼셉트론이 풀 수 없는 문제들을 수학적으로 보여, 신경망 연구가 한동안 침체하는 계기가 됐습니다.

한계 · 주의할 점

• 저자가 밝힌 한계: 공간 · 시간 속 '관계'(예: "네모 왼쪽에 있는 물체의 이름을 대라")를 알아보는 것은 통계적 분리 가능성만으로는 어렵고, 원리적으로 더 발전된 체계가 필요하다고 씁니다.
• 이론 모델: 실제 뇌 측정이나 정량 실험으로 검증된 것이 아니라 가설적 신경계에 대한 분석입니다. 저자 스스로도 인간 학습 이론의 본격적 경쟁자로 보기엔 아직 원시적이라고 인정합니다.
• 분산 같은 일부 값은 분석되지 않았습니다. 분화된 환경 식의 분산 항은 정밀하게 풀지 못해 경험적 변수로 두고, 기대값의 절반으로 두는 보수적 추정을 씁니다.
• 오늘날 용어와 다릅니다. 이 논문의 '퍼셉트론'은 S-A-R 구조 전체이고 학습 대상은 A-단위의 값입니다. 교과서의 "가중치 벡터 + 계단 함수" 퍼셉트론과 그대로 같다고 보면 안 됩니다.
• 원문 확인 범위: 공개 PDF(펜실베이니아대 강의 자료로 올라온 스캔본)로 읽었으며, 스캔 품질 때문에 일부 긴 식(분화된 환경의 계수 식)은 이 글에 옮기지 않았습니다.

이어서 읽을 것

• 여러 층을 함께 학습하는 방법: 오차 역전파로 표현 학습하기
• 층을 쌓은 신경망이 실제 문자 인식에 쓰이기까지: 문서 인식을 위한 기울기 기반 학습 (LeNet)
• 깊은 신경망의 부활: AlexNet
• 분산 표현과 무작위성을 다른 방식으로 쓰는 기법: 드롭아웃

용어 정리

스스로 점검

1. 이 논문에서 '학습'은 무엇이 바뀌는 것인가?

   — 활동한 연합 단위(A-단위)의 값 $V$가 강화에 따라 바뀌는 것입니다. 값이 커진 단위가 속한 원천 집합의 반응이 다음 경쟁에서 이길 가능성이 커집니다.

2. '이상적 환경'에서는 왜 일반화가 안 되나?

   — 자극이 무작위 점들이라 부류 안 자극끼리의 내재적 유사성이 없기 때문입니다. 식으로는 $c_1 = 0$이라 $Z$가 0으로 가고, 일반화 확률이 우연 수준을 넘지 못합니다.

3. 억제성 연결 수 $y$를 늘리면 $P_a$는 어떻게 되나?

   — 줄어듭니다. 위 손계산에서 $y$를 0에서 1로 늘리자 $P_a$가 0.75에서 0.5로 줄었고, 논문도 같은 방향을 보고합니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 다층 퍼셉트론: 은닉층 · 활성화 함수 · 손실 함수 — 퍼셉트론이 못 푸는 XOR을 은닉층으로 풀고, 활성화 함수와 손실 짝을 배웁니다
• 신경망과 딥러닝 — 시그모이드 뉴런부터 역전파 네 방정식 · 교차 엔트로피까지 손계산으로 배우는 수업
• 오차 역전파로 표현 학습하기 — 출력 오차의 미분을 연쇄 법칙으로 거꾸로 전해 은닉 단위까지 학습시키는 역전파를 보인 논문

출처

• 원문: https://psycnet.apa.org/doi/10.1037/h0042519 (1958 · Frank Rosenblatt)
• 확인에 쓴 공개본: https://www.ling.upenn.edu/courses/cogs501/Rosenblatt1958.pdf