소프트맥스 함수와 교차 엔트로피 오차의 계산 그래프를 그려보고, 그 역전파를 구해보자 소프트맥스 함수는 'softmax' 게층, 교차 엔트로피 오차는 'Cross Entropy Error' 계층, 이 둘을 조합한 계층을 'softmax-with-Loss'계층이라 한다. 0. 교차 엔트로피 오차의 계산 그래프의 개요 그림 3-1에서는 3클래스 분류를 수행하는 신경망을 가정하고 있다. Softmax의 입력 : $(a_1 , a_2 , a_3)$ Softmax의 출력 : $(y_1, y_2, y_3)$ Cross Entropy Error의 정답 레이블 : $(t_1, t_2, t_3) $ Cross Entropy Error의 출력 : 손실 $L$ Softmax와 Cross Entropy Error에 관한 설명..

단층 퍼셉트론 다수의 신호를 입력으로 받아 하나의 신호로 출력하는 것. $x_1$, $x_2$ : 입력 신호 $y$ : 출력 신호 $w_1$, $w_2$ : 가중치 입력신호가 뉴런에 보내질 때 각각 고유한 가중치가 곱해진다. 뉴런에서 보내온 신호의 총합이 임계값(θ)을 넘어설 때만 1을 출력하며, 이는 뉴런을 활성화 한다고 표현하기도 한다. 식 [2.1]의 $\theta$를 $-b$로 치환하면 퍼셉트론은 [식2.2]처럼 표현할 수 있음. 이는 기호 표기만 바꿨을 뿐, 의미는 같다. 여기에서 $b$를 편향이라고 한다. 퍼셉트론은 입력 신호에 가중치를 곱한 값과 편향을 합하여, 그 값이 0을 넘으면 1을 출력하고, 그렇지 않으면 0을 출력한다. 단순한 논리 회로 1. AND 게이트 두 입력이 모두 1일 때만..