
[밑시딥] 부록 Softmax-with-Loss 계층의 계산 그래프
·
SSAC X IFFEL/밑바닥 부터 시작하는 딥러닝
소프트맥스 함수와 교차 엔트로피 오차의 계산 그래프를 그려보고, 그 역전파를 구해보자 소프트맥스 함수는 'softmax' 게층, 교차 엔트로피 오차는 'Cross Entropy Error' 계층, 이 둘을 조합한 계층을 'softmax-with-Loss'계층이라 한다. 0. 교차 엔트로피 오차의 계산 그래프의 개요 그림 3-1에서는 3클래스 분류를 수행하는 신경망을 가정하고 있다. Softmax의 입력 : $(a_1 , a_2 , a_3)$ Softmax의 출력 : $(y_1, y_2, y_3)$ Cross Entropy Error의 정답 레이블 : $(t_1, t_2, t_3) $ Cross Entropy Error의 출력 : 손실 $L$ Softmax와 Cross Entropy Error에 관한 설명..