sofl relu1 0에서의 ReLU 이번 주부터 '밑바닥부터 시작하는 딥러닝' 복습을 시작했다. 딥러닝 입문자분과 딥러닝 고수분, 그리고 나 이렇게 셋이서 스터디를 한다. 그런데 아주 첫부분에서 선배가 0에서의 ReLU값이 무엇인지 물어봤다. 어... 미분 불가라 미분값이 없지 않나요? 하지만 선배가 물어본 것은 이런 대답이 아니었다. 활성함수로 ReLU를 자주 사용하는데 그 경우마다 0의 값이 하나도 없을까? 그 때는 오류를 내고 그냥 넘어가는가? 당연히 아니다. 좌극한값 0 또는 우극한 값 1을 넣어줄 것이다. 물론 정확히 0인 경우가 얼마나 되겠냐만은, 무시할 수 없는 부분인 것은 확실하다. 이것이 ReLU다. 정의를 보면 굉장히 간단하다. 그럼 DeepLearning에서 흔히 쓰이는 library 두 가지, TensorFlow와 P.. 2022. 1. 1. 이전 1 다음 반응형
