마지막 배치1 Batch, mini batch 배치와 미니배치 그리고 여러가지 경사하강법 GPU는 병렬 연산에 특화되었기 때문에 한번에 여러 데이터를 처리하는 것이 효율적이다. 여기서 GPU가 한 번에 처리하는 데이터의 묶음을 배치(Batch)라고 한다. mini batch는 여러가지 경사하강법을 통해 알아보자. 배치경사하강법(Batch Gradient Descent, BHD) 전체 학습 데이터를 하나의 batch(묶음)으로 묶어 학습시키는 경사하강법이다. 전체 데이터에 대한 모델의 오차의 평균을 구한 다음 미분을 구하고 최적화 하는 가장 기본적인 방법이다. 이 때 전체 데이터를 모두 한 번에 처리하여 메모리가 많이 필요하고 업데이트 횟수도 적다. 항상 전체에 대해 경사하강법을 적용하기 때문에 안정적으로 수렴한다. 확률적 경사하강법(Stochastic Gradient Descent, SGD).. 2022. 1. 8. 이전 1 다음 반응형