220121 AWS Deepracer
1. shortcut vs basic
확실히 공을 드린 보람이 있게도, 2019 track에 대해 eval 결과는 basic이 우수했다.
주관적이긴 하지만 학습 영상을 봐도 조금 더 똑똑하게 주행하려는 모습을 보였다.
shortcut의 경우 training과 evaluation모두 2019 track을 사용했는데도 너무 완주율이 안나왔다.
다만 그래프는 shortcut이 너무 예쁘게 나와서 우선은 둘 다 clone하여 더 지켜보기로 했다.
2. clone하기
둘 다 같은 2019 track에 60분씩 학습했다.
clone한 모델은 모델 이름에 002를 붙여 표시했다.
이 때 hyper prameter에 조금씩 수정이 들어갔다.
shortcut model의 경우 학습이 약간의 fluctiation이 있긴 했지만 꾸준한 학습그래프를 그리는 것이 장점이었다.
이에 모델의 학습이 안정적이라고 판단하여 learning rate는 변경하지 않고 학습속도를 과감하게(?) 유지했다.
그리고 모델이 주행의 감을 어느 정도 잡은 것 같아서 entropy를 0.03에서 0.02로 낮추었다.
basic model의 경우 같은 이유로 entropy를 0.02로 설정하고
reward graph가 들쭉날쭉하며 불안정하기도 했고 어느 정도 완주율이 나온다는 점에서 learning rate를 소심하게 0.0005에서 0.0004로 소폭 낮추었다.
3. clone결과
shortcut 을 버리는 것이 좋을 것 같다.
두 시간을 꼬박 학습하고도 완주율 90%를 넘는 것이 없다니.
basic model만 남겨야겠다.