Weights and Biases(W&B), wandb 소개

안녕하세요, import ysy입니다.

 

Weights and Biases(W&B), 흔히 wandb라고 부르는 머신러닝 및 딥러닝 프로젝트 분석 도구에 대해 소개드립니다. W&B의 장점 중 하나는 아래와 같이 시각화가 매우 깔끔하게 이루어진다는 점입니다.

 

---

아래 이미지는 학습 중 반드시 확인해야 하는 learning rate와 loss 값을 받아와 이를 시각화한 것입니다. 매 스텝마다 각 값을 받아와 그래프를 평탄화하여 학습의 진행 상태를 한눈에 확인할 수 있습니다. 이 그래프를 통해 학습이 잘 진행되고 있는지를 쉽게 판단할 수 있습니다.

 

또한, 동일한 프롬프트에 대해 학습이 진행됨에 따라 결과가 어떻게 변하는지도 직관적으로 확인할 수 있습니다. 아래 두 이미지는 스펙트로그램과 관련된 것으로, 음악 파일의 시각적 표현을 보여줍니다. 사용자는 step 슬라이더를 조정하여 각각의 학습 단계에서 도출된 결과물을 바로바로 비교할 수 있습니다.

 

특히 학습 코드에 일정 step마다 demo를 생성하는 코드가 있어 폴더에 매번 저장된 결과물을 W&B를 통해 관리할 수 있습니다. 이를 통해 어떤 학습 코드의 몇 번째 step에서 나온 결과인지 명료하게 확인할 수 있습니다. 예를 들어, 1000 step에서의 결과와 2500 step에서의 결과를 비교하면, 후자의 경우 2000~6000 프레임 사이에서 저주파수가 더 명확하고 강하게 나타나는 것을 볼 수 있습니다. 이는 힙합 음악에서 중요한 저음 요소가 학습이 진행될수록 더 잘 반영되고 있음을 의미합니다.

 

마지막으로 wandb는 유료 서비스로 네 번째 이미지에서 요금제를 확인할 수 있습니다. 하지만 제가 이번 Stable Audio Open 모델의 파인튜닝을 진행하면서 총 164MB의 wandb 저장공간을 사용했다는 점을 고려하면, 5GB의 저장공간을 제공하는 무료 요금제도 충분하다고 생각합니다.