전공/인공지능, ML, DL11 인공지능으로 트렌드 파악하기 요즘 최신 트렌드는 무엇일까? 나이는 한국에선 MZ, 해외에선 GenZ에 당당히 이름 올릴 수 있는 나이지만 아무래도 방구석 찐따인 나에게는 스스로 알아내기 힘든 질문 같다. 오늘은 인공지능 툴들을 이용해서 트렌드를 파악해보기로 했다. ChatGPT 먼저 제일 만만한 대화형 인공지능 chatGPT다. 질문한 시점이 2024년인데 업뎃이 무슨 2022년 1월이란다... 트렌드 파악은 못하겠지만 우선 그나마 아는 거라도 뱉어보라고 다시 질문해봤다. 그닥.. 아니 사실 전혀 도움은 안된다. 아래 사진과 같이 업그레이드를 하면 괜찮은 결과를 얻을 수 있을까 했는데 답변이 이모양 이꼴인 걸 보면 그다지 기대는 안된다. Perplexity 다음 툴은 과제할 때 유용한 퍼플렉시티이다. 이 툴은 출처를 포함해서 싹 문.. 2024. 1. 12. [Deep Learning from Scratch 1] 밑바닥부터 시작하는 딥러닝 1 리뷰 학부 3학년, 신호처리 과목 조교님께서 요즘 공대 나와서 딥러닝도 모르면 안된다고 하셨다. 그러면 뭐부터 봐야 하냐고 물었더니 한 책을 소개해 주셨고 그 책이 유명한 그 책, 사이토 고키의 밑바닥부터 시작하는 딥러닝이었다. 그래서 그 해 겨울에 한 번, 대학원을 결정하고 한 번, 대학원에서 스터디 하면서 한 번 읽었다. 전공자가 아니라도 편하게 읽을 수 있는 수준이고 실제로 주변에 많이들 이 책으로 입문한다. 이번에 마지막 복습이라고 생각하고 전공자를 위해 책을 정리해보려 한다. 내 글은 초심자를 위한 글은 아니고 어느 정도 경험이 있는 사람들을 위한 정리본 컨셉으로 이어질 것이다. 1. 헬로 파이썬 이 단원은 파이썬의 기본 동작을 설명하고 있는데 사실 책으로 배울 수 있는 수준은 아니고 책으로는 이런이.. 2022. 6. 24. Batch, mini batch 배치와 미니배치 그리고 여러가지 경사하강법 GPU는 병렬 연산에 특화되었기 때문에 한번에 여러 데이터를 처리하는 것이 효율적이다. 여기서 GPU가 한 번에 처리하는 데이터의 묶음을 배치(Batch)라고 한다. mini batch는 여러가지 경사하강법을 통해 알아보자. 배치경사하강법(Batch Gradient Descent, BHD) 전체 학습 데이터를 하나의 batch(묶음)으로 묶어 학습시키는 경사하강법이다. 전체 데이터에 대한 모델의 오차의 평균을 구한 다음 미분을 구하고 최적화 하는 가장 기본적인 방법이다. 이 때 전체 데이터를 모두 한 번에 처리하여 메모리가 많이 필요하고 업데이트 횟수도 적다. 항상 전체에 대해 경사하강법을 적용하기 때문에 안정적으로 수렴한다. 확률적 경사하강법(Stochastic Gradient Descent, SGD).. 2022. 1. 8. K-L 다이버전스 (Information theory, log, ...) 지난 시간에는 CEE와 MSE를 비교해보았다. 그런데 MSE야 평균을 이용한 직관적인 오차계산법이라고 하지만 CEE는 모양이 왜 저럴까? 밑이 10인 log가 들어간 것도 이상하다. 이를 알기 위해서는 정보이론(Information theory)개념이 조금 필요하다. 이 세상에는 수많은 정보가 있는데, 그 정보들의 놀라움의 정도는 모두 다르다. 예시로 아래 두 문장을 보자. 강아지가 폴짝 뛰었다. 지렁이가 폴짝 뛰었다. 두 문장 중에 어떤 것이 더 놀라운가? 당연히 지렁이가 폴짝 뛰었다는 점이 더 놀랍다. 왜냐하면 그럴 확률이 더 적기 때문이다. 어떤 정보가 있을 때 degree of surprise, 우리말로 놀라움의 정도를 나타내보자. 이때 사실이 일어날 확률이 작을수록 놀랍고 확률이 클수록 놀랍지 .. 2022. 1. 2. 0에서의 ReLU 이번 주부터 '밑바닥부터 시작하는 딥러닝' 복습을 시작했다. 딥러닝 입문자분과 딥러닝 고수분, 그리고 나 이렇게 셋이서 스터디를 한다. 그런데 아주 첫부분에서 선배가 0에서의 ReLU값이 무엇인지 물어봤다. 어... 미분 불가라 미분값이 없지 않나요? 하지만 선배가 물어본 것은 이런 대답이 아니었다. 활성함수로 ReLU를 자주 사용하는데 그 경우마다 0의 값이 하나도 없을까? 그 때는 오류를 내고 그냥 넘어가는가? 당연히 아니다. 좌극한값 0 또는 우극한 값 1을 넣어줄 것이다. 물론 정확히 0인 경우가 얼마나 되겠냐만은, 무시할 수 없는 부분인 것은 확실하다. 이것이 ReLU다. 정의를 보면 굉장히 간단하다. 그럼 DeepLearning에서 흔히 쓰이는 library 두 가지, TensorFlow와 P.. 2022. 1. 1. 이전 1 2 다음 반응형
