전공/인공지능, ML, DL11 언어모델 LM의 역사 정리 안녕하세요 import ysy입니다.제가 너무 오래 모델을 안만졌더니 서로 개념이 헷갈리길래 이번에 한 번에 쫙 정리해봤습니다.도움이 됐으면 좋겠어요.언어모델(Language Model, LM)을 공부하는 이유LM은 단어의 나열 확률을 계산해주는 모델입니다. 단어 나열 확률을 바탕으로 가장 높은 확률을 가지는 최적의 단어를 선택(생성)합니다.이 단어들은 모여 문장이, 문장이 모여 문단이 됩니다. GAN(Generative Adversarial Neural Network)이 이미지 데이터 뿐만 아니라 여러 데이터에 적용이 되듯이시퀀스 예측 모델(LM)을 통해 여러 task를 처리할 수 있습니다. 1. Word2Vec (2013)one-hot encoding, uni-gram, N-gram 등 확률분포에서 .. 2024. 11. 10. Weights and Biases(W&B), wandb 소개 안녕하세요, import ysy입니다. Weights and Biases(W&B), 흔히 wandb라고 부르는 머신러닝 및 딥러닝 프로젝트 분석 도구에 대해 소개드립니다. W&B의 장점 중 하나는 아래와 같이 시각화가 매우 깔끔하게 이루어진다는 점입니다. 아래 이미지는 학습 중 반드시 확인해야 하는 learning rate와 loss 값을 받아와 이를 시각화한 것입니다. 매 스텝마다 각 값을 받아와 그래프를 평탄화하여 학습의 진행 상태를 한눈에 확인할 수 있습니다. 이 그래프를 통해 학습이 잘 진행되고 있는지를 쉽게 판단할 수 있습니다. 또한, 동일한 프롬프트에 대해 학습이 진행됨에 따라 결과가 어떻게 변하는지도 직관적으로 확인할 수 있습니다. 아래 두 이미지는 스펙트로그램과 관련된 것으로, 음악 파일의.. 2024. 10. 8. Stable Audio Open finetuning 파인튜닝 / 코드 공유 안녕하세요 import ysy입니다. 올 여름 Stability AI에서 Stable Audio Open논문을 공개하며상남자답게 모든 학습 방법을 공개했죠? 논문에서도 느껴지듯 모든 것을 오픈해서consumer-grade GPU로 밑바닥부터 학습이 가능합니다. 저도 처음부터 학습을 해봤는데 엔간치 돌려서는 노이즈만 나오긴 합니다. 그래서 오늘은파인튜닝 진행해보겠습니다. 제가 사용한 환경 정보모든 작업은 vscode에서 진행했습니다.ssh를 사용해서 A100 gpu가 하나 있는 리눅스 서버 사용했습니다. 제가 사용한 데이터데이터는 80분 짜리 레게 데이터 사용했습니다.저는 파인튜닝 되는 것만 확인하려고특징이 두드러지는 레게 장르로 적은 데이터만 사용했습니다. 일부러 과적합보려고 한거긴 한데 그래도 너무.. 2024. 8. 29. [Fooocus] image generating software 설치, 사용 안녕하세요 ysy임다. 오늘은 Fooocus라는 image generating software을 사용해볼 겁니다. midjourney를 사용하던 중 디스코드를 이용해야 하는 점과 유료라는 점이 불편해서 다른 프로그램을 알아보던 중 Fooocus라는 훨씬 사용이 간편하고 기능이 많은 프로그램을 발견했답니다. 전 linux 서버 이용했어요. 전체 다 합해서 다운로드 기다리는 것 빼고 30분도 안걸립니다! 1. git clone https://github.com/lllyasviel/Fooocus GitHub - lllyasviel/Fooocus: Focus on prompting and generating Focus on prompting and generating. Contribute to lllyasvie.. 2024. 2. 28. Lasco AI / midjourney와 결과 비교 / 최고의 image generator는? 기존 이미지 생성 최고 권위자는 현재 기준 단연코 원탑 미드저니(midjourney)일 것이다. 유료 서비스지만 그리 부담되는 가격은 아니라 나도 결제해서 재밌게 사용 중이다. 그런데 요즘 핫한 다른 image generator가 나왔다고 한다. 당장 쓰러 간다. Lasco AI beta 서비스일 당시엔 미드저니처럼 디스코드에서 사용할 수 있었는데 지금은 위와 같은 사이트에서 쉽게 이용해볼 수 있다. 회원가입 10초만에 하면 무료 크레딧을 300개를 주기 때문에 넉넉히 즐길 수 있다. 한 번 결과물을 받는 데에는 4크레딧이 필요하다. 평가 근데 실제로 써보면 미드저니보다는 많이 부족한 결과물이다. 손 발 등 심각하게 부자연스러운 부분이 많다. 그래도 장점은 쓰기 편하다는 것이다. 이렇게 이미지를 업로드하.. 2024. 2. 14. 2023 인공지능 툴 결산 / Best 12 AI Tools in 2023 2023년은 인공지능 툴의 해 사람들이 4차 산업혁명 부터 인공지능 기술에 눈독을 들이던 우리 세상은 2023년에는 본격적으로 실용적인 인공지능 툴이 우후죽순 출시되었다. 그 와중에 코로나 사태는 연구자들 뿐만 아니라 대중들도 비대면 기술에 집중하도록 관심을 가속화했다고 생각한다. 눈을 휘둥그레 뜨게 하는 화려한 기술들에 사람들은 이 기술로 어떻게 돈을 벌지 궁리하게 되었다. 전공자들이야 어떤 모델을 썼고 얼마나 많은 데이터를 이용해 학습했는지 궁금하지만... 무엇보다 대중들의 관심은 아무래도 더 직관적일 수 밖에 없다. "그래서 뭐가 잘 되는데?" Best 12 AI Tools in 2023 그래서 정리해 보았다. 수십가지 인공지능 툴을 써보니 아래처럼 공식화할 수 있게 되었다. 번역하자면, 뭐든지 대.. 2024. 2. 14. 이전 1 2 다음 반응형
