언어모델 LM의 역사 정리

안녕하세요 import ysy입니다.

제가 너무 오래 모델을 안만졌더니 서로 개념이 헷갈리길래 이번에 한 번에 쫙 정리해봤습니다.

도움이 됐으면 좋겠어요.

---

언어모델(Language Model, LM)을 공부하는 이유

LM은 단어의 나열 확률을 계산해주는 모델입니다.

단어 나열 확률을 바탕으로 가장 높은 확률을 가지는 최적의 단어를 선택(생성)합니다.

이 단어들은 모여 문장이, 문장이 모여 문단이 됩니다.

 

GAN(Generative Adversarial Neural Network)이 이미지 데이터 뿐만 아니라 여러 데이터에 적용이 되듯이

시퀀스 예측 모델(LM)을 통해 여러 task를 처리할 수 있습니다.

 

1. Word2Vec (2013)

one-hot encoding, uni-gram, N-gram 등 확률분포에서 벗어나 효율적으로 단어를 벡터화.

단어 간 관계가 반영되었으나 문맥정보를 담고있지는 않음. 

 

2. RNN (1997 LSTM)

Recurrent Neural Network.

같은 모델이 반복해 돌면서 이전 상태와 현재 상태를 조합하여 새로운 상태값을 계산해 내는 신경망. 

길이가 정해져 있지 않은 순서대로 들어오는 인풋을 처리가능.

RNN은 고전적 RNN 외에도

인풋 시퀀스가 길어도 학습이 잘되도록 최적화한 LSTM,

그 LSTM의 연산을 단순화한 GRU등 다양한 종류가 있음.

 

Seq2Seq

RNN 인코더와 디코더를 붙여서 입력 시퀀스를 출력 시퀀스로 변환하는 모델구조가 제안됨 = seq2seq

인풋 시퀀스 데이터가 인코더를 통과해 context벡터로 압축됨.

context벡터는 액기스임..

그 context벡터 정보로 디코더는 최종 아웃풋 시퀀스를 생성해냄.

시퀀스 데이터에 대해 번역, 질의응답 등 여러 일을 할 수 있는 유연한 모델 구조.

 

 

3. RNN + Attention

입력 시퀀스 길이는 제한이 없지만 모델의 벡터 크기는 정해져있기 때문에 입력 문장이 길어지면 정보가 다 안담김.

모델이 중간중간 기억이 안나는 부분은 다시 주목(attend)해서 찾아보는 매커니즘이 등장 = Attention 

RNN에서 다음 상태를 계산할 때  처음부터 그전까지의 모든 상태를 다 고려할 수 있게 됨.

 

4. Transformer(2017)

RNN + Attention 모델에서 RNN을 빼버린 모델...그래서 Transformer 논문 제목이 Attention is all you need.

Self-attention 개념이 들어감.

총 N개의 단어가 있다면, N개가 각각 자기자신을 포함한 N개의 단어를 살펴보면서 주목해야할 대상을 고름. 

디코더에서는 Causal Masking 제한.

트랜스포머에서 인코더를 떼온 BERT, 디코더를 떼온 GPT, NLP의 T5(Text to Text Transfer Transformer)의 기반이 된 고트.

 

5. GPT(2018 GPT1)

Generative Pre-trained Transformer .

디코더 -> 생성 잘함. 

 

6. BERT(2019)

Bidirectional Encoder Representations from Transformers, 즉 트랜스포머에서 양방향 인코더를 사용한 모델.

문맥 양쪽을 모두 고려하여 단어의 의미 이해.

문장 관계 이해도가 높아 문장의 중간 단어 예측 등을 잘함.

ALBERT, RoBERTa, ELECTRA 모델이 다 BERT임

 

의견...

몇 년 전 LM을 통해 해결할 수 있는 과제들이 몇 개 있었는데,

그 중 대부분의 과제는 충분한 수준으로 도달한 것 같습니다.

 

하지만 감정분석은 유독 아직 좀 약한 것 같더라구요.

하면 하겠지만, 활용이 잘 안되는 느낌이에요. 

 

 

이 분야가 재밌다면 저와 함께해요!