BERT

[BERT] 자연언어처리(NLP) 기술 | Google이 공개한 언어 모델, BERT 이해하기 총 정리

NLU 기술의 발전 과정을 살펴 보면 현재까지 다양한 기술의 변화가 이뤄지고 있다. 워드 임베딩은 Neural Probabilistic Language Model(NPLM)이 발표된 이후부터 Word2Vec > FastText > ELMO > BERT 기법으로 발전하고 있다. 자연어 처리 언어 모델 중 구글이 공개한 언어모델인 BERT 에 대해서 포스팅 해보려고 한다. | BERT란? 'BERT' 는 Bidirectional Encoder Representations from Transformers 의 약어로, 원어에서 말하고 있는 것처럼 transformer의 양방향 encoder 라는 것을 알 수 있다. 여기서 encoder는 입력 값을 숫자의 형태로 바꾸는 모듈을 의미한다. 따라서 BERT는 문맥을..