NLU 기술의 발전 과정을 살펴 보면 현재까지 다양한 기술의 변화가 이뤄지고 있다. 워드 임베딩은 Neural Probabilistic Language Model(NPLM)이 발표된 이후부터 Word2Vec > FastText > ELMO > BERT 기법으로 발전하고 있다. 자연어 처리 언어 모델 중 구글이 공개한 언어모델인 BERT 에 대해서 포스팅 해보려고 한다. | BERT란? 'BERT' 는 Bidirectional Encoder Representations from Transformers 의 약어로, 원어에서 말하고 있는 것처럼 transformer의 양방향 encoder 라는 것을 알 수 있다. 여기서 encoder는 입력 값을 숫자의 형태로 바꾸는 모듈을 의미한다. 따라서 BERT는 문맥을..
쿠버네티스는 컨테이너 오케스트레이션 툴의 종류 중 하나이다. 그래서 쿠버네티스의 개념을 알아보기 전에 컨테이너 오케스트레이션에 대해서 미리 개념을 익혀두자. 컨테이너 오케스트레이션 (Container Orchestration) 란, 컨테이너의 배포, 관리, 확장 ,네트워킹을 자동화하는 기술로, 복잡한 컨테이너 환경을 효과적으로 관리하기 위한 도구이다. - 컨테이너 오케스트레이션 도입의 시작 서버를 관리한다는 것은 서버의 상태를 관리 한다는 것이다. 서버 상태 관리를 잘하기 위한 방법들을 몇가지 생각해보지만 계속해서 한계점이 있었다. 1. 문서화를 잘해보자. > 생각보다 안되는 예외 케이스들이 생긴다 2. 서버관리 툴을 써보자 (chef, puppet labs, ansible..) > 툴을 이용하여 설정하..
AI(인공지능)의 핵심 기술 중 하나인 자연어 처리 (NLP). 위에 대한 설명에 들어가기 전에, "자연어"가 무엇인지부터 살펴보자. "자연어" 자연어 혹은 자연 언어는 사람들이 일상적으로 쓰는 언어를 인공적으로 만들어진 언어인 인공어와 구분하여 부르는 개념이다. 이는 사람들이 서로 떨어져서 살아가면서 자연적으로 말이 점점 바뀌는 것을 인식하지 못한채 분할되면서 생성된다. 간단히 예를 들자면, 경상도 사투리를 사용하여 말을 할 때 서울에서만 살았던 사람이 바로 그 의미를 이해하기 어려운 것과 같다. 그렇기에 컴퓨터는 우리가 일상적으로 쓰는 언어를 바로 이해할 수 없다. 그래서 자연어를 컴퓨터가 이해할 수 있도록 하기 위해서는 자연어 처리 과정이 필요하다. 자연 언어 처리 (NLP) 자연어 처리 또는 자연..
