[AI기술] 자연 언어 처리 (NLP) 란? 자연어 처리가 필요한 이유.

AI(인공지능)의 핵심 기술 중 하나인 자연어 처리 (NLP).

위에 대한 설명에 들어가기 전에, "자연어"가 무엇인지부터 살펴보자.

"자연어"

자연어 혹은 자연 언어는 사람들이 일상적으로 쓰는 언어를 인공적으로 만들어진 언어인 인공어와 구분하여 부르는 개념이다. 

 

이는 사람들이 서로 떨어져서 살아가면서 자연적으로 말이 점점 바뀌는 것을 인식하지 못한채 분할되면서 생성된다.

간단히 예를 들자면,

경상도 사투리를 사용하여 말을 할 때 서울에서만 살았던 사람이 바로 그 의미를 이해하기 어려운 것과 같다.

 

그렇기에 컴퓨터는 우리가 일상적으로 쓰는 언어를 바로 이해할 수 없다. 

그래서 자연어를 컴퓨터가 이해할 수 있도록 하기 위해서는 자연어 처리 과정이 필요하다.

 

자연 언어 처리 (NLP)

자연어 처리 또는 자연 언어 처리(Natural Language Processing, 이하 NLP)는 인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 묘사할 수 있도록 연구하고 이를 구현하는 것을 의미하며, 

컴퓨터와 인간 언어 사이의 상호 작용하는 기술로 인공지능의 핵심 기능 중 하나이다

더 나아가서는 컴퓨터가 이해하는 값을 사람이 이해할 수 있도록 하는 과정까지도 포함한다.

 

자연어 처리는 음성인식, 내용 요약, 번역, 사용자의 감성 분석 , 텍스트 분류작업(스팸메일분류, 뉴스 기사 카테고리 분류 등), 질의 응답 시스템, 챗봇과 같은 곳에서 사용되는 분야이다. 

 

NLP는 NLU 와 NLG의 결합이라고 볼 수 있다.

• 자연어 이해(NLU, Natural Language Understanding) 
• 자연어 생성(NLG, Natural Language Generation)

자연어 처리과정을 살펴 보면 의미있는 텍스트를 가지고 자연어를 이해하여 새로운 의미를 담은 자연어를 생성하는 과정이라고 볼 수 있다.

 

 

결론적으로, 비정형 데이터(자연어)를 디지털화 하기 위해서는 자연어 처리 과정이 필수적이며, 단지 String 자체를 받아들이는 것이 아니라 해당 텍스트가 가진 의미를 이해할 필요가 있다.

---

참고자료

https://media.fastcampus.co.kr/knowledge/data-science/nlp-korean-4reasons/

자연어처리(NLP)가 한국어에서 특히 어려운 4가지 이유

https://ko.wikipedia.org/wiki/%EC%9E%90%EC%97%B0%EC%96%B4

자연어 - 위키백과, 우리 모두의 백과사전

https://www.slideshare.net/rdale01/tarragona-summer-schoolautomated-writing-assistance-topic-5

Tarragona Summer School/Automated Writing Assistance Topic 5