dev-hunmin

NLP 전처리 과정 & 단어 임베딩 1. Introduction 자연어 데이터는 다른 데이터(Ex:이미지)와 달리 컴퓨터가 이해 할 수 있는 숫자로 변환해야만 한다. 정제되지 않은 입력 데이터와 모델을 연결시켜줄 수 있는 파이프라인 과정을 구축해야할 필요가 있다. 그렇기 때문에 NLP가 다른 데이터를 다루는 분야보다 전처리 단계에서 까다롭게 느껴지는 이유 중 하나라고 생각한다. 즉, 자연어를 모델에 입력시킬 수 있는 파이프라인을 구축하는 단계(자연어 전처리)와 모델은 자연어를 어떻게 이해 할 수 있는 지에 대해 흐름을 파악하는 것이 이 글의 목표 -> 따라서 사용되는 알고리즘이나, 모델 구조의 개념들은 생략 2. 실험에 사용 된 목표 TASK NLP Text Classification 문제 - 주어진 소..