이전 포스팅에선 통계기반기법에 대해 알아보았습니다. 하지만 통계기반기법에는 안타깝게도 단점이 있습니다. 통계기반기법의 단점을 보완하는 추론기반기법의 대표적인 모델인 CBOW와 Skip-gram에 대해 포스팅하겠습니다. 통계기반 기법과 추론기반기법(Word2vec)의 차이 통계기반 기법은 SVD를 해서 Sparse matrix를 처리해줘야 해서 계산량이 너무 많습니다. 따라서 추론기반기법이 유용합니다. 추론기반 기법은 신경망을 이용해야하기 때문에 미니 배치기법으로 학습합니다. CBOW 추론기반기법인 Word2vec의 아이디어는 아래와 같습니다. 주변 맥락을 맞추는 … CBOW 및 Skip-gram: Word2Vec 모델 비교 계속 읽기