Word2vec1 negative sampling Word2Vec 모델에서 negative sampling 이란? 단어뭉치(corpus)의 개수가 100000 개 이고 hidden layer크기가 3000이라 하면, W와 , W`의 크기는 100000x3000 이다. Input vector는 one-hot 벡터로 1숫자만 1이고 나머진 모두 0이다. (중심단어, 주변단어)의 pair로 학습이 이뤄지게 되는데, W의 크기가 100000x3000이나 되지만. input vector가 one hot vector이기 때문에 W중 1줄의 parameter만 선택된다. 하지만 backpropagation과정중에 100000x3000(W`)의 parameter가 softmax함수를 취해야 되고, 계산량이 엄청나게 많아진다. 따라서 계산의 효율성을 위해서 negati.. 2019. 8. 12. 이전 1 다음
