machine learning17 negative sampling Word2Vec 모델에서 negative sampling 이란? 단어뭉치(corpus)의 개수가 100000 개 이고 hidden layer크기가 3000이라 하면, W와 , W`의 크기는 100000x3000 이다. Input vector는 one-hot 벡터로 1숫자만 1이고 나머진 모두 0이다. (중심단어, 주변단어)의 pair로 학습이 이뤄지게 되는데, W의 크기가 100000x3000이나 되지만. input vector가 one hot vector이기 때문에 W중 1줄의 parameter만 선택된다. 하지만 backpropagation과정중에 100000x3000(W`)의 parameter가 softmax함수를 취해야 되고, 계산량이 엄청나게 많아진다. 따라서 계산의 효율성을 위해서 negati.. 2019. 8. 12. Word2Vec 의 학습 한문장 내에 가까운곳에 같이 등장하는 단어 -> 중심단어, 주변단어 중심단어와 주변단어의 임베딩이 유사해 지는 과정. 2019. 5. 13. Early stopping in GAN https://www.quora.com/How-can-we-apply-early-stopping-for-Generative-Adversarial-Network-GAN-to-prevent-overfitting Ian Goodfellow, Lead author of the Deep Learning textbook: http://www.deeplearningbook.orgAnswered Dec 27, 2016 · Upvoted by Carson Wu, M.S. Computer Vision & Deep Learning, Tongji University (2019)Overfitting isn’t much of a problem for GANs: https://arxiv.org/pdf/1611.04273...Bec.. 2018. 12. 5. bayesian 자료 UW의 machine learning video lecture https://class.coursera.org/machlearning-001/lecture5주차는 bayesian, 6주차는 neuroal net http://videolectures.net/mlss09uk_bishop_ibi/이건 09년도 캠브릿지 머신러닝 섬머스쿨.. 비숍강의, bayesian. 2015. 6. 27. 이전 1 2 3 4 5 다음
