[논문리뷰] ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS
ABSTRACT BERT와 같은 masked language modeling(MLM) pretraining methods는 input의 일부 tokens를 [MASK]로 치환하고 이를 원본 token으로 복원하면서 학습을 하는 방식이
[논문리뷰] Bert: Pre-training of deep bidirectional transformers for language understanding
Abstract BERT(Bidirectional Encoder Representations from Transformers)는 모든 layer에서 left, right context를 모두 참조하여 unlabeled text로부터 deep bidirectional representations를
[논문리뷰] Attention Is All You Need
Abstract 대부분의 sequence를 처리하는 model들은 RNN, CNN기반의 encoder-decoder model이고, 가장 성능이 좋은 model은 encoder와 decoder를
[논문리뷰] Neural Machine Translation by Jointly Learning to Align and Translate
https://arxiv.org/abs/1409.0473 ABSTRACT encoder-decoder model의 고정된 길이의 vector는 성능향상에 bottleneck으로 작용한다고 생각한다. 이를 개선 할 방법으로, 예측한 target word가 source s
[논문리뷰] Sequence to Sequence Learning with Neural Networks
https://arxiv.org/abs/1409.3215 Abstract multi-layer LSTM 구조를 이용하여 sequence를 학습하는 방법을 제안 Introduction DNN은 speech recognotion, visual object recognition과 같은 어려운 문제들에 대해 매우 좋은 성능을 보여