[논문리뷰] SpanBERT: Improving Pre-training by Representing and Predicting Spans
Abstract text의 span을 잘 표현하고 예측하는 pre-training 방법인 SpanBERT를 제안 random token이 아닌 contiguous random span을 masking 개별 token representations
[논문리뷰] Improving language understanding by generative pre-training
ABSTRACT natural language understanding에는 textual entailment, question answering, document classification 등등 넓고 다양한 task들이 존재한다. unlabeled data는 매우 많지만, 특정 task를 위한 labeled data는 드
[논문리뷰] Deep contextualized word representations
ABSTRACT 본 논문에서는 단어 사용의 문법적, 의미적 복잡성과 언어적 맥락에 따라 어떻게 달라지는지에 대해 모델링하는 deep contextualized word representations를 소개한다
[논문리뷰] ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
ABSTRACT pretraining 단계에서 모델 사이즈를 크게 하는 것은 downstream task에서 성능 향상을 가져왔지만, 더 많은 GPU 자원이 필요하고 학습시간도 더 오래 걸리게 되었다. 이 문제를 해결하기
[논문리뷰] RoBERTa: A Robustly Optimized BERT Pretraining Approach
Abstract BERT pretraining 할 때 hyperparameters와 training data size가 어떤 영향을 미치는지 재현연구(replication study)를 하였고, BERT는 significantly