공부 정리

( 이전에 만들어두었던 ppt로 작성되었습니다) Transformer 많은 PLM들의 백본모델 각 토큰의 hidden state들은 하위 레이어로부터 누적되면서 업데이트 된다. 최종적으로 Transformer의 아웃풋은 시퀀스내부에서 각 토큰들의 문맥적 표현을 담고있을 것이다. 논문에서 제안된 구조 아래부터는 단계별로 설명입니다. Embedding & positional Encoding 문장의 sparse represetion을 시작으로 word vertor로 매핑시킨다. 중간에 임베딩 차원의 제곱근으로 나누어 스케일링을 진행하고, 위치 정보는 삼각함수를 이용하여 적절히 첨가한다 이렇게 해서 모델에 들어갈 Embedding matrix가 만들어진다 dot product attention 유사도 연산이 들..

unsupervised representation learning 은 NLP Domain 에서 매우 성공적이었다. ( word2Vec, ELMo, BERT, GPT ... ) 일반적으로 이 방법론들은 우선 대규모의 unlabeled text corpora 로 Neural Net 을 pretrain 하고, 그 이후 downstream task 들에 대해 representation 이나 모델을 finetuning 한다. 다양한 unsupervised pretraining objective 가 있는데 이 중 AR 와 AE 가 가장 성공적인 pretraining objective 이다. AR Autoregressive model 로 text corpus 의 확률분포를 찾는 것을 원한다. 구체적으로 text se..

abstract ML model (including NN) 은 adversarial example을 오분류함. ⇒ 작지만 의도적으로 worst case perturbation 을 dataset의 example에 적용하여 만들어진 input 그래서, perturbed input 은 model이 high confidence로 오답을 뱉도록 한다. 위와 같은 현상을 설명하는데에 있어서 이전의 시도들 : nonlinearity 와 overfitting에 초점을 맞춤 introduction in Intriguing properties of neural networks, ML model은 adversarial example에 취약함. ⇒ ML model 은 data 분포로 부터 뽑힌 올바르게 분류된 example ..

pdf : https://arxiv.org/pdf/2112.03154.pdf cite : Xu, H., Lu, S., Sun, Z., Ma, C., & Guo, C. (2021).VAE based text style transfer with pivot words enhancement learning. arXiv preprint arXiv:2112.03154. Text Style Transfer(TST)는 하나의 텍스트에 대해서 content는 유지하면서 style정보를 다른 style로 교체하는 것을 목표로 하는 language generation 영역의 task입니다. style : 글의 분위기, 어투, 작풍, 양식 등등 content : 글의 내용, 주제 등등 이는 생성된 문장에서 표현된 style을..

pdf : https://aclanthology.org/K19-1057.pdf cite : Yuze Ji, Youfang Lin, Jianwei Gao, and Huaiyu Wan. 2019. Exploiting the Entity Type Sequence to Benefit Event Detection. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pages 613–623, Hong Kong, China. Association for Computational Linguistics. Event Extraction과 Event Detection은 information extraction 분야..