Masked Language Modeling with lightning-transformers
Masked Language Modeling with lightning-transformers Masked Language Modeling (Photo from illustrated-bert) lightning transformers 라이브러리를 활용하여 Masked Language Modeling을 구현한 방법을 설명한 글입니다. lightning-transformers 라이브러리는 Pytorch Lightning, Transformers, 그리고 Hydra 를 이용하여 작성되었습니다. 이 글에서는 hydra의 작동방식과 pytorch-lightning 사용법에 대해 알고있다고 가정하도록 하겠습니다. lightning-transformers 의 코드 구성은 아래와 같습니다. .
