파라미터 효율적인 학습 썸네일형 리스트형 GPT로 날짜 생성하기 (Prefix-Tuning 으로 학습) 이전 글에서는 GPT 모델의 모든 파라미터를 조정해서 날짜를 생성하게끔 하였다. 하지만, 이 방식은 새로운 테스크가 생길 때마다 모든 파라미터를 조정해야한다는 단점이 있다. 그래서 입력 시퀀스에 추가적인 Prefix Embedding을 결합하여 추가된 임베딩만 학습하는 이른바 Prefix-Tuning이라는 학습 방법이 제안되었다. 학습 코드는 다음과 같다.import torchimport torch.nn as nnfrom torch.utils.data import DataLoaderimport torch.optim as optimfrom transformers import GPT2Tokenizer, GPT2LMHeadModeldef generate(model: GPT2LMHeadModel, inputs_.. 더보기 이전 1 다음
