초록
그래디언트 페널티를 탑재한 요약 생성 모델은 과적합을 방지하고 모델의 안정성을 높이는 데 기여한다. 그러나 기존의 그래디언트 페널티는 두 가지 문제를 겪고 있다. 첫째, 그래디언트를 두 번 계산해야 하므로 학습 시간이 증가한다. 둘째, 교란 요소( disturbance factor )의 최적 값 도출을 위해 반복적인 시도가 필요하다. 이러한 문제를 해결하기 위해, 유사도 계산을 통합한 단계별 그래디언트 페널티 모델(S2SGP: Step-by-step Gradient Penalty with Similarity Calculation)을 제안한다. 먼저, 단계별 그래디언트 페널티를 요약 생성 모델에 적용함으로써 정확도를 희생하지 않으면서도 학습 시간을 효과적으로 단축시킨다. 둘째, 참조 요약과 후보 요약 간의 유사도 점수를 교란 요소로 활용한다. 제안한 방법의 성능을 검증하기 위해 네 가지 요약 생성 데이터셋에서 실험을 수행하였으며, 그 중 EDUSum 데이터셋은 본 연구에서 새로 제작한 것이다. 실험 결과, S2SGP는 학습 시간을 효과적으로 줄였으며, 교란 요소에 대해 반복적인 시도 없이도 안정적으로 작동함을 확인할 수 있었다. 특히 CSL 데이터셋에서의 평가 결과, 기준 모델 대비 ROUGE-L 점수에서 2.4점 이상의 성능 향상을 달성하였다.