2달 전

스케일 업된 요약: 대형 언어 모델을 활용한 긴 텍스트 추출 요약

Léo Hemamou; Mehdi Debiane
스케일 업된 요약: 대형 언어 모델을 활용한 긴 텍스트 추출 요약
초록

디지털 텍스트가 전례 없는 속도로 급증하는 시대에 효율적인 요약 도구는 필수적입니다. 대형 언어 모델(Large Language Models, LLMs)은 다양한 자연어 처리(NLP) 작업에서 성공적으로 적용되었지만, 추출적 텍스트 요약 분야에서는 여전히 연구가 부족한 상태입니다. 본 논문에서는 EYEGLAXS(Easy Yet Efficient larGe LAnguage model for eXtractive Summarization)를 소개합니다. 이 프레임워크는 특히 LLAMA2-7B와 ChatGLM2-6B를 활용하여 긴 텍스트 문서의 추출적 요약을 수행합니다. 추상적 방법이 사실과 맞지 않는 정보나 환각(hallucinations) 등의 문제를 자주 겪는 반면, EYEGLAXS는 사실적이고 문법적으로 올바른 요약을 보장하기 위해 추출적 요약에 중점을 둡니다. 최신 기술인 플래시 어텐션(Flash Attention)과 파라미터 효율적인 미세 조정(Parameter-Efficient Fine-Tuning, PEFT)을 활용하여 EYEGLAXS는 LLMs와 관련된 일반적인 계산 및 자원 문제를 해결합니다. 이 시스템은 PubMed와 ArXiv 등 잘 알려진 데이터셋에서 새로운 성능 기준을 설정하였습니다. 또한, 우리는 추가 분석을 통해 LLMs가 다양한 시퀀스 길이를 처리하고 작은 데이터셋에서 학습할 때의 적응성과 효율성을 탐구하였습니다. 이러한 기여는 추출적 텍스트 요약 분야에서 새로운 표준을 설정할 뿐만 아니라 미래 연구의 유망한 방향을 제시합니다.

스케일 업된 요약: 대형 언어 모델을 활용한 긴 텍스트 추출 요약 | 최신 연구 논문 | HyperAI초신경