초록
우리는 바이트 단위 순환 언어 모델의 특성을 탐구합니다. 충분한 용량, 학습 데이터, 그리고 계산 시간을 제공할 때, 이 모델들이 학습하는 표현은 고차원 개념에 해당하는 분리된 특징을 포함합니다. 특히, 우리는 감성 분석을 수행하는 단일 유닛을 발견했습니다. 이러한 표현은 비지도 방식으로 학습되었으며, 스탠퍼드 감성 트리뱅크의 이진 부분 집합에서 최고 수준의 성능을 달성하였습니다. 또한 매우 효율적인 데이터 사용이 가능합니다. 몇 개의 라벨된 예제만 사용해도 우리의 접근 방식은 전체 데이터셋으로 학습된 강력한 기준 모델과 동등한 성능을 보입니다. 우리는 또한 감성 유닛이 모델의 생성 과정에 직접적인 영향을 미치는 것을 시연하였습니다. 그 값이 양수 또는 음수로 고정되면, 해당하는 긍정적 또는 부정적 감성을 가진 샘플이 생성됩니다.