2달 전

개인 속성 추론을 위한 합성 데이터셋

Hanna Yukhymenko; Robin Staab; Mark Vero; Martin Vechev
개인 속성 추론을 위한 합성 데이터셋
초록

최근, 강력한 대형 언어 모델(LLM)들이 전 세계 수억 명의 사용자들에게 쉽게 접근 가능해졌습니다. 그러나 이러한 강력한 기능과 방대한 지식은 개인 정보 유출과 관련된 프라이버시 위험을 동반하지 않습니다. 본 연구에서는 LLM이 새로운 프라이버시 위협으로 부상하고 있는 문제에 초점을 맞추었습니다. 즉, 온라인 텍스트에서 개인 정보를 정확히 추론할 수 있는 능력입니다. LLM 기반 저자 프로파일링의 중요성이 증가하고 있지만, 실제 개인 데이터와 관련된 윤리적 및 프라이버시 우려로 인해 적절한 공개 데이터셋이 부족하여 이 분야의 연구가 제약을 받고 있습니다. 우리는 이 문제를 해결하기 위해 두 가지 단계를 취했습니다: (i) 합성 개인 프로필을 사용하여 초기화된 LLM 에이전트를 활용해 인기 있는 소셜 미디어 플랫폼 Reddit의 시뮬레이션 프레임워크를 구축했습니다; (ii) 이 프레임워크를 사용하여 SynthPAI라는 이름의 7800여 개 이상의 댓글로 구성된 다양성을 갖춘 합성 데이터셋을 생성하였으며, 이 댓글들은 개인 속성에 대해 수동으로 라벨링되었습니다. 우리는 인간 실험을 통해 우리의 합성 댓글과 실제 댓글을 구분하는 작업에서 인간이 무작위 추측보다 약간 더 우수하다는 것을 확인하였습니다. 또한, 18개의 최신 LLM들을 대상으로 한 실험을 통해 우리의 합성 댓글이 실제 데이터와 동일한 결론을 도출할 수 있음을 검증함으로써, 우리의 데이터셋이 의미 있는 개인 속성 추론 연구를 가능하게 한다는 점을 입증하였습니다. 종합적으로, 우리의 실험 결과, 데이터셋 및 파이프라인은 LLM들이 초래하는 추론 기반 프라이버시 위협에 대한 이해와 완화를 목표로 하는 미래의 프라이버시 보호 연구의 확실한 기반이 됩니다.

개인 속성 추론을 위한 합성 데이터셋 | 최신 연구 논문 | HyperAI초신경