애플, 데이터 윤리와 인간 검수로 AI 모델 강화
Apple은 최근 발표한 두 개의 대형 언어 모델을 개발하면서 데이터 수집과 인간의 감독을 핵심 요소로 삼았습니다. 이 모델들은 애플 기기 내에서 다양한 기능을 지원하지만, 오픈소스로 공개하지 않으며, 서버 기반 모델의 정확한 파라미터 수는 밝히지 않았습니다. 다만, 디바이스 기반 모델은 약 30억 개의 파라미터를 가지고 있다고 밝혔습니다. 애플의 접근 방식은 단순히 데이터량을 늘리는 것보다는 데이터의 품질과 윤리적 소스를 중시합니다. 이는 애플이 사용자 개인 데이터를 사용하지 않고, 출판사로부터 라이선스를 받거나 오픈소스 데이터를 활용하는 방식입니다. 또한, 내부 모델을 통해 고품질의 합성 데이터를 생성해 모델을 훈련시키고 있습니다. 애플의 데이터 수집 과정은 자체 개발한 웹 크롤러인 애플봇(Applebot)을 통해 이루어집니다. 애플봇은 수십억 개의 웹 페이지를 탐색하며, 다양한 언어와 지역, 주제의 고품질 콘텐츠에 집중합니다. 이 크롤러는 로봇.txt 프로토콜을 준수해 웹 소유자가 데이터 사용을 거부할 수 있도록 했습니다. 또한, 동적 웹사이트에서 정확한 텍스트와 메타데이터를 추출하기 위해 헤드리스 렌더링 기술을 사용하며, 특정 분야 문서의 경우 대형 언어 모델을 활용해 추출을 개선합니다. 데이터 필터링 과정에서는 단순한 규칙 기반 방법 대신, 언어별로 조정된 모델 기반 신호를 사용해 유의미한 토큰을 유지하면서도 불법적 또는 개인 정보가 포함된 콘텐츠를 제거합니다. 애플은 인간의 감독을 통해 모델을 보완하고 있습니다. 모델 훈련 후, 인간의 지도 하에 SFT(Supervised Fine-Tuning)와 RLHF(Reinforcement Learning from Human Feedback) 기법을 적용해 다양한 언어와 멀티모달 기능을 확장합니다. SFT에서는 인간이 작성한 예시와 합성 데이터를 결합해 모델을 개선하고, 수많은 언어에서 자연스러운 프롬프트를 제공해 모델의 정확성을 높입니다. 멀티턴 상호작용 데이터셋을 만들기 위해 AI 에이전트와 인간이 협력하는 플랫폼도 사용합니다. RLHF를 통해 인간의 선호도를 기반으로 모델을 반복적으로 개선하며, 이 과정에서 모델의 정확성과 신뢰성을 높입니다. 애플의 방식은 기술적 차원을 넘어 윤리적 철학을 반영합니다. 사용자 데이터를 사용하지 않고, 데이터 사용을 거부할 수 있는 옵션을 제공함으로써 사용자 프라이버시를 보호합니다. 인간의 개입은 모델이 실제 사용자 요구에 부합하도록 하며, 편향과 오류를 줄입니다. 이 접근 방식은 효율적인 모델을 개발하면서도 책임 있는 AI 원칙을 지키고 있습니다. 애플의 투명성은 기술 산업에서 중요한 변화를 유도할 수 있을 것으로 기대됩니다. 애플의 이러한 접근은 기술 발전의 방향을 재정립하는 데 기여할 수 있으며, 특히 데이터 윤리와 인간 중심의 AI 개발에 대한 관심을 높일 것으로 보입니다. 애플은 기존의 데이터 과잉 훈련 방식과는 차별화된 방식으로, 사용자 중심의 기술 혁신을 선도하고 있습니다.