텔루스 디지털, 전문가 검증된 AI 데이터셋 출시

모든 데이터셋이 평등하지는 않다: TELUS 디지털 조사, AI 신뢰도는 데이터 출처에 따라 달라진다 밴쿠버, 브리티시 컬럼비아--(비즈니스 와이어)--생성형 AI(Generative AI, GenAI)가 산업 전반에서 속도를 내면서, AI 모델을 훈련, 평가, 세부 조정하기 위해 사용되는 데이터의 출처에 대한 신뢰성이 중요한 이슈로 부상하고 있다. TELUS 디지털이 최근 실시한 1,000명의 미국 성인을 대상으로 한 조사 결과, 응답자의 87%(2023년 75%에서 상승)가 기업들이 GenAI 모델을 위한 데이터 출처에 대해 투명하게 공개해야 한다고 생각하는 것으로 나타났다. 또한, 65%는 뉴욕타임스, 로이터, 블룸버그와 같은 신뢰할 수 있는 미디어 출처의 고품질 검증된 콘텐츠가 배제되면 대형 언어 모델(LLM)의 응답이 정확하지 않거나 편향될 수 있다고 믿었다. “AI 시스템이 더욱 전문화되고 고위험 분야에 깊게 융합됨에 따라, 출력 최적화를 위한 데이터셋의 품질이 일반적인 성능과 실제 세상에 영향을 미치는 가능성 사이에서 기업들의 차별화된 요소로 부각되고 있다.”라고 TELUS 디지털의 글로벌 부사장兼총괄 매니저인 아미트 나irus는 말했다. “우리는 이제 일반 대중 또는 인터넷 데이터로 오늘날 기업들의 복잡하고 전문적인 용례를 만족시키는 시대를 지나섰다. 고객들의 요청은 ‘대중의 지혜’ 데이터셋에서 ‘전문가의 지혜’ 데이터셋으로 변화하고 있으며, 전문가들과 업계 전문가들이 이러한 데이터셋을 구성하여 기술적으로 탄탄하고, 맥락적으로 적합하며, 책임감 있게 만들어지도록 돕고 있다. 의료나 금융 같은 고위험 분야에서는 단 하나의 잘못 라벨링된 데이터 포인트라도 모델 동작을 감지하기 어려운 방식으로 왜곡시키고, 수정 비용이 크게 들 수 있다. TELUS 디지털은 다양한 전문가 네트워크와 협력하여 데이터셋이 다양한 관점을 반영하고, 편향성을 줄이며, 실제 용례와 더 가깝게 맞춰지도록 한다.” 텔루스 디지털(TSX: TIXT)은 디지털 고객 경험을 전문으로 하는 선도적인 글로벌 기술 기업으로, 산업 전반의 진화에 대응하여 13개의 준비된 STEM(과학, 기술, 공학, 수학) 데이터셋을 출시하였다. 이 데이터셋에는 LLM 개발에 중요한 코드 작성 및 추론 데이터가 포함되어 있으며, 전 세계의 박사 연구원, 교수, 대학원생, 현업 전문가 등 다양한 인재들이 엄선하여 제공한다. 이를 통해 기업들은 즉시 AI 훈련 워크플로에 통합할 수 있는 고품질 데이터에 접근할 수 있다. 전문가의 인간 지식이 중요할까요? STEM과 같은 복잡한 분야에서는 훈련받은 전문가들이 주제에 대한 깊은 맥락적 이해를 바탕으로 애매한 입력을 더 정확히 해석하고, 일관된 기준을 적용하며, 법적 의미나 과학적 분류와 같은 미묘한 차이를 인식할 수 있다. 전문가들은 또한 모델 성능을 저하시키는 인지 편향을 식별하고 완화하는 데 더 잘 장착되어 있다. Dancan은 유기 화학 배경을 가진 AI 과학자이자 TELUS 디지털의 프리랜서 데이터 주석 작업자로서 다음과 같이 말했다. “데이터를 올바르게 주석 처리함으로써, AI가 과학자들과 더 잘 협업해 그들이 과정을 간소화하고 솔루션을 더 빠르게, 그리고 비용의 일부만으로 찾아낼 수 있도록 돕고 있습니다. 제 화학 배경과 AI의 잠재력을 결합하여 생명을 구하는 치료법의 발견을 가속화하는 것이 제가 열정을 가진 부분입니다.” 인도 출신 소프트웨어 엔지니어이자 TELUS 디지털의 프리랜서 데이터 주석 작업자인 Sourabh는 “소프트웨어 배경을 가진 사람으로서, 저는 항상 AI의 문제 해결 측면에 매력을 느꼈습니다. 생성형 코딩 문제 해결과 같은 실제 주석 프로젝트에 이러한 마인드를 적용할 수 있었고, 모델이 어떻게 학습하고 작동하는지 영향을 미치는 단계별 설명을 제공하였습니다.”라고 덧붙였다. University of Vermont의 화학 박사과정에 있는 Justin은 “고품질 데이터 주석과 잘 훈련된 LLM의 조합은 가장 강하고 잘 자격을 갖춘 과학자라도 새로운 프로젝트에 참여하거나 재참여하는 문턱을 크게 낮출 수 있다고 느꼈습니다. 이는 제가 TELUS 디지털에서 수행하는 데이터 주석 작업이 진정으로 효율적이고 깊이 있는 과학적 혁신을 이끌 수 있다는 점에서 중요합니다.”라고 말했다. 20여 년간의 데이터 주석 경험을 바탕으로, TELUS 디지털은 복잡하고 맥락적이며 고차원적인 분야에서 전 세계적인 전문 지식을 확보하였다. 준비된 데이터셋 외에도, 회사는 고객의 특정 용례, 산업 요구사항, 언어적 필요성에 맞춘 완전 맞춤형 AI 데이터 프로젝트를 제공한다. 이는 다국어 및 다중 모드 주석과 함께, 정확성과 규제 준수가 모델 성능에 필수적인 분야에서 특화된 지원을 포함한다. TELUS 디지털의 데이터 주석 서비스는 Ground Truth(GT) 스튜디오라는 고급 자체 데이터 라벨링 플랫폼으로 구동된다. 이 플랫폼은 다양한 글로벌 인간 지식과 지능형 자동화를 결합하여 뛰어난 데이터 품질, 정확성, 효율성을 보장한다. TELUS 디지털의 준비된 STEM 데이터셋은 개별적으로 또는 콜렉션으로 라이선스할 수 있으며, 총 178,000여 개의 구조화된 프롬프트-응답 쌍을 포함하고 있다. 깊은 맞춤화나 용례 특이성이 요구되는 프로젝트에 대해서는 회사가 특정 용례와 규제 요구사항에 맞춰 맞춤형 데이터셋을 제공한다. TELUS 디지털의 이러한 준비된 데이터셋과 맞춤형 데이터셋은 실제 세상에서 확장 가능한 AI 애플리케이션을 지원하는 데 중요한 역할을 한다. TELUS 디지털의 끝에서 끝까지 데이터 플랫폼을 활용하여 고객이 가치를 창출할 수 있도록 돕는 다양한 솔루션을 제공한다. 더 자세한 정보는 TELUS 디지털의 Data & AI Solutions 페이지를 방문하면 확인할 수 있다. 업계 인사들의 평가 및 회사 프로필 이 조사는 업계 전문가들과 기업들의 데이터셋 사용에 대한 새로운 접근 방식을 강조함으로써, AI 개발의 중요한 측면을 드러냈다. AI 모델의 신뢰성을 높이기 위해서는 단순히 많은 양의 데이터가 아니라, 질적으로 우수하고 검증된 데이터가 필요하다는 점을 명확히 하였다. TELUS 디지털은 이러한 요구를 충족하기 위해 글로벌 전문가 네트워크와 협력하여 고품질 데이터셋을 제공하고 있으며, 이는 기업들이 AI를 더욱 효과적으로 활용할 수 있도록 돕는 중요한 역할을 하고 있다. TELUS 디지털은 20여 년간의 데이터 주석 경험을 바탕으로, 고객 경험 관리, 클라우드 솔루션, AI 기반 자동화, 프런트엔드 디지털 디자인 및 컨설팅 서비스, AI 및 데이터 솔루션, 컴퓨터 비전, 신뢰성, 안전 및 보안 서비스 등 다양한 분야에서 종합적인 서비스를 제공한다. 회사는 기술, 인간의 창의성, 그리고 연민을 바탕으로 고객을 섬기고, 우리가 운영하는 지역 사회에서 포용적이고 번성하는 커뮤니티를 만들기 위해 노력하고 있다. TELUS 디지털은 우리 작업의 더 넓은 영향을 고려하고 해결하기 위해 Humanity-in-the-Loop 원칙을 따르며, 변혁적인 기술을 책임감 있게 개발하고 배포한다. 자세한 정보는 telusdigital.com에서 확인할 수 있다.