Super Neuro에서
우리는 바둑과 도타2를 해봤습니다. 이제 AI가 IQ 테스트에서 추론 문제를 풀어볼 차례입니다.
DeepMind 팀은 전통적인 지능 테스트에서 영감을 얻어 최근 AI의 추론 능력을 테스트하는 실험을 시작했습니다.연구 결과에 따르면 AI는 일부 추상적인 개념을 이해할 수 있을 뿐만 아니라 새로운 개념을 추론할 수도 있는 것으로 나타났습니다.
아차, AI가 또 한 점을 얻었네요~
더 이상 체스는 그만, 추론 문제로 AI를 테스트해 보자
올해 7월 스웨덴 스톡홀름에서 열린 '기계학습 국제 컨퍼런스'에서 딥마인드는 인간의 IQ를 테스트하는 것처럼 일련의 추상적 요소를 통해 신경망의 추론 능력을 측정할 수 있다는 논문을 발표했습니다.
연구자들은 이러한 추상적 추론 능력을 개념적 수준에서 패턴을 감지하고 문제를 해결하는 능력으로 정의합니다.추상적 추론은 인간 지능의 상징 중 하나입니다. 유명한 예로는 아인슈타인이 엘리베이터 사고 실험을 통해 일반 상대성 이론을 도출한 것입니다.
이 실험에서 아인슈타인은 균일한 가속도를 받는 관찰자와 균일한 중력장에 있는 관찰자 사이에 동등성이 있다고 추론했습니다.
이 두 가지 추상적인 개념을 연결하는 능력 덕분에 그는 일반 상대성 이론을 도출할 수 있었고, 이를 바탕으로 시공간의 곡률을 제안할 수 있었습니다. 이러한 추상적인 능력은 인간 지능의 특징 중 하나입니다.
참고: "특수 상대성 이론과 일반 상대성 이론에 대한 소개"에서 아인슈타인은 비유를 들었습니다. 닫힌 상자 안에 밖을 볼 수 없는 사람이 있습니다. 외부 중력이 없을 때, 알려지지 않은 생물이 상자를 9.8m/s^2의 가속도로 위로 끌어올립니다. 상자 안에 있는 사람은 상자가 바닥에 고정되어 있는 것과 같은 느낌을 받습니다. 만약 그가 손에 공을 쥐고 있다면, 그 무게가 지구의 중력에 의한 것인지 아니면 중력가속도 g에 의한 것인지 구별할 수 없으므로, 중력질량은 관성질량과 같다.
AI는 데이터 처리 외에도 추상화 기능을 가지고 있습니다.
그렇다면 AI는 추상적인 요소를 통해 새로운 개념을 추론할 수 있는 능력도 가지고 있을까요? DeepMind 팀의 실험 결과, 답은 '예'입니다.
연구팀은 처음에는 학습 자료의 모양, 위치, 선 색상 등의 속성을 이용해 AI의 추론 능력을 테스트하려고 했지만, 결과가 이상적이지 않았고 AI의 추론 능력을 정확하게 반영하기 어려웠습니다.
일반적인 지능 검사 문제 유형
주된 이유는 준비한 실험 자료가 너무 많거나 구체적이면, 강력한 학습 능력에 의존하는 신경망이 추론을 거부하게 되기 때문입니다. 왜냐하면 그 안에서 일반적인 규칙을 발견해 버리기 때문인데, 이는 인간에게도 마찬가지입니다.
연구팀의 해결책은 질문 생성기를 만드는 것이었습니다. 이 질문 생성기는 관계(사물의 발달 등)와 속성(색상, 크기 등)을 포함한 일련의 추상적 요소로 만들어진 일련의 질문으로 구성되어 있으며, AI의 추론 능력을 훈련하고 테스트하도록 특별히 설계되었습니다.
대부분의 AI 모델은 테스트에서 좋은 성능을 보였고, 일부는 75%의 성능을 달성했습니다.연구자들은 질문 세트의 정확성이 AI가 추상적 개념을 추론하는 능력과 밀접한 상관관계가 있으며, 질문 세트의 속성을 조정하면 추론 능력을 향상시킬 수 있다는 것을 발견했습니다.
이미지 추론 문제는 대부분의 AI를 난처하게 만듭니다.
이와 대조적으로 시각적 추론은 더 어렵고 AI가 이미지에 표시된 요소를 기반으로 자체적인 질문 세트를 만들어야 합니다. 하지만 DeepMind 팀은 일부 AI 모델은 이미 시각적 추론이 가능하다고 말했습니다.
시각적 추론을 달성하려면 이러한 모델은 이미지의 원시 픽셀에서 논리 연산 및 등차수열과 같은 추상적인 개념을 추론하고 테스트해야 하며, 이러한 개념을 이전에 관찰한 적이 없는 객체에 적용해야 합니다.
그림 1: DeepMind 팀이 설계한 머신 러닝 모델이 수행한 시각적 추론 테스트
이 테스트 전체는 신경망이 AI에 추론 능력을 부여할 수 있음을 증명하지만, 이 능력은 현재 큰 한계가 있으며, 현재 가장 뛰어난 Wild Relation Network(WReN)조차도 이 문제를 완전히 해결할 수 없습니다.
AI 추론의 한계
이러한 한계는 주로 신경망이 문제 집합 외부의 요소를 발견하기 어렵다는 사실에 기인하며, 이로 인해 추론 중에 일반화 능력이 저하됩니다.
연구팀은 블로그 게시물에 다음과 같이 썼습니다."신경망은 특정 조건에서는 우수한 추론 능력을 보이지만, 조건이 바뀌면 추론 능력이 급격히 떨어집니다. 또한, 모델 추론의 성공은 모델의 아키텍처와 학습 여부 등 여러 요인과도 관련이 있습니다."
이러한 한계는 모델의 일반화 능력을 개선하고 미래 모델에 사용할 수 있는 "구조가 풍부하고 일반적으로 적용 가능한" 귀납적 편향을 탐색할 수 있는 방법을 찾는다면 해결될 수 있을 것입니다.
하지만 엔지니어가 모두 마조히스트일까요?
바둑부터 도타2까지 인간은 AI에게 거듭 패배했습니다. 정말 흥미로운가요?
여기 당신을 위한 유명한 인용문이 있습니다↓↓↓
