비문과 석비는 과거 문명의 사상, 문화, 언어를 반영합니다. 수천 년 전의 암호를 해독하기 위해 비문학자들은 텍스트 복원, 시간적 귀속, 지역적 귀속이라는 세 가지 주요 작업을 완료해야 합니다.

주된 연구 방법은 "문자열 매칭"인데, 이는 기억이나 쿼리 코퍼스를 기반으로 비문과 유사한 글꼴을 매칭하는 방식으로, 혼란을 야기하고 결과에 대한 잘못된 판단을 초래합니다.

이를 위해 DeepMind와 베니스 포스카리 대학은 AI를 사용하여 인간 학자들이 그리스어 비문을 해독하는 데 도움을 주는 Ithaca를 공동으로 개발했습니다.

저자 | 0을 추가하다

편집자 | 쉐차이, 산양

비문, 석비, 고대 비문을 연구하는 비문학은 과거 문명의 사상, 문화, 언어를 연결합니다. 현재 학계는 중요한 문제, 즉 이러한 유산을 어떻게 심도 있게 연구하고 이해할 것인가라는 질문에 직면해 있습니다.

일반적으로 비문을 해석하려면 비문학자가 다음의 세 가지 기본 작업을 완료해야 합니다.

텍스트 복원: 텍스트에서 누락된 부분을 보완합니다.
연대순 귀속: 비문이 쓰여진 시기를 결정하는 것.
지리적 귀속: 비문이 쓰여진 원래 위치를 확인합니다.

이러한 작업을 완수하기 위해 비문학자들은 맥락과 기존 자료를 결합한 광범위한 비교 연구를 수행해야 합니다. 디지털 코퍼스의 등장으로 연구자들의 부담은 어느 정도 줄어들 수 있지만, 그들이 채택한 문자열 매칭 방법은 종종 혼란을 야기하고 결과에 대한 잘못된 판단을 초래합니다. 또한, 오래된 비문으로 인해 많은 비문이 손상되거나 분실되어 작업이 더욱 복잡해졌습니다.

비문 수리 아이콘

AI는 인간이 처리하기 어려운 방대한 양의 데이터를 분석하기 위해 복잡한 통계적 패턴을 발견하고 적용하는 데 능숙합니다.. 따라서 DeepMind와 베니스의 카 포스카리 대학의 연구자들은 비문학자들이 텍스트 복원, 연대순 귀속, 지리적 귀속 작업을 할 수 있도록 돕는 것을 목표로 Ithaca를 공동으로 개발했습니다.

실험 결과, 이타카 문자 복원 작업의 정확도는 62%에 달하고, 시간적 귀속 오차는 30년 이내, 지역적 귀속 정확도는 71%에 달하며, 시너지 효과가 좋은 것으로 확인되었습니다. 관련 논문은 "네이처"에 게재되었습니다.

관련 결과는 Nature에 게재되었습니다.

신문을 받으세요:

https://www.nature.com/articles/s41586-022-04448-z

이타카의 관련 코드는 GitHub 플랫폼에 오픈 소스로 공개되었으며, 비문학자들도 공개 인터페이스를 사용하여 연구를 수행할 수 있습니다.

소스 코드: https://GitHub.com/deepmind/Ithaca

공개 인터페이스: https://Ithaca.deepmind.com

실험 절차

데이터세트

기계 작동식 비문 컬렉션 I.PHI

연구진은 Packard Humanities Institute의 검색 가능한 그리스어 비문 공개 데이터 세트(PHI)를 기반으로 연구를 수행했습니다.

참고: PHI는 Packard Humanities Institute의 Searchable Greek Inscriptions 공개 데이터 세트를 의미합니다.

연구진은 기계 작동을 용이하게 하기 위해 PHI의 텍스트를 필터링하고, 선택된 텍스트에 디지털 ID, 해당 주석이 달린 위치 및 시간 정보를 할당한 후 마지막으로 I.PHI 데이터 세트를 얻었습니다.

I.PHI 데이터 세트는 현재 78,608개의 비문을 포함하는 가장 큰 기계 작동 가능 비문 데이터 세트입니다..

I. PHI 데이터 세트 예제

알고리즘 학습:3대 주요 업무에 대한 교육

1. 텍스트 인페인팅: 교차 엔트로피 손실 함수를 사용하여 입력 텍스트의 일부를 마스크하고 Ithaca 모델을 훈련하여 마스크된 문자를 예측합니다.

2. 시간 귀속: 이타카는 10년 간격으로 기원전 800년경의 기간을 확률이 동일한 기간으로 이산화했는데, 이를 목표 확률 분포라고 합니다. 쿨백-라이블러 발산을 사용하여 예측 확률 분포와 목표 확률 분포의 차이를 최소화합니다.

3. 지역적 귀속: 교차 엔트로피 손실 함수를 사용하여 지역 메타데이터를 대상 레이블로 사용하고, 과적합을 방지하기 위해 평활화 계수 10%의 레이블 평활화 기술을 적용합니다.

이를 바탕으로 Ithaca는 8,192개 텍스트의 배치 크기와 3 × 10의 LAMB 최적화기를 사용하여 Google Cloud Platform에서 1주일 동안 128개의 TPU v4 포드에서 학습되었습니다.^-4 학습률은 이타카 매개변수를 최적화합니다.

모델 구조:이타카 모델은 4가지 부분으로 구성됩니다.

이타카 모델 작업 처리 흐름

이타카 모델의 구조는 다음의 네 부분으로 요약될 수 있습니다.

1. 입력: 입력 텍스트는 문자와 단어로 모두 처리되므로, 이타카가 개별 문자를 이해하고 이를 문맥상 이해할 수 있는 단어로 통합할 수 있습니다. 알 수 없는 단어나 손상된 단어는 특수 기호 "unk"로 대체됩니다.

2. 몸통: 이타카의 몸통은 입력 문자와 단어가 모델의 의사 결정 프로세스에 미치는 영향을 측정하기 위해 주의 메커니즘을 사용하는 적층형 트랜스포머 신경망 아키텍처를 채택했습니다.

본문 부분에서 Ithaca는 입력 텍스트를 위치 정보와 결합하고 이를 입력 문자의 수와 같은 길이의 시퀀스로 정규화합니다. 여기서 시퀀스의 각 항목은 2,048차원 임베딩 벡터입니다. 이 시퀀스는 3개의 서로 다른 작업 헤드로 전송됩니다.

3. 작업 헤드: 이타카에는 3개의 서로 다른 작업 헤드가 있으며, 각 헤드는 텍스트 복원, 시간적 귀속 및 지역적 귀속 작업을 전문으로 하는 얕은 피드포워드 신경망으로 구성됩니다.

4. 출력: 세 개의 작업 헤드는 각각 해당 결과를 출력합니다.

이타카 출력

텍스트 복구: 이타카는 누락된 문자 3개를 예측하고 확률 순으로 순위를 매긴 상위 20개 디코딩 예측 세트를 제공합니다(위 a).
지역적 속성: 이타카는 입력 텍스트를 84개 지역으로 나누고 지도와 막대 그래프를 사용하여 가능한 지역적 예측 순위 표를 직관적으로 구현합니다(위의 그림 b).
시간 귀속: 시간 귀속 작업의 해석 가능성을 확장하기 위해 이타카는 기원전 800년에서 서기 800년으로 거슬러 올라가며 단일 날짜 값을 출력하는 대신 날짜의 범주형 분포를 예측합니다(위의 그림 2c).

모델 학습 결과

종합적인 비교:이타카는 우수한 성능을 가지고 있습니다

* 4가지 대비 메커니즘

1. 고대 역사가: 인류학자들은 훈련 세트를 사용하여 텍스트의 유사점을 찾고 그 결과를 이타카와 비교합니다.

2. 고대 역사가와 이타카: 이타카는 비문학자들을 위해 20가지의 복원 가능성을 제시하고 이타카와 인류학자 간의 협력관계를 평가한다.

3. 피티아: 텍스트 복원 작업을 위한 시퀀스-투-시퀀스 순환 신경망으로, 이타카의 텍스트 복원 성능을 평가합니다.

4. 이름 연구: 연구자들은 시간과 공간에 따른 그리스 인명의 알려진 분포를 사용하여 일련의 텍스트에 대한 시간적, 지역적 귀속을 완료하고 이타카의 시간적, 지역적 귀속 성능을 평가했습니다.

* 3대 주요 평가지표

1. 문자 오류율(CER): 텍스트 복구 작업을 평가하고 가장 높게 예측된 복구 시퀀스와 대상 시퀀스 간의 정규화된 차이를 계산합니다.

2. Top-k 정확도: 텍스트 복원 또는 지역 귀속 작업을 평가하고, 예측 결과에서 올바른 레이블이 포함된 상위 k 결과 중 확률이 가장 높은 결과의 비율을 계산합니다. 상위 1 정확도가 자주 사용됩니다.

3. 거리 측정법(방법): 시간 귀인 작업을 평가하고 예측 분포의 평균과 기준 진실 간격 사이의 거리를 연 단위로 계산합니다.

* 실험 결과

1. 텍스트 복구

텍스트 복구 작업

a: 원래 비문;

b: 로즈-오스본이 복원한 비문;

c: 로즈-오스본 버전과 74개의 불일치가 있는 피티아 복원.

d: 로즈-오스본 버전과 45개의 불일치가 있는 이타카 복원.

그림에서 올바르게 수리된 부분은 녹색으로 표시되어 있고, 오류가 있는 부분은 빨간색으로 강조 표시되어 있습니다.

원래 비문(IG II² 116)에는 378자가 누락되었습니다. 2003년 로즈-오스본이 완료한 복원에 따르면(그림 b), 이타카의 CER은 26.3%이고 상위 1 정확도는 61.8%에 이릅니다.

비문학자들에 비해 이타카의 CER은 2.2배 낮습니다. 이타카의 상위 20개 예측 정확도는 78.3%로 피티아보다 1.5배 높습니다.

2. 지리적 귀속

지리적 귀속 작업

지역 귀속 작업에서 이타카는 상위 1위 정확도인 70.8%와 상위 3위 정확도인 82.1%를 달성했습니다.위의 그림은 이타카가 해방 비문을 델포이 지역에 올바르게 귀속시켰음을 보여줍니다.

3. 시간 귀속

시간 귀속 작업

시간 귀속 작업의 경우, 인간 전문가의 평균 예측은 144.4년이었고, 중앙값은 94.5년이었지만, 이타카의 예측은 기준 진실 간격과 평균 29.3년의 차이가 있었고, 중앙값 차이는 단 3년에 불과했습니다.

이타카가 세 가지 과제에서 보여준 성과를 종합해 보면 다음과 같은 결과가 요약됩니다.

인간 전문가와 피티아와 비교했을 때, 이타카는 세 가지 과제 모두에서 더 뛰어난 성과를 보였습니다.

인간 전문가가 이타카와 협력했을 때, 그들은 18.3%의 CER과 71.7%의 상위 1 정확도를 달성했습니다.혼자 작업한 비문학자들에 비해 각각 3.2배, 2.8배의 성과가 나타났으며, 이타카가 혼자 작업을 완료한 것에 비하면 상당한 성과가 나타났습니다.이타카의 탁월한 시너지 입증.

이타카의 실험 결과 비교

시간 귀속:나타카는 분쟁을 해결한다

일부 비문의 연대를 놓고는 논란이 있었습니다. 연대 측정에 사용되는 전통적인 시그마 연대 측정 기준은 정확성을 보장할 수 없으며, 비문학자는 이 비문이 기원전 446/5년 이전인지 이후에 작성되었는지 판단할 수 없습니다.

아래에 나와 있는 비문은 전통적으로 기원전 446/5년으로 추정되었으나, 최근 기원전 424/3년으로 재확인되었습니다.

논란의 여지가 있는 비문(일부)

이 논란의 여지가 있는 비문은 I.PHI 데이터 세트에 존재하며, 이타카의 시간 귀속 결과는 시그마 연대 측정 기준에 기초한 전통적인 역사적 해석을 뒤집고, 새롭게 발견된 기본 사실과의 차이는 평균 5년이다.

이것은 다음을 증명합니다.이타카는 역사가들이 날짜 범위를 좁히고 역사적 사건에 대한 귀속의 정확성을 높이는 데 도움이 될 수 있습니다.

AI와 인간: 1 + 1 > 2?

이타카의 결과 출력 부분은 매우 흥미롭습니다. 단 하나의 답변만 출력하는 것이 아니라, 연구자들이 선택할 수 있는 여러 가지 가능한 결과를 제공합니다.

이는 다른 AI 개발자와 사용자에게도 배울 만한 가치가 있습니다. AI의 출력에만 의존하기보다는 AI를 이용해 '길을 탐색'하고, 잘못된 답을 제거하고, 독립적인 사고의 깊이와 폭을 확장하는 것이 더 좋습니다.

이타카는 AI의 계산 능력과 인간의 창의성 및 심층적 사고를 결합하여 AI와 긴밀히 협력하기 위한 새로운 패러다임을 개척하는 데 도움이 됩니다.

미래에는 AI와 인간 학자들이 협력하여 "1+1 > 2"라는 목표를 달성할 것으로 기대됩니다.

참고문헌: