SMOL(Set for Maximal Overall Leverage)은 Google이 2025년에 공개한 전문 번역 데이터셋입니다. 저자원 언어 번역 모델 학습 및 고품질 병렬 데이터 제공을 목표로 합니다. 관련 연구 논문으로는 다음과 같은 것들이 있습니다... SMOL: 115개 소수 언어에 대한 전문적으로 번역된 병렬 데이터 . 이 데이터 세트는 암하라어, 스와힐리어, 아파르어를 비롯한 221개 언어로 전문적으로 번역된 텍스트와 주석이 드물게 달리는 언어/데이터가 부족한 지역 언어의 텍스트를 포함합니다. 전문 번역가와 자원봉사자가 제공한 텍스트를 비롯하여 다양한 언어 쌍을 포괄하며, 일부 언어의 경우 의료 분야의 수직 데이터와 사실적 주석이 추가되었습니다.

데이터셋 구성:

• SmolDoc: 문서 수준 번역, 130쌍의 언어(129개의 독립 언어) 지원;
• SmolSent: 문장 단위 번역 서비스로, 114쌍의 언어(총 116개의 독립 언어)를 지원합니다.
• GATITOS: 181개 언어 쌍(183개 독립 언어)을 지원하는 단어 수준 번역 도구로, 주로 다국어 사전으로 사용됩니다.
• SmolDoc-factuality-annotations: SmolDoc에 있는 661개 문서에 대한 사실성 주석 및 추론.

인용문

@misc{caswell2025smol,
title={{SMOL: Professionally translated parallel data for 115 under-represented languages}},
author={Isaac Caswell and Elizabeth Nielsen and Jiaming Luo and Colin Cherry and Geza Kovacs and Hadar Shemtov and Partha Talukdar and Dinesh Tewari and Baba Mamadi Diane and Koulako Moussa Doumbouya and Djibrila Diane and Solo Farabado Cissé and Edoardo Ferrante and Alessandro Guasoni and Mamadou K. Keita and Sudhamoy DebBarma and Ali Kuzhuget and David Anugraha and Muhammad Ravi Shulthan Habibi and Sina Ahmadi and Mingfei Lau and Jonathan Eng},
year={2025},
eprint={2502.12301},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2502.12301},
}
@inproceedings{jones-etal-2023-gatitos,
title = {{"GATITOS: Using a New Multilingual Lexicon for Low-resource Machine Translation"}},
author = "Jones, Alexander  and
Caswell, Isaac  and
Firat, Orhan  and
Saxena, Ishank",
editor = "Bouamor, Houda  and
Pino, Juan  and
Bali, Kalika",
booktitle = "Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing",
month = dec,
year = "2023",
address = "Singapore",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2023.emnlp-main.26/",
doi = "10.18653/v1/2023.emnlp-main.26",
pages = "371--405",
abstract = "Modern machine translation models and language models are able to translate without having been trained on parallel data, greatly expanding the set of languages that they can serve. However, these models still struggle in a variety of predictable ways, a problem that cannot be overcome without at least some trusted bilingual data. This work expands on a cheap and abundant resource to combat this problem: bilingual lexica. We test the efficacy of bilingual lexica in a real-world set-up, on 200-language translation models trained on web-crawled text. We present several findings: (1) using lexical data augmentation, we demonstrate sizable performance gains for unsupervised translation; (2) we compare several families of data augmentation, demonstrating that they yield similar improvements, and can be combined for even greater improvements; (3) we demonstrate the importance of carefully curated lexica over larger, noisier ones, especially with larger models; and (4) we compare the efficacy of multilingual lexicon data versus human-translated parallel data. Based on results from (3), we develop and open-source GATITOS, a high-quality, curated dataset in 168 tail languages, one of the first human-translated resources to cover many of these languages."
}