我々は、歴史的文書のドキュメントレイアウトを分析するための高品質かつドメイン特化型のデータセットという新しい研究リソースを紹介する。このデータセットは、歴史的レイアウト構造に基づき、19のカテゴリに分類されたインスタンスセグメンテーションの教師データ（ground truth）を提供している。これらのレイアウト構造は、(a) 出版プロセスおよびジャンル（生命科学、建築、美術、装飾芸術など）に由来し、(b) 特定のテキスト形式（単行本、専門雑誌、図版付き雑誌など）に由来する。全体として、このデータセットには専門家によるアノテーションが施された52,000件以上のインスタンスが含まれている。ベースラインとして、広く知られたMask R-CNNを用いて評価を行い、最先端モデルであるVSRと比較した。自然言語処理（NLP）分野の評価手法を参考に、アノテーションの一貫性を評価するための新しい手法を開発した。本手法は、複数のアノテーター間の一貫性を定量的に評価するための統計量であるKrippendorff’s alpha（K-α）に基づいている。特に、アノテーションをマルチパーティットグラフ（multipartite graph）として扱うK-αの改良版を提案し、アノテーター数が可変である場合の合意度を評価可能にした。本手法は評価の厳格さを調整可能であり、2次元または3次元の設定、また意味セグメンテーション、インスタンスセグメンテーション、3次元ポイントクラウドセグメンテーションなど、多様なタスクに応用可能である。