近年、自然言語処理（NLP）分野では、幅広いタスクに事前学習済み言語モデル（Pretrained Language Models; PLM）を活用するパラダイムの転換が見られている。しかし、タグ付きテキストや共参照チェインなど、構造化された情報をPLMが捉えられる形で表現するためには、多くの難しい設計上の選択が必要となる。従来のPLMを用いた構造予測のアプローチは、通常、構造化出力を単一のシーケンスに平坦化（flattening）する手法を採用しているが、これにより構造情報の質が制限され、古典的な判別モデルに比べて性能が劣ることが多い。本研究では、PLMを自己回帰的に用いて構造を「操作のシーケンス」としてモデル化するアプローチを提案する。この方法により、構造内での依存関係を損失なく学習可能となる。実験の結果、命名エンティティ認識、エンドツーエンド関係抽出、共参照解決という、検討したすべての構造予測タスクにおいて、新たな最先端（state-of-the-art）性能を達成した。