我々は、化学分類タスク向けにelEmBERTモデルを提案する。このモデルは、マルチレイヤーエンコーダー構造を含む深層学習技術に基づいている。有機化合物、無機化合物および結晶性化合物のデータセットを対象に、本アプローチが提供する可能性を示す。特に、結晶物性およびドラッグデザイン関連のベンチマークを含むMatbenchおよびMoleculenetベンチマークを用いて、モデルの開発と検証を行った。また、化学化合物のベクトル表現の分析を通じて、構造データに内在するパターンについての洞察を得た。本モデルは優れた予測性能を示し、分子データおよび材料データの両方に普遍的に適用可能であることが実証された。たとえば、Tox21データセットにおいて平均精度96％を達成し、従来の最良結果を10％上回った。