2019年4月および7月に、深層学習に基づく言語モデル（LM）はそれぞれSQuAD 1.1およびGLUEベンチマークにおけるゴールドスタンダード（人間ベースライン）を上回った。2022年時点で、SuperGLUEベンチマークの上位5つのLMはすべてゴールドスタンダードを上回っている。一般知識を持つ人間ですら、医学や人工知能といった専門分野の問題を解くことには困難を伴う。人間が学士、修士、博士課程を通じて専門知識を習得するように、LMに対しても、分野特化知識を理解する能力を育成するプロセスが必要となる。本研究では、科学技術分野に特化した事前学習済み言語モデル（PLM）として、SciDeBERTaおよびSciDeBERTa(CS)を提案する。一般的なコーパスで事前学習されたDeBERTaを、科学技術分野のコーパスでさらに事前学習することで、専門分野に特化したモデルを構築した。実験により、SciDeBERTa(CS)がコンピュータサイエンス分野で継続的に事前学習された結果、SciERCデータセットにおけるエンティティ名認識タスクにおいて、既存の科学技術分野専用PLMであるSciBERTおよびS2ORC-SciBERTと比較して、それぞれ3.53%および2.17%高い精度を達成した。また、SciERCデータセットのJREタスクでは、ベースラインのSCIIEと比較して6.7%高い性能を示した。Geniaデータセットにおいても、SciDeBERTaはS2ORC-SciBERT、SciBERT、BERT、DeBERTaおよびSciDeBERTa(CS)と比較して最高の性能を発揮した。さらに、微調整（fine-tuning）の過程において、再初期化技術およびAdam以降の最適化手法の有効性を検証し、PLMの言語理解能力について考察した。