様々な深層学習手法がWi-Fiセンシングに開発されましたが、パケットロスによりチャネル状態情報（Channel State Information: CSI）の非連続的な推定が生じることが多く、これによって学習モデルの性能が悪影響を受けることがあります。この課題を克服するために、トランスフォーマーに基づく双方向エンコーダ表現（Bidirectional Encoder Representations from Transformers: BERT）を利用したCSI回復のための深層学習モデル、CSI-BERTを提案します。CSI-BERTは、追加データを必要とせずに目標データセット上で自己監督学習で訓練することができます。さらに、従来の補間手法が一度に1つのサブキャリアに焦点を当てるのに対し、CSI-BERTは異なるサブキャリア間の時系列関係を捉えることができます。実験結果は、高いロス率に対しても従来の補間手法よりも低い誤差率と高速な処理速度を達成することを示しています。また、CSI-BERTから得られた回復したCSIを利用して、Residual NetworkやRecurrent Neural Networkなどの他の深層学習モデルはWi-Fiセンシングタスクにおいて平均して約15%の精度向上を達成できます。我々が収集したデータセットWiGestureとモデルコードは、https://github.com/RS2002/CSI-BERT で公開されています。