コントラスティブ自己監督学習は、大量の未ラベルデータセットから高品質な表現を生成する能力により注目を集めています。これらの強力な特徴が下流タスクのデータ効率的な学習を可能にする主な理由は、増幅不変性（augmentation invariance）を提供することにあります。これはしばしば有用な帰納的バイアスとなります。しかし、好ましい不変性の量と種類は事前に知ることができず、異なる下流タスクによって異なります。したがって、我々はパラメータ効率的に変動特性と不変特性の両方を学習するマルチタスク自己監督フレームワーク（MT-SLVR）を提案します。我々のマルチタスク表現は、強力かつ柔軟な特徴を提供し、多様な下流タスクに利益をもたらします。我々はさまざまな音響ドメインからの少ショット分類タスクで当手法を評価し、すべてのタスクにおいて分類性能の向上を示しました。