通常情况下，直接语音到文本的翻译（Speech-to-Text Translation, ST）任务与自动语音识别（Automatic Speech Recognition, ASR）及机器翻译（Machine Translation, MT）任务采用联合训练的方式。然而，当前的联合学习策略在任务间知识迁移方面存在局限。为此，我们提出一种任务调制网络（task modulation network），该网络使模型能够在学习共享特征的同时，有效捕捉各任务特有的特征。该方法无需额外的微调步骤，从而实现一个统一的端到端模型，可同时完成ST、ASR与MT三项任务。该单一模型在ST任务的MuST-C英语-德语数据集上取得了28.64的BLEU得分，在ASR任务的TEDLium v3数据集上达到11.61%的词错误率（WER），在MT任务的WMT’15英语-德语数据集上获得23.35的BLEU得分。该成果在ST任务上刷新了当前最优性能（State-of-the-Art, SOTA），同时显著优于现有的端到端ASR系统。