近期，基于视觉的多目标跟踪（MOT）趋势正朝着利用深度学习的表征能力来联合学习检测和跟踪目标的方向发展。然而，现有的方法仅使用与已建立的跟踪评估指标（如多目标跟踪精度（MOTA）和多目标跟踪精确度（MOTP））往往不相关的损失函数来训练某些子模块。由于这些评估指标不具备可微性，因此为多目标跟踪方法的端到端训练选择合适的损失函数仍然是一个开放的研究问题。在本文中，我们通过提出MOTA和MOTP的可微代理指标来弥合这一差距，并将其结合在一个适用于深度多目标跟踪器端到端训练的损失函数中。作为关键组成部分，我们提出了一种深度匈牙利网络（Deep Hungarian Net, DHN）模块，该模块近似实现了匈牙利匹配算法。DHN使得可以估计目标轨迹与真实目标之间的对应关系，从而计算出MOTA和MOTP的可微代理指标，进而直接优化深度跟踪器。实验结果表明，所提出的可微框架提高了现有多目标跟踪器的性能，并在MOTChallenge基准测试中建立了新的最先进水平。我们的代码已公开发布于https://github.com/yihongXU/deepMOT。