配对交易是统计套利策略中最有效的方法之一，通过选择一对资产进行对冲以实现中性收益。现有的方法通常将这一任务分解为两个独立的步骤：配对选择和交易。然而，将这两个紧密相关的子任务分离会导致信息传播受阻，从而限制整体性能。在配对选择方面，忽略交易表现可能会导致选中的资产价格走势无关，而用于交易的代理模型则可能过度拟合到选定的资产上，而没有其他资产的历史信息。为了解决这一问题，本文提出了一种自动配对交易的新范式，将其作为一个统一的任务而非两步流程来处理。我们设计了一个分层强化学习框架，联合学习和优化这两个子任务。高级策略将从所有可能的组合中选择两个资产，低级策略则执行一系列交易操作。基于真实股票数据的实验结果表明，我们的方法在配对交易方面比现有的配对选择和交易方法更为有效。