双目立体图像的视差估计在多个领域中有着广泛的应用。传统的算法在无特征区域可能会失效，而这些区域可以通过高层次线索如语义分割来处理。本文提出，适当融入语义线索可以显著改善常用视差估计框架中的预测效果。我们的方法通过进行语义特征嵌入，并将语义线索作为损失项进行正则化，以提高学习视差的能力。我们提出的统一模型SegStereo利用了来自分割的语义特征，并引入了语义softmax损失（semantic softmax loss），这有助于提高视差图的预测精度。语义线索在无监督和有监督的情况下均表现出色。SegStereo在KITTI立体基准测试中取得了最先进的结果，并在CityScapes和FlyingThings3D数据集上也产生了良好的预测效果。