大型神经网络在大规模数据集上训练，已经显著提升了多种具有挑战性问题的最先进水平，性能得到了大幅提高。然而，在内存有限和计算能力受限的情况下，这些模型在同一问题上的准确性会显著下降。本文提出了一系列技术，显著提高了二值化神经网络（即特征和权重均为二进制的网络）的准确性。我们对所提出的改进方法进行了评估，涉及两个不同的任务：细粒度识别（人体姿态估计）和大规模图像识别（ImageNet分类）。具体而言，我们引入了一系列创新的方法论变化，包括：(a) 更合适的激活函数，(b) 反向初始化，(c) 逐步量化，以及 (d) 网络堆叠，并展示了这些改进措施能够显著提升现有的最先进二值化网络技术。此外，我们首次研究了网络二值化与知识蒸馏结合的程度。在具有挑战性的MPII数据集上进行测试时，我们的方法在绝对性能上提升了超过4%。最后，我们通过将所提出的改进技术应用于ImageNet数据集的大规模物体识别任务中进一步验证了我们的发现，在该数据集上报告了错误率降低了4%。