稀疏矩阵分解是一种广泛使用的工具，用于获得可解释的数据分解，同时也有效地进行数据补全或去噪。为了提高其在大规模数据集上的适用性，已经提出了在线和随机化方法来降低其中一个矩阵维度的复杂度，但尚未同时降低两个维度的复杂度。本文中，我们解决了在两个维度上都非常大的矩阵问题。我们提出了一种新的分解方法，该方法能够优雅地扩展到太字节规模的数据集，而这些数据集以前的算法无法在合理的时间内处理。我们在大规模的功能磁共振成像（fMRI）数据和推荐系统中的矩阵补全问题上验证了我们的方法的有效性，在这些应用中，我们的方法相比最先进的坐标下降法获得了显著的速度提升。