近年来，从网络数据中学习引起了大量研究兴趣。然而，爬取的网络图像通常包含两种噪声：标签噪声和背景噪声，这给有效利用这些图像带来了额外的困难。现有的大多数方法要么依赖人工监督，要么忽略背景噪声。在本文中，我们提出了一种新颖的方法，该方法能够在训练阶段无需干净图像的监督下同时处理这两种噪声。具体而言，我们将该方法构建在多实例学习框架下，通过将同一类别的感兴趣区域（即图像及其区域建议）分组为包来实现。每个包中的感兴趣区域根据其最近聚类的代表性/区分性得分被赋予不同的权重，其中聚类及其得分是通过我们设计的记忆模块获得的。我们的记忆模块可以自然地与分类模块集成，从而形成一个端到端可训练的系统。我们在四个基准数据集上进行了广泛的实验，结果证明了我们方法的有效性。