自引入能够处理点云数据中点顺序模糊性的卷积神经网络以来，基于3D数据的深度学习取得了显著进展。尽管在各种场景理解任务中能够达到良好的准确性，但以往的方法通常训练速度较低且网络架构复杂。本文通过提出一种高效的端到端置换不变卷积（ShellConv）来解决这些问题。我们的简单而有效的卷积算子ShellConv利用同心球壳的统计信息定义代表性特征并解决点顺序模糊性问题，从而使传统卷积能够在这些特征上进行操作。基于ShellConv，我们进一步构建了一个高效的神经网络ShellNet，该网络可以直接处理具有更大感受野的点云数据，同时保持较少的层数。我们在物体分类、物体部件分割和语义场景分割任务上展示了ShellNet的有效性，取得了最先进的结果，同时保持了非常快的训练速度。