本文提出FG-Net，一种无需体素化（voxelization）的通用深度学习框架，用于大规模点云的理解任务，仅需单张NVIDIA GTX 1080 GPU即可实现高精度且实时的性能。首先，设计了一种新颖的噪声与离群点过滤方法，以有效支持后续的高级任务。为实现高效理解，本文提出一种深度卷积神经网络，结合相关特征挖掘与基于可变形卷积的几何感知建模机制，充分挖掘局部特征间的关系及几何模式。针对计算效率问题，提出了逆密度采样操作与基于特征金字塔的残差学习策略，分别有效降低计算开销与内存消耗。在多个真实世界挑战性数据集上的大量实验表明，所提方法在准确率与效率方面均优于现有最先进方法。此外，还开展了弱监督迁移学习实验，进一步验证了该方法良好的泛化能力。