실시간이고 고성능의 3D 객체 탐지는 자율주행 시스템에 있어 핵심적인 요소이다. 최근 최고의 성능을 보이는 3D 객체 탐지기들은 주로 점 기반(point-based) 또는 3D 복셀 기반(voxel-based) 컨볼루션에 의존하고 있으나, 이들은 온보드 배포에 있어 계산 효율성이 낮다는 한계가 있다. 반면, 피라미드 기반(pillar-based) 방법은 오직 2D 컨볼루션만을 사용하여 계산 자원을 절약할 수 있지만, 복셀 기반 방법에 비해 탐지 정확도에서 크게 뒤떨어진다. 본 논문에서는 피라미드 기반과 복셀 기반 탐지기 간의 주요 성능 격차를 분석함으로써, 실시간성과 고성능을 동시에 달성하는 피라미드 기반 탐지기인 PillarNet을 제안한다. 제안된 PillarNet은 효과적인 피라미드 특징 학습을 위한 강력한 인코더 네트워크, 공간-세멘틱 특징 융합을 위한 네크 네트워크, 그리고 일반적으로 사용되는 디텍션 헤드로 구성되어 있다. 오직 2D 컨볼루션만을 사용함으로써 PillarNet은 선택적 피라미드 크기를 유연하게 지원할 수 있으며, VGGNet과 ResNet과 같은 전통적인 2D CNN 백본과도 호환된다. 또한, 본 연구에서 설계한 방향성 분리형 IoU 회귀 손실 함수와 IoU 인식 예측 브랜치를 통해 추가적인 성능 향상을 달성하였다. 대규모 nuScenes 데이터셋과 Waymo Open Dataset에서 수행된 광범위한 실험 결과를 통해, 제안된 PillarNet이 기존 최고 수준의 3D 객체 탐지기들에 비해 효율성과 효과성 측면에서 뛰어난 성능을 보임을 입증하였다. 코드는 \url{https://github.com/agent-sgs/PillarNet}에서 공개되어 있다.