명명된 실체 인식(Named Entity Recognition, NER)은 일반적으로 각 입력이 텍스트 한 문장으로 구성되는 시퀀스 분류 문제로 다뤄진다. 그러나 이 작업에 유용한 정보는 종종 단일 문장의 맥락을 벗어난 곳에서 발견될 수 있다는 점은 명확하다. 최근 제안된 자기주의(self-attention) 모델인 BERT와 같은 모델들은 입력 내에서 장거리 관계를 효율적으로 포착할 뿐만 아니라 여러 문장으로 구성된 입력도 효과적으로 표현할 수 있어, 자연어 처리 작업에서 교차 문장 정보를 통합하는 접근법에 새로운 기회를 제공하고 있다. 본 논문에서는 다섯 가지 언어에서 BERT 모델을 활용하여 교차 문장 정보를 NER에 어떻게 활용할 수 있는지 체계적으로 탐구한다. 실험 결과, BERT 입력에 추가 문장을 포함시켜 맥락을 확장함으로써 테스트한 모든 언어와 모델에서 NER 성능이 체계적으로 향상됨을 확인하였다. 또한 각 입력에 여러 문장을 포함함으로써 동일한 문장이 서로 다른 맥락에서 어떻게 예측되는지 분석할 수 있었다. 이를 바탕으로, 문장에 대한 다양한 예측을 결합하기 위한 간단한 방법인 맥락 기반 다수결 투표(Contextual Majority Voting, CMV)를 제안하고, 이 방법이 BERT 기반 NER 성능을 추가로 향상시킬 수 있음을 실험적으로 입증하였다. 본 접근법은 기존 BERT 아키텍처에 어떠한 변경도 필요로 하지 않으며, 오히려 학습 및 예측을 위한 예시의 재구성에 의존한다. CoNLL'02 및 CoNLL'03 NER 벤치마크를 포함한 기존 데이터셋에 대한 평가 결과, 제안하는 방법은 영어, 네덜란드어, 핀란드어에서 기존 최고 성능을 초월하며, 독일어에서는 보고된 바 있는 가장 우수한 BERT 기반 결과를 달성하였고, 스페인어에서는 다른 BERT 기반 접근법과 비슷한 성능을 보였다. 본 연구에서 구현한 모든 방법은 오픈 라이선스 하에 공개한다.