신경망 기반 표현("임베딩")은 자연어 처리(NLP) 작업, 특히 임상 NLP 작업(예: 개념 추출)에서 크게 발전시켰습니다. 그러나 최근에는 더 고급화된 임베딩 방법과 표현(예: ELMo, BERT)이 NLP의 최신 기술을 한 단계 더 발전시켰음에도 불구하고, 이러한 표현을 임상 작업에 통합하는 데 대한 공통적인 최선의 방법론은 아직 없습니다. 따라서 본 연구의 목적은 이러한 새로운 모델을 임상 개념 추출에 활용하기 위한 가능한 옵션들을 탐색하고, 전통적인 단어 임베딩 방법(word2vec, GloVe, fastText)와 비교하는 것입니다. 오프더shelf 오픈 도메인 임베딩과 MIMIC-III에서 사전 학습된 임상 임베딩 모두 평가되었습니다. 우리는 전통적인 단어 임베딩과 문맥적 임베딩으로 구성된 다양한 임베딩 방법을 탐구하고, 이를 i2b2 2010, i2b2 2012, SemEval 2014, 그리고 SemEval 2015의 네 가지 개념 추출 코퍼스에서 비교합니다. 또한 ELMo나 BERT와 같은 대형 언어 모델의 사전 학습 시간이 추출 성능에 미치는 영향을 분석합니다. 마지막으로, 문맥적 임베딩이 인코딩한 의미 정보를 직관적으로 이해할 수 있는 방법을 제시합니다. 대규모 임상 코퍼스에서 사전 학습된 문맥적 임베딩은 모든 개념 추출 작업에서 새로운 최신 성능을 달성하였습니다. 가장 우수한 성능을 보인 모델은 각각 F1 점수가 90.25, 93.18(부분), 80.74, 81.65로 모든 최신 방법론을 능가하였습니다. 우리는 문맥적 임베딩이 임상 개념 추출 작업에서 달성한 최신 성능을 통해 이 방법론들의 가능성을 입증하였습니다. 또한 전통적인 단어 표현에서는 고려되지 않았던 가치있는 의미 정보를 문맥적 임베딩이 인코딩한다는 것을 보여주었습니다.