HyperAIHyperAI

Command Palette

Search for a command to run...

BioFLAIR: 生物医学シーケンスラベリングタスクのための事前学習済みプーリングコンテキスト埋め込み

Shreyas Sharma; Ron Daniel Jr

概要

バイオメディカルな名詞認識(NER)は、文脈外の用語の広範な曖昧さと豊富な語彙変異のために、バイオメディカル情報処理における難問となっています。BERT、GPT、XLNetなどの進歩により、bioNERベンチマークでの性能は引き続き向上しています。FLAIR (1) は、前述のモデルに比べて計算負荷が少ない代替的な埋め込みモデルです。私たちはFLAIRとその事前学習済みのPubMed埋め込み(これをBioFLAIRと呼ぶ)を様々なbio NERタスクでテストし、それらをBERT型ネットワークの結果と比較しました。また、PubMedコンテンツに対する少量の追加事前学習の効果や、FLAIRとELMOモデルの組み合わせについても調査しました。結果として、提供された埋め込みを使用した場合、FLAIRはBERTネットワークと同等の性能を示し、あるベンチマークでは新たな最先端の成果を達成しました。追加的事前学習は明確な利点をもたらさなかったものの、より多くの事前学習が行われれば状況が変わる可能性があります。FLAIR埋め込みを他の埋め込みと組み合わせることで、通常はベンチマーク結果に改善が見られました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています