Sprachmodelle, die auf biomedizinischen Korpora vortrainiert wurden, wie beispielsweise BioBERT, haben in letzter Zeit vielversprechende Ergebnisse bei nachgeschalteten biomedizinischen Aufgaben gezeigt. Viele bestehende vortrainierte Modelle sind hingegen ressourcenintensiv und rechenzeitlich aufwändig, was auf Faktoren wie Embedding-Größe, versteckte Dimension und Anzahl der Schichten zurückzuführen ist. Die Gemeinschaft des Natural Language Processing (NLP) hat zahlreiche Strategien zur Kompression solcher Modelle entwickelt, wobei Techniken wie Pruning, Quantisierung und Knowledge Distillation eingesetzt werden, was zu Modellen führt, die erheblich schneller, kleiner und damit praktisch einfacher einsetzbar sind. In ähnlicher Weise stellen wir in diesem Artikel sechs leichte Modelle vor: BioDistilBERT, BioTinyBERT, BioMobileBERT, DistilBioBERT, TinyBioBERT und CompactBioBERT. Diese wurden entweder durch Knowledge Distillation aus einem biomedizinischen Lehrmodell oder durch kontinuierliches Lernen auf dem Pubmed-Datensatz mittels des Masked Language Modelling (MLM)-Ziels gewonnen. Wir evaluieren alle unsere Modelle anhand dreier biomedizinischer Aufgaben und vergleichen sie mit BioBERT-v1.1, um effiziente, leichte Modelle zu entwickeln, die die Leistung ihrer größeren Pendants erreichen. Alle Modelle werden öffentlich auf unserem Huggingface-Profil unter https://huggingface.co/nlpie verfügbar sein, und der Quellcode zur Durchführung der Experimente steht unter https://github.com/nlpie-research/Compact-Biomedical-Transformers zur Verfügung.