Der Einfluss von Design-Entscheidungen auf die Leistungsfähigkeit biomedizinischer Sprachmodelle ist in letzter Zeit Gegenstand intensiver Untersuchungen. In diesem Beitrag untersuchen wir empirisch die Anpassung an den biomedizinischen Domänenbereich mit großen Transformer-Modellen unter Verwendung verschiedener Designansätze. Wir bewerten die Leistung unserer vortrainierten Modelle im Vergleich zu anderen etablierten biomedizinischen Sprachmodellen aus der Literatur. Unsere Ergebnisse zeigen, dass wir trotz ähnlicher oder geringerer Rechenkosten im Vergleich zu anderen Modellen in der Literatur state-of-the-art-Ergebnisse auf mehreren biomedizinischen Aufgaben erzielen. Unsere Befunde unterstreichen die entscheidende Rolle von Design-Entscheidungen bei der Verbesserung der Leistungsfähigkeit biomedizinischer Sprachmodelle.