Reinforcement Learning (RL) hat in den letzten Jahren erhebliche Fortschritte gemacht. Ein entscheidender Schritt vorwärts war die breite Anwendung von neuronalen Netzwerken. Allerdings werden die Architekturen dieser neuronalen Netzwerke typischerweise manuell konstruiert. In dieser Arbeit untersuchen wir kürzlich vorgeschlagene Methoden des Neural Architecture Search (NAS) zur Optimierung der Architektur von RL-Agenten. Wir führen Experimente auf der Atari-Benchmark durch und kommen zu dem Schluss, dass moderne NAS-Methoden Architekturen für RL-Agenten finden, die eine manuell ausgewählte Architektur übertrifft.