Wir betrachten die Unsicherheit eines Agenten über seine Umgebung und das Problem der Verallgemeinerung dieser Unsicherheit auf Beobachtungen. Insbesondere konzentrieren wir uns auf das Problem der Exploration im nicht-tabellarischen Reinforcement Learning. Inspiriert von der Literatur zur intrinsischen Motivation verwenden wir Dichtemodellierungen, um Unsicherheit zu messen, und schlagen einen neuen Algorithmus vor, um aus einem beliebigen Dichtemodell einen Pseudo-Zähler abzuleiten. Diese Technik ermöglicht es uns, zählbasierte Explorationsalgorithmen auf den nicht-tabellarischen Fall zu verallgemeinern. Wir wenden unsere Ideen auf Atari 2600-Spiele an und berechnen sinnvolle Pseudo-Zähler aus rohen Pixeln. Wir transformieren diese Pseudo-Zähler in intrinsische Belohnungen und erzielen erheblich verbesserte Exploration in mehreren schwierigen Spielen, darunter dem berüchtigt schweren Montezuma's Revenge (蒙特祖玛的复仇). 请注意，"Montezuma's Revenge" 在德语中通常直接使用英文名称，因此这里没有翻译成中文。如果需要进一步调整，请告知。