Reiner Python-Compiler ersetzt LLM-Wikis
Entwickler haben ein deterministisches Wiki-Kompilierungssystem veröffentlicht, das auf LLM-basierten Agenten-Pipelines verzichtet. Das Tool ersetzt teure Token-Nutzung und nicht reproduzierbare Ergebnisse durch einen reinen Python-Compiler, der ausschließlich auf der Standardbibliothek basiert. Ausgeht wird von der Erkenntnis, dass die Strukturierung lokaler Markdown-Notizen ein mechanisches Parsing-Problem und kein synthetisches reasoning-Problem darstellt. Der ursprünglich von Andrej Karpathy popularisierte Ansatz, LLMs zur Wissensorganisation zu nutzen, wird hier als überdimensioniert kritisiert, da er Latenz, Kosten und nicht deterministische Ausgabestrukturen mit sich bringt. Der vorgestellte Pipeline-Architektur umfasst vier klar getrennte Phasen. Zunächst extrahiert ein Regex-basierter Parser Metadaten und Titel aus unstrukturierten Quelldateien. Anschließend erstellt ein Graph-Builder eine Verlinkungsstruktur. Hier wurde eine initiale quadratische Komplexität durch einen wörtlichen Index-Matcher ersetzt, wodurch die Verarbeitung von tausenden Dateien um Größenordnungen beschleunigt wird. Eine abschnittsorientierte Neubearbeitung sorgt dafür, dass manuell verfasste Notizen bei jedem Durchlauf erhalten bleiben, während maschinengenerierte Bereiche automatisch aktualisiert werden. Ein integrierter Linter überprüft abschließend auf defekte Verweise und isoliert nicht referenzierte Seiten. Bei der Entwicklung traten zwei wesentliche Fehler zutage: eine ineffiziente Skalierung im Graph-Builder und ein Linter-Defekt, der eingehende Verweise fälschlicherweise als ausgehende zählte und somit verwaiste Seiten nicht erkannte. Beide Probleme wurden durch gezielte Algorithmus-Optimierungen und eine Regressionstest-Suite mit 17 Einzelfallszenarien behoben. Umfassende Benchmarks auf Linux- und Windows-Umgebungen bestätigen die Determiniertheit des Systems. Bei fünftausend Dokumenten beträgt die Gesamtrekompilierzeit auf Standard-Hardware etwa zwölf Sekunden. Die Linting-Phase zeigt sich als Flaschenhals, primär bedingt durch Betriebssystem-bedingte Platten-E/A und Hintergrundscandienste, nicht durch algorithmische Ineffizienz. Die Ausgaben sind über verschiedene Plattformen hinweg byteidentisch, während die Laufzeiten rein hardwareabhängig variieren. Das vollständige Repository, inklusive aller Benchmarks und Tests, ist öffentlich verfügbar. Trotz der technischen Effizienz weist das System klare architektonische Grenzen auf. Die Verlinkung basiert ausschließlich auf exakten Namenmatchings und erfasst keine semantischen Zusammenhänge. Zudem scheitert der Regex-Parser an stark chaotischen oder mehrsprachigen Textstrukturen ohne erkennbare Metadaten. Der Ansatz unterstreicht eine grundsätzliche These der lokalen Wissensverwaltung: Deterministische Eingabedaten erfordern deterministische Verarbeitungspfade. LLMs bleiben dabei für kontextuelle Verstehensprozesse geeignet, während mechanische Organisation durch leichte, dependency-freie Compiler-Architekturen effizienter und kostengünstiger abgebildet wird.
