243. Newsletter - sicherheitskultur.at - 06. Juni 2026
von Philipp Schaumann
Letzte Ergänzungen 11.06.2026
Themen-Überblick aller Newsletter
Hier die aktuellen Meldungen:
1. AI Sprachsysteme und das Wissen der Menschheit
Der Philosoph Tim Crane setzt sich in ↑(opens in a new tab)Warum Wissen wichtig ist mit dem Problem auseinander, dass mehr und mehr die AI-Chatbots (OpenAI oder Gemini) zu einer "Quelle des Wissens" stilisiert werden, zB wenn in der Google Suche automatisch die "AI-Zusammenfassung" präsentiert wird.
Wie aber Crane und viele Kritiker der Sprachsysteme (=LLM, Large Language Models) betonen, verinnerlichen die Sprachsysteme (im sog. 'Training') mit Hilfe der Trainingsdaten des Internets ja nicht nur Fakten (zB aus der Wikipedia, die mittlerweile ziemlich korrekte Antworten liefert), sondern auch den ganzen Blödsinn und Unsinn aus den Tiefen des Internets, die Verschwörungstheorien, die Lügen, die Hetze und auch die Nicht-Fakten der Literatur (zB Verweis auf zu viel Training mit ↑(opens in a new tab)Science Fiction als Entschuldigung für Fehler und unethisches Verhalten - mE eine ganz schwache Ausrede. Kirchen fordern daher mehr ihrer jeweiligen religiösen Texte in den Trainingsdaten. Anthropic steht wohl im ↑(opens in a new tab)Kontakt mit christlichen, jüdischen, hinduistischen, mormonischen, griechisch-orthodoxen und Sikh-Repräsentatenten - der Islam scheint zu fehlen. Bei den religiösen Trainingsdaten soll es um die „spirituelle Entwicklung“ von Claude gehen, damit Vorfälle wie Erpressungsversuche durch Chatbots und AI-Agenten nicht mehr vorkommen - bizarr).
"Wissen" ist per Definition "wahr" und korrekt. Ob eine Behauptung "wahr" ist, wird mit Hilfe von bewährten, allgemein akzeptierten Wissenschaftsregeln beurteilt. Behauptungen sind kein Wissen, solange nicht eine wissenschaftliche Bewertung statt gefunden und zu einem positiven Ergebnis geführt hat. Es gibt keine "alternativen Fakten", es gibt 'verschrobene Ansichten'. Unterschiedliche Sichtweisen sind legitim, aber das sind keine Fakten und kein Wissen. Unterschiedliche Sichtweisen sollten von den Sprachsystemen als solche dargestellt werden.
Alle LLM-Anbieter warnen (aus rechtlichem Selbstschutz) in ihren Nutzungsbedingungen, dass LLMs Fehler machen (dh Aussagen als Fakten darstellen, die aber falsch sind). Trotzdem präsentieren Suchmaschinen ihre Antworten als 'Fakten'. Crane betont, dass die LLMs auch gar nicht dafür gebaut sind, Fakten zu reproduzieren, sondern um in grammatikalisch korrekten Sätzen auf einen Prompt zu reagieren und als Antwort Sätze zu erzeugen, die zu dem Prompt passen. Korrektheit der Fakten ist nicht das primäre Trainingsziel, das sog. Hallunizieren wird erst in einem nachfolgenden Schritt versucht, zu reduzieren.
Beispiele für solche Fehler, egal ob wir sie Halluzinationen nennen oder nicht, bringe ich in den Newslettern reichlich (als Warnung und aus 'Schadenfreude' 😆). Hier gibt es zB mehr Details zu Halluzinationen, zB das fehlende Weltmodell, AI-Halluzinationen scheinen unvermeidbar zu sein, gefährlich sind sie in der Medizin, an anderen Stellen eher lustig.
Einschub Halluzinationen:
Der Artikel ↑(opens in a new tab)Wie Gödel und Turing die Grenzen von KI vorgezeichnet haben berichtet, dass AI-Halluzinationen kein Engineering-Problem sind: Sie entstehen durch mathematische Gesetze, die seit den 1930er-Jahren von Kurt Gödel und Alan Turing bewiesen wurden. 2 mathematische Veröffentlichungen nach unterschiedlichen Methoden hätten gezeigt, dass bereits auf Grundlage der von Gödel und Turing aufgezeigten mathematischen Limitierungen Halluzinationen nie zu 100% verhinderbar sein können.
Die derzeit eingesetzten Spitzenmodelle nutzen (fast) reines ↑(opens in a new tab)Scaling [wiki]. Die Idee der Scaling-Verfechter ist, dass, wenn mal genug Texte gespeichert sind und die neuronalen Netze immer mehr vergrößert werden, irgendwann ein Kippen von Quantität in Qualität passiert. So wie irgendwann bei einem Baby/Kleinkind aus der Sammlung von Beobachtungen, die das Baby kontinuierlich aufnimmt, irgendwann ein "Verständnis der Welt" entsteht.
Die prominenten Firmenvertreter der Sprachsystem-Anbieter glauben angeblich noch ganz fest daran. Dieser Schritt wird von LLM-Entwicklern als 'Schritt zur AGI' erhofft (AGI=Artificial General Intelligenz, das System ist bei allen mentalen Aufgabenstellungen so gut wie (oder besser als) ein Mensch). Brad DeLong fasst die Kritik am Scaling-Konzept ausführlich zusammen: ↑(opens in a new tab)"Agentic AI" Is a Bonfire of the Tokens While Fab Capacity, Power Grids, and P&Ls Are the brakes. Im nächsten Abschnitt bringe ich eine ausführliche Diskussion, wie gigantisch groß die Komplexitätsunterschiede Gehirn zu künstlichem neuronalen Netz wirklich sind.
Zurück zum ursprünglichen Artikel: Crane fragt sich, ob ein Weltmodell in den LLMs eine Lösung sein kann, aber er klingt letztendlich skeptisch, die Systeme sind lediglich Generatoren für vernünftig klingende Sätze, nicht Faktenchecker wie die Autoren der Wikipedia. Denn selbst wenn LLMs sich auf die Fakten der Wikipedia stützen, so fehlt ihnen doch ein grundlegendes Konzept von Wissen, Fakten und Wahrheit. Ich bezeifele, dass ergänzende Weltmodelle dieses Konzept für Fakten ausreichend liefern können.
Die LLM Sprachsysteme haben zwar (fast) die gesamten schriftlich dokumentierten Texte der Menschheit verinnerlicht (in der sehr abstrakten Form einer gigantisch großen ↑(opens in a new tab)Matrixmultiplikation [wiki] in den künstlichen neuronalen Netzen). Diese Wissensrepräsentanz ist aber so abstrakt, dass selbst die Entwickler nicht sagen können, welchen Einfluss jede einzelne der Zahlen in den riesigen Matrizen hat. Das ist sicher keine abrufbare Wissensrepräsentation.
Thema Superintelligenz
Ich habe mittlerweile erhebliche Zweifel (das heißt, ich bin im Interesse einer Zukunft der Menschheit beruhigt), dass irgendeine der derzeitigen AI-Entwicklungen jemals in Richtung einer künstlichen ↑(opens in a new tab)Super-Intelligence [wiki] (=ASI) führen wird, wie ich sie zB in Müssen wir Angst haben vor der Machtübernahme durch eine Artificial Intelligence? problematisiere. Eine solche übermenschliche Super-Intelligenz wäre nicht nur auf auf Spezialgebieten, wie zB Schach, Go, der Proteinfaltung und ähnlichem, allen Menschen ganz weit überlegen, sondern in allem, dh auch allen Wissenschaften und Technologien. Wenn es so etwas gäbe, so könnte dieses System natürlich auch sein eigenes Nachfolgesystem konzipieren, und das könnte dann besser sein als alles, was Menschen erschaffen können.
Diese Idee, dass die ständige Verbesserung von AI-Systemen (ohne Unterstützung menschlicher Entwickler) irgendwann einmal zu einem Selbstläufer werden könnte, firmiert unter ↑(opens in a new tab)Recursive self-improvement [wiki], bzw. unter ↑(opens in a new tab)Seed AI [wiki]. Das mag zwar irgendwann möglich sein, aber nur wenige Experten glauben, dass dieser Effekt in absehbarer Zeit eintreten könnte.
Auch wenn ich alle derzeitigen Sprachmodell-Aktivitäten für eine Sackgasse halte, so halte ich aber auch eine Reihe der Risiken, die auf meiner philipps-welt-Seite beschrieben werden, kurz- oder mittelfristig sehr wohl für relevant. Und ich bin, was die Zukunft der Menschheit betrifft, sehr beunruhigt über die Kontrolle dieser Systeme durch die US-Tech-Oligarchen (und ihre Brüder in China, wo gerade das große Überwachungssystem Social Credit System, nun mit AI-Fähigkeiten wie verbesserter Suche nach einzelen Personen und Verhaltensvorhersage ergänzt wird).
Die EU hat zwar mit DMA und DSA gute Regulierungsansätze, aber die Durchsetzung gegenüber den US-Konzernen wird (auch mit Hilfe der US-Regierung, die aber anderseits auch nur eine Marionette der Tech-Oligarchen ist) sehr effektiv verhindert (siehe die Diskussionen zum EU-Omnibus). Wie die Durchsetzung gegenüber chinesischen Konzernen gelingen wird, ist auch noch offen.
Das heißt, selbst wenn wir es schaffen, in Europa weiter eine Demokratie zu pflegen, so verschiebt sich die Kontrolle über Wissen, Fakten, Wahrheit mit Hilfe der Sprachmodelle und der Social Media-Systeme immer mehr weg von uns und unseren europäischen Regierungen.
Der Autor ↑(opens in a new tab)Peter Rosei [wiki] schreibt (nicht online): "der Weg, den die Menschheit eingeschlagen hat, führt, obwohl sich da und dort Widerstand regt, wohl unumkehrbar in Richtung Großtechnologie, Robotik und transhumane Experimente". Rosei wünscht sich eine ideologische Kehrtwendung der Menschheit.
2. AI und der Mythos der Emergenz
↑(opens in a new tab)Emergenz [wiki] im Kontext von AI bezeichnet den erhofften Effekt, dass in dem Augenblick, in dem die Komplexität der künstlichen neuronalen Netze die Komplexität des menschlichen Gehirns erreicht, die sog. Artificial General Intelligence (↑(opens in a new tab)AGI [wiki), bzw. sogar eine Artificial Super Intelligence (↑(opens in a new tab)ASI [wiki]) entsteht. Dieser Annahme werden die gigantischen Klimaschäden durch den gigantischen Energie- und Wasserverbrauch der Rechenzentren untergeordnet, denn wenn die Super-Intelligenz mal da ist, kann sie das CO2-Problem ja bestimmt leicht lösen (falls sie denn möchte) (zum Thema Wasser: ↑(opens in a new tab)KI-Rechenzentren dürften 2030 einen Wasserverbrauch wie 1,3 Milliarden Menschen haben). Ich hingegen hoffe, dass unser Klima durch Platzen der AI-Bubble gerettet werden kann. Hier im vorigen Newsletter mein Text: Generative AI wird die Herausforderung Krebs nicht lösen.
Ein anonymer Autor (oder Autorin) der (oder die) sich sowohl in der IT-Welt wie der Gehirnforschung auskennt, analysiert die biologischen und technischen Hintergründe der Idee: ↑(opens in a new tab)Maschinenträume 1: KI und der Mythos der Emergenz.
Der Autor berichtet zuerst, dass man für das menschliche Gehirn ca. 100 Milliarden Neuronen und mehr als 100 Billionen Synapsen (also 100×1012) annimmt. Es gibt aber 2 Großrechner, deren Zahl künstlicher Neuronen und Synapsen bereits jenseits der menschlichen Zahlen liegt, die aber bisher keine vergleichbaren Denkleistungen gebracht haben. Dh der Vergleich zwischen natürlichen und künstlichen Neuronen hinkt ganz erheblich.
Dann erklärt er:sie die mittlerweile sehr fortgeschrittenen Forschungsaktivitäten, das vollständige Neuronengeflecht des Fadenwurms ↑(opens in a new tab)Caenorhabditis elegans [wiki] zu verstehen und zu simulieren. Das Tier hat nur 302 Neuronen mit etwa 5.000 synaptischen Verbindungen. Eine Simulation ist aber derzeit noch in weiter Ferne (die Details finden sich im Artikel).
Um die Komplexität eines 'realen' Gehirns anzudeuten, hier ein Zitat aus dem Artikel: "Die gezielte Aktivierung einzelner Neuronen löst Aktivitäten in synaptisch nicht verbundenen Nervenzellen aus und diese Verbindungen sind essentiell für die korrekte Simulation. Neben dem synaptischen Netzwerk bestehen zahlreiche biochemische Konnektome, die von einer Vielzahl von Neuromodulatoren – 92 verschiedene Neuropeptide wurden in C. elegans nachgewiesen – vermittelt werden." . . "Beim Menschen gibt es mindestens 100 Neurotransmitter – also chemische Substanzen, die im synaptischen Spalt wirken. . . . . Neuromodulatoren vermutet man Tausende. Die chemischen Konnektome des Menschen dürften also drastisch komplexer sein, als die Zahl der Neuronen und Synapsen nahe legt."
Für eine Studie wurde 2021 versucht, die Funktionalität einer einzigen ↑(opens in a new tab)Pyramidenzelle [wiki] des menschlichen Gehirns durch ein künstliches neuronales Netz nachzubilden. Um auf eine akzeptable Fehlerquote im Vergleich zu einer einzigen menschlichen Pyramidenzelle zu kommen wurde dabei bereits ein sehr großes künstliches neuronales Netze benötigt, dieses wäre für eine Äquivalenz mit einem gesamten Gehirn mit 100 Milliarden zu multiplizieren.
Viele weitere Forschungsdetails belegen die gigantisch höhere Komplexität des menschlichen Gehirns. Im Gegensatz dazu kommen die Scaling-Aktivitäten immer stärker an ein Plateau, bei dem keine großen Steigerungen mehr zu verzeichnen sind.
Weitere mögliche Verkomplizierungen der wirklichen Komplexität lebendener Gehirne bietet die Theorie der ↑(opens in a new tab)Quantenkohärenz [wiki] als Basis des menschlichen Bewusstseins, entwickelt von Physik-Nobelpreisträger ↑(opens in a new tab)Roger Penrose [wiki] und Anästhesist ↑(opens in a new tab)Stuart Hameroff [wiki] aus 1996.
Fazit:
Die AGI steht nicht vor der Tür. Wir können in der nächsten Folge in Ruhe und entspannt die Leistungsgrenzen von KI und die prinzipielle (Un-)Möglichkeit einer AGI nüchtern im Licht der Theoretischen Informatik analysieren.
3. Ergänzungen früherer Beiträge
Bürgerüberwachung in China und den USA, beides jetzt mit AI, in Russland (noch) ohne AI
Wenig überraschend: Überall muss jetzt AI rein, auch in die chinesische Überwachungstechnologie. Die Überwachungssysteme sind weitgehend dezentral. Sie werden installiert und betrieben von den Gemeinden. Und diese rüsten derweil viele der existierenden Kameras auf neue Modelle mit integrierter AI-Unterstützung um. ↑(opens in a new tab)China overhauls world's biggest surveillance network with advanced AI.
Eines der Ziele ist ein besseres Finden und Verfolgen von gesuchten Personen. Die beiden Hersteller Hikvision und Huawei bieten neue Modelle, bei der die Hardware direkt in der Kamera bereits die Erkennung von Details und Situationen weitgehend autonom durchführen kann. Integrierte Sprachsysteme erlauben eine Suche mittels Anfragen wie "suche nach einer Frau mit rotem Hut" über eine ganze Stadt hinweg. Ich stelle es mir sehr schwer vor, einem solchen System 'entgehen' zu können. "Suche alle Personen mit FFP3-Gesichtsmaske - verfolge nun die Person mit dem gelben Rucksack".
Verhaltenserkennung ist darauf trainiert, auffälliges Verhalten zu erkennen, zB auf Brücken oder ungewöhnliche Menschenansammlungen oder erratisches Verhalten von Fahrzeugen. Viele Details finden sich im oben verlinkten Artikel. An anderer Stelle gibt es den großen Überblick zum Konzept des chinesischen Social Credit-Systems.
USA unter Trump
Die USA unter Trump holen übrigens drastisch auf, was Überwachungsdystopie betrifft. Hier eine Aufzählung der Technologien, auf die ICE zum Finden und zur Überwachung von Migranten nun Zugriff bekommt. Dafür braucht es gar keine staatlichen Überwachungskameras, es reicht der Zugriff auf die Kameras zur Verkehrsüberwachung und für das Bezahlen von Brücken-, Tunnel- und Straßennutzung, plus die privaten Überwachungskameras der Einfamilienhäuser, wie die Amazon Ring-Türkameras. Die Überwachung wird nicht auf Migranten beschränkt sein, alle Trump-Gegner sind potentielle Ziele der Überwachungstechnologien.
Russland
Russland erweitert seine derzeitigen Low-Tech-Überwachungen, der Fachbegriff ist ↑(opens in a new tab)SORM [wiki]. Die Internetanbieter müssen nun noch mehr Daten über das Surf-Verhalten der Bürger automatisiert abliefern, dh nicht nach Anforderung, sondern grundsätzlich. Es wird vermutet, dass dies für kleine Anbieter nicht zu finanzieren ist, aber eine Reduktion auf wenige, besser kontrollierte Anbieter ist durchaus OK für die Regierung. Die Stimmung im Lande scheint nicht optimal zu sein, da brauchen sie so viel Wissen über die Bürger wie möglich: ↑(opens in a new tab)Russia greatly expands SORM surveillance requirements.
Bereits im Juni 2025 hatte ich berichtet, wie die Überwachung der Trump-Gegner immer stärker durch (auch Palantir-)Technik bestimmt wird. Weiter oben eine Aktualisierung zur kommenden Überwachung in den USA. Ich bin skeptisch, was die Rücknahme aller dieser Maßnahme nach einer möglichen Regierungsübernahme durch die Demokraten in 2028 betrifft.
Feindliche Übernahme der Kameras
Für den russischen Geheimdienst FSB ist der ausufernde Überwachungsapparat zu einem Sicherheitsrisiko geworden. ↑(opens in a new tab)Angst vor Spionage: Russland trennt Überwachungskameras vom Internet. Das Thema einer feindlichen Übernahme der staatlichen Überwachung ist nicht neu. Durch Übernahme der Verkehrsüberwachungskameras hätte der israelische Geheimdienst die ↑(opens in a new tab)Attentate auf die iranische Führung optimal koordinieren können. Siehe auch: ↑(opens in a new tab)Iranian hackers are scanning for security cameras to aid missile strikes.
Auch China könnte sich durch die flächendeckende Überwachung der eigenen Bevölkerung durch AI-gestützte Kameras angreifbar machen.
Kostenfalle Vibe Coding
Es gibt immer mehr Berichte über die Überraschungen, die Programmierer erleben, wenn sie nun immer öfter mit den realen Kosten ihrer AI-Aktivitäten konfrontiert sind. Nun aktuell: ↑(opens in a new tab)Nutzer baff, nachdem Github nach tatsächlichen KI-Nutzungskosten abrechnete. ↑(opens in a new tab)Github [wiki] führte im Sommer 2021 den AI-Assistenten Copilot ein. Dies ist nicht Microsofts Copilot, sondern eine Zusammenarbeit mit OpenAI (obwohl Microsoft Github in 2018 gekauft hat). Auch dieser KI-Assistent wird nun auf der tatsächlichen Nutzung der Anwender und nicht mehr pauschal abgerechnet. Die Nutzer staunen, wie schnell die Kosten explodieren können.
Der neue Trend: ↑(opens in a new tab)KI-Anbieter verrechnen immer häufiger reale Nutzungskosten. Damit rückt die Frage näher, ob menschliche Arbeit am Ende nicht manchmal billiger ist.
Die politische Theologie hinter Peter Thiel und J.D.Vance
Der Standard bringt in einem Gastbeitrag einen sehr ausführlichen Artikel zur politischen Theologie hinter Peter Thiel und J.D.Vance. Hier meine kurze Zusammenfassung: Glaube, Macht und Disruption: Peter Thiel, J.D.Vance und politische Theologie.
Standort- und Bewegungsdaten
Bei dem leider schon sehr alten Thema des Trackings aller Internetnutzer über die Werbe-Tracking-Daten haben sich 2 neue Aspekte ergeben. netzpolitik.org hatte bereits vor langer Zeit darauf aufmerksam gemacht, dass auch die Daten von Europäern weltweit zum Verkauf stehen. Die Brisanz der Werbe-Tracking-Daten liegt vor allem darin, dass sie vor allem in den Smartphones kontinuierlich gesammelt werden und mittels Kombination von Schlaf- und Arbeitsort die Identität preisgeben.
Damals hatten die Journalisten, die mit netzpolitik.org zusammenarbeiteten, darüber nachgedacht, ob sie in ihren Fallstudien über einzelne getrackte Personen auch die US-Soldaten thematisieren sollten (neben den Brüsseler Politikern, denen ein Artikel gewidmet wurde).
Der Artikel über die ↑(opens in a new tab)US-Soldaten in Deutschland und ihre Bewegungsprofile wurden nun im US-Senat Thema eines kritischen Hearings. Zu Zeiten, in denen sich die USA im Krieg befinden sind die Positionen der Soldaten für die Gegner von hohem Interesse. Kommerziell verfügbare Handy-Standortdaten können US-Soldat*innen zur Zielscheibe machen, Beispiel: ↑(opens in a new tab)Marinesoldat verrät über Fitness-App Strava Standort von Flugzeugträger. Reuters schreibt nun: „Gesetzgeber fordern das Pentagon zum Handeln auf und bezeichnen die Adtech-Branche (Werbedaten-Industrie) als Bedrohung für die nationale Sicherheit“. Na, mal schauen.
Der andere 'Aufreger': ↑(opens in a new tab)Deutsche Polizei nutzt offenbar rechtswidrig Databroker. Nach Einschätzung von Datenschützern sind Daten von Databrokern für Polizeibehörden eigentlich tabu. Doch genutzt werden sie trotzdem. Die Polizeibehörden der Bundesländer Brandenburg und Mecklenburg-Vorpommern kaufen bei Datenhändlern ein (und geben das zu).
Grundlage der Offenlegung waren Anfragen nach dem ↑(opens in a new tab)IFG=Informationsfreiheitsgesetz [wiki]. Möglicherweise nutzen noch mehr deutsche Landespolizeien solche Daten, denn in 9 Bundesländern verweigerten die Behörden die Auskunft. Nur in 5 Bundesländern hat die Polizei den Einsatz klar verneint. Landesdatenschutzbehörden, die angefragt wurden, sehen ↑(opens in a new tab)keine konkrete rechtliche Grundlage für die Nutzung von Werbedaten durch die Polizei.
Süchtig nach KI-Assistenten
Auf jeden Fall ist das sehr unglücklich formuliert (wie auch immer es gemeint war): ↑(opens in a new tab)Microsoft will Nutzer nach KI-Assistenten „süchtig machen“. „Scout“ ist ein AI-Agent, der in Microsoft 365 integriert wird und auf OpenClaw basiert. Das Tool soll Alltagsaufgaben automatisieren. Das Strategiepapier zum neuen Produkt sieht wörtlich vor, „Menschen süchtig zu machen“. Zitat: "Der Agent fragt nach deiner Zeitzone und deinen Projekten und wie du kommunizieren willst. Er erinnert sich, was du ihm sagst und an die Tools, die du bereits nutzt, und handelt rund um die Uhr in deinem Namen" - gruselig.
Kostenlos: ÖIAT-Online-Seminare
Kostenlose Online-Seminare organisiert das Österreichische Institut für angewandte Telekommunikation (↑(opens in a new tab)ÖIAT). Hier die kommenden Termine und Themen - alle diese Schulungen sind empfehlenswert (ich nehme an vielen davon Teil).
Die Termine und Themen der neuen Online-Kurse: (zumeist abends, manchmal auch nachmittags oder morgens)
Anmeldung auf ↑(opens in a new tab)academy.oiat.at - der Zoom-Link kommt dann per Email - wie gesagt: m.E. sehr empfehlenswert.