226. Newsletter - sicherheitskultur.at - 30.09.2025

von Philipp Schaumann

Zum Archiv-Überblick

Hier die aktuellen Meldungen:

1. Was Kinder im Netz erleben

Das schon etwas ältere Buch „Allein mit dem Handy“ von Daniel Wolff bringt unkonventionelle Vorschläge für die unvermeidlichen Herausforderungen, denen heute alle Kinder (und Eltern) durch die allgegenwärtigen Smartphones ausgesetzt sind. Hier eine Zusammenfassung seiner Thesen: Was Kinder im Netz erleben, und was Politik daraus lernen kann.

Einer seiner Punkte: Wir Erwachsenen haben typischerweise keine Ahnung und können uns auch nicht vorstellen, was die heutigen Kinder online erleben.

Der Autor macht Vorschläge, die vor allem Aktionen für die Eltern betreffen, denn seiner Meinung nach lassen sich die Probleme nicht durch die von der Politik angedachten technischen und juristischen Lösungen lösen, nicht einmal mindern.

Hier die Liste der Herausforderungen, die er sieht (Details im oben verlinkten Artikel):

1. Smartphones fressen Schlafenszeit
2. Messenger-Gruppen mit Kindern explodieren
3. Kinder testen mit Gewalt und Horror ihre Grenzen
4. Wo „für Kinder“ draufsteht, ist nicht „für Kinder“ drin
5. Die Sogwirkung optimierter Feeds ist unwiderstehlich
6. Handy-Spiele nutzen alle Tricks, um an Taschengeld zu kommen
7. Kinder haben Angst vor der Reaktion ihrer Eltern
8. Digitale Medienerziehung ist harte Arbeit

Einer seiner Handlungsvorschläge: Eltern sollten sich ausführlich Zeit für einen Mediennutzungsvertrag nehmen, bevor sie ihrem Kind ein Handy geben. Optimalerweise können dann die allabendlichen Streits über die Nacht ohne Handy reduziert werden. Vorlagen für dieses oftmals mehrseitige Dokument gibt es online, siehe voriger Link.

Spätere Ergänzung:
Ein Ratgeber soll Eltern Orientierung für Bedrohungen wie Sextortion, Abhängigkeit, finanziellem Betrug und Cybermobbing geben: "Kinderfalle Internet": Neuer Ratgeber klärt über die Gefahren im Netz auf.

Eine kostenlose Hilfestellung ist als Bilderbuch in 14 Sprachen verfügbar: Der Online-Zoo als eBook zum Download. Es klärt über die Vorteile des Internets auf, aber berichtet auch über die diversen Gefahren, die dort lauern. Wenn Kinder ihr erstes Handy bekomnmen, spätestens dann ist es Zeit, gemeinsam mit ihnen diese Broschüre gründlich durchzugehen. (Herausgeber sind die ISPA (Internet Service Provicer Austria) (hinter dem Link gibt es ganz viele Materialien zu diesen Themen, meist für höhere Altersstufen - sehr lesenwert und als Unterrichtsmaterialien gut geeignet) und die Organisation saferinternet.at, da ständig über aktuelle Gefahren aufklärt)

2. Nun kommen Plüschtiere mit AI-Chatbots

Wir bleiben thematisch gleich bei den Kindern, diesmal geht es um kleinere, aber auch die sollen möglichst früh an den Umgang mit künstlichen Wesen und Chatbots gewöhnt werden.

'Endlich' gibt es für die ganz Kleinen Plüschtier-Chatbots mit generativer AI, die den Kindern erklären, wie sehr sie ihre Besitzer lieb haben. Natürlich findet das alles im Internet, bzw in den riesigen Rechenzentren der Tech-Konzerne statt.

Hier der Bericht einer englischen Reporterin, die das Ding für ihre kleine Tochter gekauft hatte. Quelle: ‘I love you too!’ My family’s creepy, unsettling week with an AI toy. Ich bin mir nicht sicher, dass wir das gebraucht haben.

Hier geht es zum meinem Artikel zu IoT - Internet of Things, der mit dem Thema Internet im Kinderzimmer beginnt.

3. Social Engineering gegen AI-Systeme

Damit hatte ich nicht gerechnet, dass ich einen Artikel zu Social-Engineering-Angriffen gegen AI-Systeme schreiben würde. Social Engineering bedeutet, dass Menschen über ihre psychologischen Schwächen (zB zu viel Respekt vor 'Autoritäten') oder ihre menschlichen Stärken (zB Hilfsbereitschaft) dazu gebracht werden, Dinge zu tun, die sie nicht tun dürfen, zB ein Passwort zurücksetzen oder Daten herauszugeben ohne die Identität des Anrufers ausreichend geprüft zu haben. Dies sind für Unternehmen, aber auch für Privatpersonen typischerweise recht gefährliche Angriffe, siehe frühere Beiträge zu CEO-Betrug, Enkel-Betrug / "Hallo Mama,", falsche Anrufe von Microsoft, Amazon oder einer Bank (siehe auch hier), Love-Scams oder Krypto-Scams oder Social Engineering als Wettbewerb.

Aktuelle Ergänzung:
Hier sind 3 Artikel aus den letzten Tagen, 2 der Fälle sind Investment-Betrug, zB Krypto-Scams: Hinter dem Scam: Kriminelles Syndikat raubt tausenden Europäern ihr Erspartes (auf einer Plattform PrimeOT werden angeblich Investment-Geheimnisse verraten). Und Betrugs-Website mit Fake-Investitionsprojekt im Stil von orf.at (ein AI-gefälschtes Video von Bundespräsident Van der Bellen wirbt für an ein angebliches Investitionsprojekt). Und dann was ganz anderes: "Euro-Mehmet" bringt Seniorinnen mutmaßlich um Millionen – wohl mithilfe der türkischen Polizei (Telefonanrufe erklären älteren Wienerinnen, dass die Polizei zu ihrem Schutz ihre Wertsachen sicher aufbewahren würde - die Polizei in Istanbul, wo das Call-Center etabliert ist, greift nicht ein).

Aber das klappt sogar gegen generative AI-Systeme

Nun haben Forscher Social Engineering-Angriffe gegen generative AI-Systeme getestet und das klappt überraschend gut. Getestet wurden 2 Prompts (die eigentlich verhindert werden sollen): Zum Einen, dass das System den Benutzer beleidigt, zum Anderen, die Details zur Herstellung einer Droge. Eingesetzt wurden typische Tricks, wie sie auch bei Menschen wirken: Schmeicheln, Referenz auf eine Autorität, Zeitdruck, Konformitätsdruck.

Wenn man so etwas liest, so könnte man auf die Idee kommen, dass generative AI-Systeme eine 'Persönlichkeit' haben, die hier manipuliert wird. Das ist natürlich nicht der Fall. Die Systeme arbeiten auf rein statistischer Basis der Texte, die sie in den Trainingsdaten aus dem Internet und Büchern gefunden haben. Und da ist jede Menge illegales Verhalten beschrieben. Dann wurde nachträglich versucht, ihnen bestimmte Verhaltensweisen die sie so 'absorbiert' haben, wieder zu verbieten. Aber diese Verbote sind nicht sehr tief in den Systemen verankert und können durch verschiedene Tricks (zB "prompt-engineering" [wiki]) überwunden werden. Angriff mittels menschlicher Psychologie scheint ein weiterer Trick zur Überwindung der Schutzmechanismen zu sein.

Hier meine Hauptseite zum Thema Social Engineering.

4. Ergänzungen früherer Beiträge

KI-Hype auf der Kippe

Mittlerweile schließen sich mehr und mehr auch der prominenten 'AI-Größen' den Skeptikern an. Skeptik, was die baldige Implementierung von AGI-Fähigkeiten [wiki] betrifft (dh ... jede intellektuelle Aufgabe zu verstehen oder zu lernen, die ein Mensch ausführen kann ..), aber auch skeptisch in Bezug auf kommerziellen Durchbruch und sogar skeptisch in Bezug auf 'Verschmutzung' des Internets durch AI-Inhalte ("enshittification").

Ein umfassender Artikel dazu: KI-Hype an der Kippe: Große Träume treffen auf wachsende Zweifel. Dann kommen immer mehr Aussagen dazu: OpenAI-Vorstand Bret Taylor und Mark Zuckerberg: "Viele Menschen werden viel Geld verlieren". Ich fürchte, dass dies dann auch Menschen betreffen könnte, die nicht direkt in diese Blase investieren, denn die mittlerweile große Bedeutung dieser Firmen am Finanzmarkt (siehe die Grafik rechts) könnte auch andere Aktien und Währungen mitreißen.

Hier meine 2 vorigen Artikel dazu: GPT-5 Enttäuschung und der große Übersichtsartikel dazu: AI-Hype, haben wir eine generative AI Bubble?

Investitionen auf dünnem Eis

Ebenfalls zum AI-Hype: Nun ist auf einmal auf der Basis von immer großartigeren Investitionsplänen für generative AI und der damit verbundenen Finanzakrobatik der Oracle-Chef Larry Ellison für einige Tage zum reichsten Menschen der Welt geworden (hier, warum nur für wenige Tage). Die US KI-Industrie begibt sich mit dem Projekt Stargate von OpenAI und Oracle auf immer dünneres Eis. Alle diese geplanten Investitionen und die durch die Verkündung der Pläne ausgelösten Börsenbewegungen basieren auf der Idee, dass OpenAI in einigen Jahren richtig viel Geld verdienen könnte, eine kühne Annahme. Die Details in OpenAI und Oracle gehen mit Stargate ein enormes Risiko ein. Da werden Gewinne erwartet, die weit weg von den derzeitigen Umsätzen liegen. Alleine die jährlichen Zahlungen an Oracle sollen ein vielfaches von dem betragen, das derzeit an Umsatz, nicht an Gewinn, gemacht wird. Das kann noch spannend werden.

Hier einige Auszüge:
"OpenAI hat sich nun verpflichtet, über fünf Jahre hinweg Rechenleistung im Wert von 300 Milliarden Dollar von Oracle zu kaufen. Das entspricht jährlichen Zahlungen von durchschnittlich 60 Milliarden Dollar, die das KI-Unternehmen ab 2027 aufbringen muss. Der Vertrag bezieht sich auf das bereits im Juli angekündigte gemeinsame Rechenzentrum mit einer Leistung von 4,5 Gigawatt – genug Strom, um vier Millionen Haushalte zu versorgen.

"Die Dimensionen des Vertrags verdeutlichen das Missverhältnis zwischen OpenAIs aktueller Finanzlage und seinen Zukunftsplänen. Das Unternehmen erwartet für 2025 einen Umsatz von 12,7 Milliarden Dollar – nur ein Bruchteil der 60 Milliarden, die es jährlich an Oracle zahlen soll, wie das Wall Street Journal berichtet. Zum Vergleich: Im Vorjahr machte OpenAI einen Jahresumsatz von 10 Milliarden US-Dollar.

"Das Problem: OpenAI wird bis 2029 insgesamt 115 Milliarden Dollar benötigen, will es seine ambitionierten Pläne umsetzen, wie The Information berichtet. Das sind 80 Milliarden Dollar mehr als geplant. Allein 2024 soll der Cash-Burn (die Summe der Ausgaben) über 8 Milliarden Dollar betragen, 1,5 Milliarden mehr als zu Jahresbeginn erwartet, schreibt Heise.

Aktualisierung:
Die Deutsche Bank warnt ihre Kunden: Nur KI-Blase hält US-Wirtschaft noch zusammen. Sie rechnen mit einem baldigen Platzen der Blase. Keine grundlegenden neuen Erkenntnisse, die Punkte die ich auch berichte.

AI und Urheberrechte / Copyright

Ein weiterer Stolperstein für die Firmen hinter generativer AI: Ein erster juristischer Vergleich: KI-Firma Anthropic will Autoren 1,5 Milliarden Dollar zahlen - jeder Schriftsteller soll rund 3.000 US$ pro Buch erhalten. Aber die Verfahren der anderen Kläger, zB Disney, laufen weiter. Hier mein 2023-Artikel zu AI und geistiges Eigentum.

Mehr Details zu Halluzinationen

2 Artikel zum Thema der unvermeidlichen Halluzinationen. Der erste Artikel OpenAI Paper: Halluzinationen offenbar unumgänglich bringt eine kurze Zusammenfassung einer OpenAI-Studie. Der zweite Artikel Warum KI Fakten erfindet geht stärker auf das Warum ein und bringt am Ende auch Vorschläge zur Reduzierung der Halluzinationen. Hier einige Details:

Es klingt kontraintuitiv, aber größere Modelle halluzinieren häufiger. Dieses Paradoxon lässt sich dadurch erklären, dass sie stärker auf Korrelationen in riesigen Textmengen trainiert werden und nicht auf überprüfbare Fakten.

Der Umfang der Halluzinationen kann übrigens in den Einstellung des Modells teilweise gesteuert werden. Sogenannte Temperatur- und Sampling-Einstellungen steuern, wie deterministisch oder kreativ ein Modell antwortet. Eine Einstellungen zu mehr Kreativität führt oft zu originelleren (dh 'menschlich' klingenden), aber auch weniger verlässlichen Antworten. Hier 3 der Details:

• Overconfidence Bias: Selbst bei geringer Wahrscheinlichkeit des erzeugten Textes werden Aussagen mit hoher sprachlicher Sicherheit formuliert (was Nutzer in falscher Sicherheit wiegen kann).
• Fehlendes Faktenmodell ("Weltmodell" [wiki]): Sprachmodelle modellieren Sprache, nicht Fakten, dh Wahrheit. Sie kombinieren Sprach-Tokens ohne externe Validierung und ohne Rücksicht auf Fakten.
• Prompt-Sensitivität: Kleine Änderungen in der Fragestellung können zu stark unterschiedlichen Ausgaben führen. So zeigte sich, dass Antworten auf medizinische Fragen sehr stark von der Sprachqualität des Prompts abhängen.

Der Artikel geht dann auch auf neue Konzepte ein, die die Korrektheit der Antworten erhöhen sollen, zB RAG (Retrieval-Augmented Generation - mehr Details im oben verlinkten Artikel).

Außerdem gibt der Artikel hilfreiche Tipps, wie durch entsprechende Details in Prompts die Antworten näher an die Fakten geführt werden können, zB indem detaillierte Quellenangaben (möglicherweise mit Seitenzahlen) verlangt werden. Halluzinationen bleiben aber eine grundlegende system-bedingte Schwäche der Sprachmodelle. Und bei Medizin- oder Rechtsauskünften können falsche Auskünfte zu sehr problematischen Situationen führen (siehe hier zur Medizin).

Und noch ein Punkt: Offenbar hat sich die Häufigkeit von falschen Antworten von den gängigen Chatbots im Laufe der letzten 12 Monate verdoppelt. Die Forscher führen 2 Gründe dafür an:

Noch ein Grund für falsche Antworten ist entdeckt worden: Die Modelle beziehen sich teilweise auf wissenschaftliche Veröffentlichungen, die bereits zurückgezogen, weil falsch, sind - AI models are using material from retracted scientific papers.

Hier mein voriger Artikel zu Halluzinationen.

Kindesmissbrauchsmaterial nicht nur bei Grok

Kindesmissbrauchsmaterial (international als CSAM bezeichnet - Child Sexual Abuse Material) taucht immer wieder in den Chatbots auf. So meldete etwa OpenAI (der Betreiber von ChatGPT) im Jahr 2024 über 32 000 Fälle von CSAM an die dafür vorgesehene Meldestelle des National Center for Missing and Exploited Children (NCMEC), die Konkurrenz bei Anthropic meldete immerhin 971 Fälle.

xAI hat dahingegen laut NCMEC keine Vorfälle eingereicht. Zahlreiche derzeitige und ehemalige Mitarbeiter von Elon Musk's xAI mit dem Chatbot Grok berichteten, dass sie in ihrer Arbeit regelmäßig mit derartigem Material zu tun hätten beziehungsweise gehabt hätten. Dagegen scheint das xAI-Management aber nicht aktiv vorzugehen.

Hier meine früheren Artikel dazu: AI erzeugt CSAM-Darstellungen und AI und 'Material' zu Minderjährigen.

Der globale Spyware-Markt

Nun zu einem ganz anderen Thema, wir haben ja auch noch andere Probleme, nicht nur AI-Herausforderungen.

Meinen Artikel zu Spyware habe ich durch eine neue Studie zum globalen Spyware-Markt ergänzt (Spyware = Software, die heimlich auf Smartphones installiert wird und zum Abhören von Journalisten, Oppositionspolitikern und manchmal auch Kriminellen genutzt wird). Die US-Organisation Atlantic Council veröffentlicht eine umfassende Studie zum weltweiten Spyware-Markt 2025: Mythical Beasts: Diving into the depths of the global spyware market. Einige Details: Isreal, USA, Italien und UK haben die meisten Firmen, aber auch Deutschland und Österreich sind vertreten.

Die Beteiligungen durch amerikanische Investoren gehen 'durch die Decke'. Ich fürchte, die Investoren erwarten für die USA einen riesigen Einsatz, zB durch die ICE-Behörde [wiki]. Hier mein Übersichtsartikel zu Spyware.

Peter Thiel

Ich musste meinen Artikel zu Palantir und Peter Thiel noch mal gründlich erweitern. In einem öffentlichen Vortrag, über den das Wallstreet Journal berichtete, erklärte er, dass wir als Gesellschaft weiter unbehinderten technologischen Fortschritt brauchen, weil jeder Versuch einer Regulierung (wie die EU das versucht) ein baldiges Erscheinen des Antichrist [wiki] fördert. Dh Versuche, das ungebremste und uneingeschränkte Wirken der Technologiekonzerne durch so Aktivitäten wie Datenschutz zu behindern, bringen seiner Meinung nach das Ende der Welt näher: Peter Thiel spricht in mehreren Vorträgen davon, wie durch die Regulierung von Technologie, Wissenschaft und KI das Ende der Welt eingeläutet wird. Oder in der längeren Version: WSJ: Peter Thiel Wants Everyone to Think More About the Antichrist.

Peter Thiel ist nicht nur sehr, sehr vermögend. Er hat mit dem von ihm aktiv geförderten Vice President JD Vance [wiki] einen direkten Einfluss auf die Führung der USA. Er ist sein finanzieller Sponsor und enger Vertrauter. Bei einem Ableben von Trump vor Ablauf der Amtszeit (zB durch ein weiteres Attentat) wäre Vance automatisch Präsident und Thiel hätte einen noch direkteren Einfluss auf die Zukunft der USA. Vance (mit Thiel im Hintergrund) gilt auch als einer der möglichen Kandidaten für die nächste Präsidentenwahl.

Aktualisierung:
Noch 2 Artikel im Falter zur bizarren Theologie von Peter Thiel: Peter Thiels Besuch an der Uni Innsbruck an der Katholisch-Theologischen Fakultät. Und über die philosophischen Hintergründe seiner Ideen: Abendessen mit Milliardär Peter Thiel. Es geht um die Philosophie des französischen Denkers René Girard (1923–2015).

Einladung zum govcamp Wien, 13.10.2025 - 13-17 Uhr

Auch in diesem Jahr beteiligt sich der Chaos Computer Club Wien (C3W) wieder als Co-Veranstalter beim Govcamp 2025. Das Format bleibt gleich, aber es gibt trotzdem Änderungen gegenüber den früheren Jahren.

Das Govcamp findet dieses Jahr 'als Vorprogramm' der Digital Days 2025-Veranstaltung in Wien statt, dh der Govcamp-Termin ist
Montag Nachmittag 13.Oktober 13:00 - 17:00 und zwar in 'das forum' - Operngasse 17-21 in Wien.

Wie bei barcamps üblich wird das Programm von den Teilnehmer:innen bestimmt und gestaltet und zwar rund um das Motto "Wie können Digitalisierung & KI die Menschen befähigen, ihre Zukunft zu gestalten? Alle Details gibt es auf govcamp-vienna-2025.

Auf der Website gibt es auch einen Link für die Anmeldung auf der Digital Days Website. Neben der Anmeldung können hier auch gleich Themenvorschläge eingereicht werden. Die Anmeldung ist optional, Menschen können auch einfach vorbeischauen und mitreden. Und Gebärdendolmetsch wird auch angeboten. Die Veranstaltung ist kostenlos.

Die ÖIAT-Online-Schulungen

Kostenlose Online Schulungen beim Österreichischen Institut für angewandte Telekommunikation (ÖIAT). Hier die kommenden Termine und Themen - alle diese Schulungen sind empfehlenswert.

Die Termine und Themen der Kurse ab September: (zumeist Abends, entweder 18:30 - 20:00 oder 16:00 - 17.30)

Anmeldung auf academy.oiat.at - der Zoom-Link kommt dann per Email - wie gesagt: m.E. sehr empfehlenswert.