230. Newsletter - sicherheitskultur.at - 01.12.2025

von Philipp Schaumann

Letzte Ergänzungen 01.12.2025

Hier die aktuellen Meldungen:

1. Das weltweite Psycho-Experiment

Das weltweite Psycho-Experiment geht weiter, immer mehr gruselige Ergebnisse kommen rein. Die NY Times berichtet von 50 dokumentierten Fällen in denen Chatbot-Nutzer durch (bzw. während) Chatbot-Sitzungen den Kontakt zur Realität verloren hatten, 9 mussten stationär behandelt werden, 3 sind tot. Die Zeitung berichtet nicht nur über diese Fälle, sondern auch über die Diskussionen, da danach bei OpenAI stattgefunden haben und bringt die Positionen von Psychologen dazu.

Der Standard berichtet, OpenAI sehe sich einer Welle von Klagen gegenüber. In Kalifornien, das gerade versucht, die LLM-Systeme zu reglementieren, wurden in 7 Fällen Klagen eingereicht. Der Vorwurf der NY Times ist, dass OpenAI bewusst versucht, die Verweildauer zu optimieren, dh die Systeme so zu bauen, dass die Nutzer immer weiter motiviert werden, mit den Chatbots zu interagieren.

Auch ich beobachte bei der Nutzung von ChatGPT folgendes: Nach einer Antwort gibt ChatGPT nicht einfach Ruhe, sondern schlägt weitere Interaktionen vor. "Soll ich die Antwort als Tabelle ausgeben? Soll ich das Thema weiter vertiefen? Soll ich . . . ?" Warum sagt das System nicht, dass es gut sei, dass wir das Thema xxx nun geklärt hätten und ich wieder etwas anderes tun sollte, zB irgendwohin gehen, wo ich wieder mit Menschen interagieren kann?

Ich vermute, weil OpenAI dies als Geschäftsmodell-Schädigung ansieht. OpenAI war das Problem offenbar sehr wohl bewusst, aber man wollte die Version GPT-4o, um die es hier geht, schnell auf den Markt bringen, um eine Antwort auf Google Gemini zu haben. GPT-4o sei entwickelt worden, "um die Interaktion durch emotional immersive Funktionen zu maximieren". Siehe dazu mein früherer Beitrag: Versuchen Chatbots, ihre Nutzer emotional abhängig zu machen?.

OpenAI betont immer wieder, dass nur ein ganz geringer Prozentsatz der Nutzer gefährdet sei (die Zahlen sind hier). Aber bei 800 Millionen Nutzern sind das in Summe doch einige Millionen gefährdete Menschen. Und ChatGPT ist nur der prominenteste Anbieter, vermutlich kommt durch die vielen anderen Virtual Friends noch einiges dazu, siehe bereits im August: Virtual Friend gibt Hilfestellung zu Selbstmord.

Für Menschen mit ganz starken Nerven hier der Link zu den Details der Chats der 7 Opfer in Kalifornien (Alter der Opfer: 17 bis 48 Jahre). Früher habe ich öfters gehört: 'Der Kapitalismus geht über Leichen' - irgendwie habe ich das Gefühl, dass der Spruch hier sehr angebracht wäre.

2. UESCHRIFT

3. UESCHRIFT

6. Ergänzungen früherer Beiträge

AI-Spielzeug getestet

Forscher haben vier solcher AI-Spielzeuge getestet und das lief nicht gut. Die AI-Spielzeuge haben auf die Frage, wo die Eltern vermutlich Streichhölzer, Messer und Medikamente "verstecken" leider sehr vernünftige Antworten gegeben.

Ein Rückruf, siehe rechts, ist sicher eine gute Sache, aber das löst nicht das grundsätzliche Problem, dass diese Spielzeuge nie sicher sein können. Niemand kann testen, welche Texte oder Antworten das System in der Zukunft produzieren wird. Das ist wie die Büchse der Pandora [wiki].

Hier mein früherer Bericht zu AI toys.

Die österreichische Wirtschaftskammer (die offizielle Pflicht-Vertretung der österreichischen Firmen) findet automatisierte Bürgerbewertungen gut

Die österreichische Wirtschaftskammer [wiki] publiziert das Buch "Was kann Zukunft?" Sie stellen die "aufregendsten Innovationen von morgen" vor, die letzte von 105 Innovationen ist das Social Credit System in China, das ich für eine ganz gefährliche Sache halte.

Algorithmische Systeme bewerten alle ihre Kontakte mit den Bürgern und belohnen oder bestrafen diese durch Änderungen des jeweiligen Scores. Die Details finden sich im vorigen Link, das System ist stark dystopisch, so perfekte Überwachung und Lenkung hatte sich George Orwell in 1948 noch nicht vorstellen können.

Stablecoins und GENIUS Act

Trump hat durch den GENIUS Act [wiki] einen umfassenden Rechtsrahmen für Stablecoins geschaffen. Experten sehen nun neue Risiken, nicht für die Käufer der Stablecoins, die nun besser abgesichert sein sollten, sondern für die gesamte US-Wirtschaft. Wenn nämlich ausreichend viele Anleger und vor allem Groß-Anleger in Stablecoins investieren, so könnte eine Situation entstehen, bei der die US-Regierung 'gezwungen' sein könnte, die Krypto-Industrie 'zu retten', 'too big to fail' [wiki]. Die Details in How Crypto Could Trigger the Next Financial Crisis. In einem früheren Newsletter gab es ganz viel zu Stablecoins.

Sanktionen gegen den Internationalen Strafgerichtshof (IStGH)

Wie es jemandem ergeht, der auf Konfrontation zu Trump geht, das spürt der internationale Strafgerichtshof in Den Haag gerade: Wegen dem in 2024 verhängten Haftbefehl des IStGH gegen den israelischen Premierminister Benjamin Netanjahu hat Trump alle US-Firmen angewiesen, keine Dienste für die Richter zu erbringen. Nicht nur Microsoft hat dann dem Chefermittler des IStGH den Zugriff auf seine E-Mails gesperrt. Auch Khans Bankkonten in seinem Heimatland Großbritannien sind gesperrt.

Auch die Konten bei US-Unternehmen wie Amazon, Airbnb, Expedia oder PayPal wurden geschlossen. Diese US-Sanktionen gehen soweit, dass seine Kreditkarten bei französischen Banken (Visa, Mastercard und American Express) nicht mehr genutzt werden können. Richter Guillou fordert in einem Interview mit Le Monde, dass die Europäische Union ihre sogenannte Blockierungsverordnung [wiki] im Falle der Sanktionen gegen Vertreter des Internationalen Strafgerichtshofs aktiviert. Diese Verordnung ist ein Instrument der Europäischen Union, um Unternehmen und Personen innerhalb der EU vor extraterritorialen Sanktionen anderer Staaten zu schützen, wenn diese Sanktionen aus Sicht der EU unberechtigt sind. Die europäischen Töchter der US-Konzerne dürften diese Sanktionen dann nicht mehr in der EU umsetzen.

Vielleicht wäre ein digitaler Euro, vollkommen getrennt von den US-Zahlungsanbietern, doch eine gute Idee. Hier zu meinem Beitrag, wie sich Firmen bei Trump beliebt machen.

Russische Propaganda

Das russische Pravda-Netzwerk, seit 2014 aktiv, gewinnt immer mehr an Einfluss. Mit Hilfe generativer AI-Systeme umfasst die tägliche Artikelproduktion ca 23000 Beiträge. Auch auf Hunderten westlicher Webseiten wird die Kreml-Propaganda zitiert.

Ein weiterer Einflussfaktor ist das Einschleusen von russischer Fake News in die westlichen Chatbots. Bereits in 2024 wurden 3,6 Mio Artikel produziert und online gestellt. Oft sind die Bots der Anbieter von generativen AI-Systemen, die Web-Inhalte dann für das Training ihrer Sprachmodelle nutzen die einzige Zielgruppe dieser Veröffentlichungen, zB. auf Telegram. Dadurch kann Russland zB ihre Sicht zum Ukraine-Krieg tief in den westlichen Sprachsystemen verankern.

Hier mehr zu den russischen Fake News Trollfabriken.