230. Newsletter - sicherheitskultur.at - 01.12.2025

von Philipp Schaumann

Letzte Ergänzungen 23.12.2025

Zum Archiv-Überblick

 

Hier die aktuellen Meldungen:

1. Das weltweite Psycho-Experiment der AI-Chatbots

Das weltweite Psycho-Experiment geht weiter, immer mehr gruselige Ergebnisse kommen rein. Die NY Times berichtet von 50 dokumentierten Fällen in denen Chatbot-Nutzer durch (bzw. während) Chatbot-Sitzungen den Kontakt zur Realität verloren hatten, 9 mussten stationär behandelt werden, 3 sind tot. Die Zeitung berichtet nicht nur über diese Fälle, sondern auch über die Diskussionen, da danach bei OpenAI stattgefunden haben und bringt die Positionen von Psychologen dazu.

Der Standard berichtet, OpenAI sehe sich einer Welle von Klagen gegenüber. In Kalifornien, das gerade versucht, die LLM-Systeme zu reglementieren, wurden in 7 Fällen Klagen eingereicht. Der Vorwurf der NY Times ist, dass OpenAI bewusst versucht, die Verweildauer zu optimieren, dh die Systeme so zu bauen, dass die Nutzer immer weiter motiviert werden, mit den Chatbots zu interagieren.

Auch ich beobachte bei der Nutzung von ChatGPT folgendes: Nach einer Antwort gibt ChatGPT nicht einfach Ruhe, sondern schlägt weitere Interaktionen vor. "Soll ich die Antwort als Tabelle ausgeben? Soll ich das Thema weiter vertiefen? Soll ich . . . ?" Warum sagt das System nicht, dass es gut sei, dass wir das Thema xxx nun geklärt hätten und ich wieder etwas anderes tun sollte, zB irgendwohin gehen, wo ich wieder mit Menschen interagieren kann?

Ich vermute, weil OpenAI dies als Geschäftsmodell-Schädigung ansieht. OpenAI war das Problem offenbar sehr wohl bewusst, aber man wollte die Version GPT-4o, um die es hier geht, schnell auf den Markt bringen, um eine Antwort auf Google Gemini zu haben. GPT-4o sei entwickelt worden, "um die Interaktion durch emotional immersive Funktionen zu maximieren". Siehe dazu mein früherer Beitrag: Versuchen Chatbots, ihre Nutzer emotional abhängig zu machen?.

OpenAI betont immer wieder, dass nur ein ganz geringer Prozentsatz der Nutzer gefährdet sei (die Zahlen sind hier). Aber bei 800 Millionen Nutzern sind das in Summe doch einige Millionen gefährdete Menschen. Und ChatGPT ist nur der prominenteste Anbieter, vermutlich kommt durch die vielen anderen Virtual Friends noch einiges dazu, siehe bereits im August: Virtual Friend gibt Hilfestellung zu Selbstmord.

Für Menschen mit ganz starken Nerven hier der Link zu den Details der Chats der 7 Opfer in Kalifornien (Alter der Opfer: 17 bis 48 Jahre). Früher habe ich öfters gehört: 'Der Kapitalismus geht über Leichen' - irgendwie habe ich das Gefühl, dass der Spruch hier sehr angebracht wäre.

Large Language Models (LLM) in der problematischen Rolle als Therapeut

Für meine (ausführliche) Zusammenfassung des Hintergrundartikels ChatGPT als Therapeut – Die Wirkung der Resonanzmaschine

DerStandard bringt zum 3. Geburtstag von ChatGPT (und dem 5. Geburtstag des 'Transformer Konzepts' [wiki] hinter LLMs) einen recht guten Überblicksartikel, der sehr viele Aspekte des LLM-Phänomens beleuchtet: Drei Jahre ChatGPT: Raus aus dem Kindergarten, rein in die Blase.

 

2. Ein EU-Omnibus versucht, den EU-Datenschutz auszuhöhlen

Ich habe den Eindruck, dass der Druck, den Trump zum Vorteil der Tech-Oligarchen und AI-Fans derzeit ausübt, auch in Brüssel Wirkung zeigt. Und leider scheint die EU-Komission durchaus bereit zu sein, auf den Druck einzugehen. Ob das letztendlich von Vorteil sein wird, das weiß man nicht wirklich. (Weiter unten gibt es mehr Details, wie der Druck ausgeübt wird.)

Die EU Komission hat einen sog. "Digital Omnibus" mit "Vereinfachungen" im Datenschutzrecht und im geplanten AI-Act vorgeschlagen. "Vereinfachung" klingt erst mal gut, aber einige Punkte hebeln den derzeitigen Rechtsschutz der Bürger ganz gehörig aus. Achtung: das ist noch nicht beschlossen - als nächstes wird sich das EU-Parlament damit beschäftigen und ich hoffe, dieser Aktion 'die Zähne ziehen'. Hier die wichtigsten Punkte:

  • Bisher ist es so, dass pseudonyme Daten sehr wohl auch unter das DSGVO fallen (dh Personendaten in denen nicht der exakte Name {oder die Sozialversicherungsnummer} explizit drin steht, sondern nur eine interne Kennziffer, oder die ominöse Werbe-ID [wiki], die die Smartphones erzeugen). Grund für den bisherigen Schutz: aus den Daten lässt sich mit etwas Mühe sehr wohl die Person bestimmen. (Siehe meine früheren Beiträge, zB De-Anonymisierung von anonymen Daten und als Video-Vortrag und Anonymität und Pseudonyme).
  • Nur wirklich anonymisierte Daten fallen derzeit aus den Regelungen der DSGVO (wenn sie bestimmten Kriterien genügen). Nun sollen zB die in den Smartphones gesammelten Bewegungsdaten, die sehr persönlich sind und zB Schlaf- und Arbeitsort beinhalten, den bisherigen Schutz verlieren - eine tolle Sache für die Datenhändler. Zum Thema Bewegungs- oder Standortdaten siehe meine Beiträge Bewegungsprofile auch für Brüssel und Wer weiß, wo ich mich gerade befinde oder wo ich gestern war?
  • Unabhängig davon soll die Nutzung von persönlichen Daten für das 'Training' der generativen AI-Systeme ganz aus dem Datenschutz fallen, die US-Firmen fordern das schon lange. Diese privilegierte Position der AI-Systeme könnte dazu führen, dass Firmen in Zukunft behaupten könnten, sie verarbeiten unsere Daten gar nicht, sie nutzen sie 'nur' für AI-Training. Vermutlich fiele damit auch der bisher verstärkte Schutz von Gesundheitsdaten weg (alle Diagnosen, auch zB Trink- oder Spielsucht, Anorexie, ...). Der Schutz dieser Daten hat die Werbeindustrie immer schon gestört, denn für diese Zielgruppen ließe sich in Zukunft sehr persönliche Werbung schalten.
  • Auch das Auskunftsrecht soll eingeschränkt werden. Bisher müssen Firmen innerhalb einer recht kurzen Zeit über alle Daten eines Nutzers Auskunft geben. Das soll eingeschränkt werden auf "Datenschutz-Interessen". Wenn das Unternehmen behauptet, der Nutzer möchte die Daten aus anderen Gründen sehen (zB um sich über fehlerhafte Einträge zu beschweren), dann könnte das Unternehmen sagen, die Anfrage sei 'missbräuchlich'.
  • Noch ein Goodie für die großen Firmen: Persönliche Daten dürften verarbeitet werden, wenn dies zu 'wissenschaftlichen Zwecken' passiert. Und dafür reicht es dann zukünftig, wenn durch die Verarbeitung das 'Wissen erweitert wird' und 'Innovationen entstehen'. Auch wenn dabei ein finanzieller Gewinn entsteht, so ist dies kein Hindernis für die uneingeschränkte Nutzung der Personendaten ohne Informieren der Nutzer.

    • Hier die umfassende Kritik der Datenschutzexperten von noyb: Digitaler Omnibus: EU-Kommission will Kernprinzipien der DSGVO zerstören. Eine Reihe guter Artikel ist verlinkt bei der Bertelsmann-Stiftung.

    Hier eine ausführliche Analyse durch die Datenschutzexperten von noyb.at mit vielen weiteren "Knackpunkten" (70 Seiten). Auch ein ausführliches Video ist verfügbar: Digital Omnibus - First Legal Analysis (80 min., englisch).

    Ich hoffe, dass das EU-Parlament dieser Aufweichung einen Riegel vorschiebt. Da ist eigentlich nichts drin, was für die europäischen Klein- und Mittelbetriebe eine Erleichterung bringt. Ob diese Unterwerfung unter die Wünsche von Trump und den Tech-Oligarchen die Ukraine rettet, bezweifele ich derzeit.

    Der Artikel EU-Wettbewerbskommissarin wirft USA „Erpressung“ vor beschreibt, wie die Einflussnahme / Erpressung der EU durch die US-Regierung abläuft. Teresa Ribera, Vizepräsidentin der EU-Kommission, greift die Trump-Regierung scharf an. Sie beschwert sich, die USA würden die EU massiv unter Druck setzen, die Tech-Regulierungen abzuschwächen. Beispiel im Artikel: US-Handelsminister Howard Lutnick deutete am Montag in Brüssel an, die USA könnten ihre Haltung zu den Stahl- und Aluminiumzöllen überdenken, sofern die EU im Gegenzug ihre digitalen Vorschriften neu austariere. Der Artikel erwähnt das DSA, den AI-Act, aber auch den in diesem Abschnitt bereits diskutierten Digital Omnibus, der die US-Interessen bereits sehr stark berücksichtigt und im Verdacht steht, primär auf den massiven Druck der US-Regierung zurückzugehen.

     

    3. Maga-Influencer-Standorte aufgedeckt

    Elon Musk hat ein Eigentor geschossen. Eine neue Funktion seiner Plattform X erlaubt es, (mehr oder weniger genau) den Standort von Postern anzuzeigen. Interessanterweise hat diese Anzeige für eine ganze Reihe der populärsten Maga-Influencer und heftigsten US-Patrioten Standorte über die ganze Welt verteilt ergeben: zB Russland, Pakistan, Nigeria, etc.

    Beispiele finden sich in 'About This Account' reveals the scale of X’s foreign troll problem und Top MAGA Influencers Accidentally Unmasked as Foreign Trolls.

    In einigen Fällen kann politische Motivation hinter dem Fake-Patriotismus stehen, sie wollen möglichst viel Unruhe in den USA zu erzeugen. In anderen Fällen wird das Interesse aber wohl (zumindestens auch) finanzieller Natur sein - erfolgreichen Influencern winken Werbeverträge und andere Einnahmen.

    404media fand eine ganze Reihe von Anleitungen, wie man ein finanziell erfolgreicher Influencer wird. Sprachen scheinen in Zeiten von generativer AI kein Hindernis mehr zu sein, die Videos sind in vielen Sprachen, auch Hindi, Portugiesisch und Vietnamesisch. Weltweit scheint Maga-Influencer ein interesserter Job zu sein.

     

    4. Ergänzungen früherer Beiträge

    AI-Spielzeug getestet

    Forscher haben vier solcher AI-Spielzeuge getestet und das lief nicht gut. Die AI-Spielzeuge haben auf die Frage, wo die Eltern vermutlich Streichhölzer, Messer und Medikamente "verstecken" leider sehr vernünftige Antworten gegeben. Ebenso zum Thema BDSM [wiki].

    Ein Rückruf, siehe rechts, ist sicher eine gute Sache, aber das löst nicht das grundsätzliche Problem, dass diese Spielzeuge nie sicher sein können. Niemand kann testen, welche Texte oder Antworten das System in der Zukunft produzieren wird. Das ist wie die Büchse der Pandora [wiki].

    Die NY Times berichtet über einen süßen Teddybär: AI-Toy Bear Speaks of Sex, Knives and Pills. Und das ist kein Einzelfall, viele AI-Toys sind nicht für Kinder geeignet.

    Hier mein früherer Bericht zu AI toys.

    Ergänzung Dez. 2025:
    Nun berichtet auch derstandard: KI-Spielzeug unterm Christbaum? Lieber nicht!

     

    Die österreichische Wirtschaftskammer (die offizielle Pflicht-Vertretung der österreichischen Firmen) findet automatisierte Bürgerbewertungen gut

    Die österreichische Wirtschaftskammer [wiki] publiziert das Buch "Was kann Zukunft?" Sie stellen die "aufregendsten Innovationen von morgen" vor, die letzte von 105 Innovationen ist das Social Credit System in China, das ich für eine ganz gefährliche Sache halte.

    Algorithmische Systeme bewerten alle Kontakte mit den Bürgern und belohnen oder bestrafen diese durch Änderungen des jeweiligen Scores. Die Details finden sich im vorigen Link, das System ist stark dystopisch, so eine perfekte Überwachung und Lenkung hatte sich George Orwell in 1948 noch nicht vorstellen können.

     

    US-Sanktionen gegen den Internationalen Strafgerichtshof (IStGH)

    Wie es jemandem ergeht, der auf Konfrontation zu Trump geht, das spürt der internationale Strafgerichtshof in Den Haag gerade: Wegen dem in 2024 verhängten Haftbefehl des IStGH gegen den israelischen Premierminister Benjamin Netanjahu hat Trump alle US-Firmen angewiesen, keine Dienste für die Richter zu erbringen. Nicht nur Microsoft hat dann dem Chefermittler des IStGH den Zugriff auf seine E-Mails gesperrt. Auch seine Bankkonten in seinem Heimatland Großbritannien sind gesperrt.

    Auch Konten bei den US-Unternehmen Amazon, Airbnb, Expedia oder PayPal wurden für einige der Richter geschlossen. Diese US-Sanktionen gehen soweit, dass bei einem französischen Richter die Kreditkarten bei französischen Banken (Visa, Mastercard und American Express) nicht mehr genutzt werden können.

    Richter Guillou fordert in einem Interview mit Le Monde, dass die Europäische Union ihre sogenannte Blockierungsverordnung [wiki] wegen den Sanktionen gegen die Vertreter des Internationalen Strafgerichtshofs aktiviert. Diese Verordnung ist ein Instrument der Europäischen Union, um Unternehmen und Personen innerhalb der EU vor extraterritorialen Sanktionen anderer Staaten zu schützen, wenn diese Sanktionen aus Sicht der EU unberechtigt sind. Die europäischen Töchter der US-Konzerne dürften dann diese Sanktionen nicht mehr in der EU umsetzen.

    Vielleicht wäre ein digitaler Euro, vollkommen getrennt von den US-Zahlungsanbietern, doch eine gute Idee. Hier zu meinem Beitrag, wie sich Firmen bei Trump beliebt machen.

     

    Aber nicht nur IStGH-Richter sind abhängig von den US-Diensten

    Ergänzungen Dez. 2025:Ergänzungen Dez. 2025:Ergänzungen Dez. 2025:Ergänzungen Dez. 2025:


    Airbus, die ja in heftiger Konkurrenz mit Boeing stehen, ist diese Abhängigkeit auf die Dauer zu gefährlich, sie wollen mittelfristig ihre ERP-Systeme [wiki] zu europäischen Anbietern transferrieren.

    Und auch Privatleute kann es treffen, hier ein aktuelles Beispiel durch eine Fehlermeldung im Apple-Universum. Im nun aktuellen Fall hat der Verdacht eines Betrugs mit einer Apple-Guthabenkarte dazu geführt, dass der Betroffene alle Hebel in Bewegung setzen musste, um seine Daten (6TB iCloud-Speicher) und Dienste (zB Email-Zugriff, Apple Entwickler-Account) wieder zurück zu bekommen. Dass der Konzern versucht, Betrügereien zu erkennen ist ja OK (es ging hier um Betrug gegen Apple, nicht gegen den Kunden). Aber nicht OK ist, dass der 'Support' ihm zuerst ausführlich erklärt, dass sie da nichts machen können und damit die gesamten Apple-Geräte des Nutzers (iPhone, iPad, Watch, Macs) quasi wertlos werden. Er verlor den Zugang zu Email, Dateien, etc., das ist nicht OK. Der Vorschlag des Apple-Supports, doch eine neue Apple-ID anzulegen ist auch nicht OK.

    Hier der extrem frustrierte Originalton des Betroffenen. Dass er nun wieder Zugriff auf Daten und Dienste hat, liegt vermutlich vor allem daran, dass viele Zeitungen den Fall aufgegriffen haben und er eine gewisse 'Prominenz' in der "Apple-Welt" hat. Wer weiß, wie viele 'reguläre Apple-Nutzer' aus so einer Falle nie wieder rauskommen. Ich berichte über diesen Einzelfall, weil er nur ein Beispiel für die kolossale Abhängigkeit ist, in die wir uns durch die Nutzung der großen zentralen US-Dienste begeben.

    Über solche Kontensperrungen habe ich auch bereits früher im Zusammenhang mit den Aktivitäten zu ChatControl berichtet. Auch dabei wurden Personen unberechtigt die Konten gesperrt, nachdem ein automatisches System bei Ihnen Alarm geschlagen hatte.

     

    Russische Propaganda

    Das russische Pravda-Netzwerk, seit 2014 aktiv, gewinnt immer mehr an Einfluss. Mit Hilfe generativer AI-Systeme umfasst die tägliche Artikelproduktion ca 23000 Beiträge. Auch auf Hunderten westlicher Webseiten wird die Kreml-Propaganda zitiert.

    Ein weiterer Einflussfaktor ist das Einschleusen russischer Fake News in die westlichen Chatbots. Bereits in 2024 wurden mit Hilfe der AI-Systeme 3,6 Mio Artikel produziert und online gestellt, zB. auf Telegram. Viele der Artikel sind gar nicht für 'menschlichen Konsum' gedacht. Zielgruppe sind die automatischen Bots der Anbieter generativer AI-Systeme, die diese Texte für das Training ihrer Sprachmodelle nutzen. Dadurch kann Russland zB seine Sicht zum Ukraine-Krieg tief in den westlichen Sprachsystemen verankern.

    Hier mehr zu den russischen Fake News Trollfabriken.

     

    Stablecoins und GENIUS Act

    Trump hat durch den GENIUS Act [wiki] einen umfassenden Rechtsrahmen für Stablecoins geschaffen. Experten sehen nun neue Risiken, nicht für die Käufer der Stablecoins, die nun besser abgesichert sein sollten, sondern für die gesamte US-Wirtschaft. Wenn nämlich ausreichend viele Anleger und vor allem Groß-Anleger in Stablecoins investieren, so könnte eine Situation entstehen, bei der die US-Regierung 'gezwungen' sein könnte, die Krypto-Industrie 'zu retten', 'too big to fail' [wiki]. Die Details in How Crypto Could Trigger the Next Financial Crisis. In einem früheren Newsletter gab es ganz viel zu Stablecoins.

    Ganz frisch: Nobelpreisträger Paul Krugman erklärt, warum er im GENIUS-Act eine Gefahr für die US-Wirtschaft (und darüber hinaus) sieht: Getting Ready to Party Like It’s 2008. In einem anderen Beitrag erklärt er, warum das Schicksal der Kryptowährungen nun mit dem Schicksal von Trump so eng gekoppelt ist.

     

    Scam Compounds in Myanmar und die Verantwortung von Meta, etc.

    Zwei Nachrichten zu dem schrecklichen Thema: Myanmar’s junta blew up the buildings, broadcasting the explosions - viele beeindruckende Bilder. Aber die Scammer sind längst wo anders untergekommen.

    Ich hatte berichtet, dass Meta ganz außerordentlich an den Betrügereien verdient. Die EU versucht nun, Social Media Unternehmen für solche Betrügereien haftbar zu machen, wenn das Unternehmen gemeldeten Betrug auf ihrer Plattform nicht stoppt. Die US-Tech-Industrie findet das gar nicht gut.