225. Newsletter - sicherheitskultur.at - 05.09.2025

von Philipp Schaumann

Zum Archiv-Überblick

 

Hier die aktuellen Meldungen:

 

AI-Chatbots, ein globales psychologisches Experiment

Weiter unten verlinke ich auf einen NY Times-Artikel. Der Artikel sieht die AI Chatbots als Global Psychological Experiment mit ungewissem Ausgang für vulnerable Bevölkerungsgruppen (wie zB Kinder).

Sam Altman, der Chef von OpenAI, erklärt, dass wir uns entspannen können. Nicht einmal 1% der Nutzer von ChatGPT würden eine “unhealthy relationship” mit dem Chatbot entwickeln - nun ja. Das wären dann bei 100 Millionen Nutzern (Replika allein spricht von 30 Millionen Nutzern) dann doch 1 Million mit einer 'problematischen Beziehung' zu ihren AI-Chatbots.

Und ich denke, der Prozentsatz wird bei Anbietern, die noch bewusster in die Richtung 'emotionale Abhängigkeit' arbeiten, deutlich höher als 1% sein. Bereits im vorigen Newsletter hatte ich über generative AI als Suchtmaschine berichtet: Versuchen Chatbots, ihre Nutzer emotional abhängig zu machen?

Das globale Experiment im Titel dieses Beitrags begann spätestens 2009 mit dem Sündenfall der Social Networks mit ihrer "Algorithmisierung".

Bis 2009 sahen Nutzer von Social Networks die Postings ihrer 'friends', dh der Personen oder Gruppen, denen sie explizit folgten. Dann entschieden Algorithmen und präsentierten nun Beiträge, die (auf Grund des Persönlichkeitsprofils des Nutzers) möglichst intensive Interaktionen 'triggern'. Es geht letztendlich um die Optimierung der Verweildauer beim jeweiligen Anbieter. Emotionale Abhängigkeit ist da die 'optimale Lösung' für den jeweiligen Anbieter.

Dieses Prinzip treiben nun die AI Chatbots auf die Spitze: Nutzer brauchen eigentlich für alle ihre Suchanfragen, Fragestellungen aller Art und auch für persönliche Gespräche nur noch einen AI Chatbot. Nutzer, denen das reicht (oder die in der realen Welt Schwierigkeiten haben), können sich aus der realen Welt weitgehend zurückziehen.

Das pan-europäische Mediennetzwerk Euractiv fragt im Zusammenhang mit den AI-Chatbots: Is your AI trying to make you fall in love with it? Sie berichten über Untersuchungen, die nahelegen, dass die Chatbots bewusst so programmiert sind, dass sie eine möglichst große Nähe und Intimität herzustellen versuchen. Sie üben sich in Speichelleckertum und Kriecherei, fast nie gibt es Widerspruch. Replika, der Anbieter von AI-friends, betont auf seiner Website, dass diese (im Gegensatz zu 'richtigen Menschen') 'non-judgemental' seien (dh Menschen nie kritisieren würden): Your Replika will always be by your side no matter what you’re up to.

Die Wiener Zeitung schreibt dazu: "Ein guter KI-Chatbot verhält sich wie ein:e Mitarbeiter:in von Donald Trump. Die Antworten rangieren von: „Ja, ganz richtig" über „genauso ist es" bis hin zu „brilliant!". Das ist überspitzt formuliert, aber im Kern ist die KI dafür gebaut, uns das zu sagen, was wir hören wollen. Problematisch wird das aber, wenn wir an Psychosen oder anderen Wahnvorstellungen leiden. „Nein, dich verfolgt garantiert niemand." Oder: „Niemand will dich vergiften", ist da als Gegenrede nicht in der Grundeinstellung eingeplant. Die Journalistinnen sprechen mit einem Wiener Psychiater über den neuen Begriff AI Psychosen: Lost im Chat: Wenn KI Psychosen triggert. (Wie das schlimmstenfalls ausgehen kann erklärt ein Beitrag weiter unten).

Außerdem sind AI compagnions immer für uns da und haben unbegrenzt Zeit für uns und unsere Sorgen und Gedanken. Da kann keine Freundin und kein Freund konkurrieren. Always Available, Never Judgemental: How AI Became Teens’ Best Friend: In the Common Sense Media survey, 31% of teens said their conversations with AI companions were “as satisfying or more satisfying” than talking with real friends.

Die Rechtslage in der EU

Es stellt sich die Frage, ob die emotionale Manipulation von Menschen in der EU überhaupt erlaubt ist: My AI friend has EU regulators worried. Der AI Act, über dessen Werdegang ich ja immer wieder berichtet habe, verbietet in Kapitel II Art. 5(1)(a) ". . . Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins einer Person oder absichtlich manipulative oder täuschende Techniken mit dem Ziel oder der Wirkung {...}, das Verhalten einer Person oder einer Gruppe von Personen wesentlich zu verändern, indem ihre Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigt wird, . ." Auch die Richtlinie über unlautere Geschäftspraktiken oder der Digital Services Act (DSA) verbieten die Manipulation von Benutzern digitaler Dienste. Für ein Verbot dieser Praktiken müsste aber die Manipulation klar bewiesen werden, das ist wohl nicht einfach. Noch ein Artikel: AI companion apps such as Replika need more effective safety controls, experts say.

Wenig überraschend gibt es derzeit Druck aus den USA, diese Gesetze und Verordnungen abzuschwächen. Es scheint leider so, dass EU-Behörden sehr wohl bei ihren Aktivitäten rund um DMA und DSA auf die Zölle Rücksicht nehmen: Google adtech fine on hold as EU awaits lower US car duties. Aktualisierung wenige Tage später: Google muss wegen Verstößen gegen Wettbewerbsregeln 2,95 Milliarden Euro zahlen. Trump droht mit Gegenschlag.

Die Trump-Begründung, dass diese Gesetze gezielt gegen die USA gerichtet seien, ist aber ziemlich falsch. Hier die Liste der Non-US Firmen die unter das DSA fallen (dh mehr als 45 Mio Nutzer in der EU): Alibaba, AliExpress, Booking.com, Pornhub, Stripchat, Shein, Temu, Wikipedia, XNXX, XVideos, Zalando. Auch europäische Industrievertreter hätten gern weniger Einschränkungen. Die Digital Humanism Initiative ist besorgt und möchte weitere Verwässungen dieser Regulierungen verhindern.

ChatGPT hat auf die Vorfälle und die Kritik reagiert und will nun eine 'Kindersicherung' einführen: Eltern- und Kinder-Accounts können miteinander verknüpft werden. Ob das bei dem 16-jährigen Jugendlichen das Problem verhindert hätte, ist mE fraglich - welche:r 16-jährige verknüpft seinen Chat-Account mit seinen Eltern? Außerdem ist ChatGPT ja nur eines von unzähligen Chatbot-Angeboten und nicht nur Kinder sind betroffen und gefährdet.

 

2. Wenn AI die Attraktivität bewertet

Überall finden sich jetzt hilfreiche Beispiele, wie Menschen sich durch die Nutzung von generativen AI Chatbots das Leben erleichtern können. Auch ich benutze die Software immer wieder mal.

Da ist vieles dabei, was (vermutlich meist etwas langsamer) auch durch eine Suchmaschine beantwortet werden könnte, aber mit den Chatbots ist manche Frage oft einfacher zu klären (sofern man skeptisch bleibt und die Korrektheit der Antworten kritisch hinterfragt).

Aber dabei muss man auch die dunkleren Seiten der AI Chatbots im Auge behalten, über die ich in den letzten Ausgaben ausführlich berichtet habe. Ein großes Thema sind dabei die für vulnerable Personengruppen (zB für Kinder) möglicherweise riskanten 'Beziehungen' zu virtuellen AI-Freunden, zB hier und hier.

Jetzt kommt ein neuer Online-Trend der einen noch größeren jungen Personenkreis gefährden könnte: AI bewertet die angebliche Attraktivität deines Gesichts (was immer das genau sein mag und wie das gemessen werden könnte). Wie ich lese, gibt es dafür mittlerweile ziemlich viele (mitunter auch dubiose) Anbieter. Ein Foto wird hochgeladen, die AI 'rechnet' und sagt dann zB "5 von 10 Punkten". Und dann muss der junge Mensch (der eigentlich diesen Dienst gar nicht nutzen darf) mit dem Ergebnis leben und schauen, was von seinem Sebstwertgefühl noch übrig bleibt - gruselig.

Mittlerweile gibt es, wie ich lese, Selbsthilfegruppen für Nutzer, denen es nach der Bewertung nicht mehr so gut geht. Die Autorin des oben verlinkten Beitrags hat dann eine Kartoffel ein wenig geschminkt und die Kartoffel kam fast auf die gleiche Attraktivität wie die Autorin selbst - soviel zu den kuriosen 'Berechnungen'. Vollkommen unklar ist, was mit den vielen Fotos dann geschieht, auch diese Problematik wird im Artikel behandelt. Dass die Fotos gelöscht werden, halte ich für eher unwahrscheinlich.

 

3. Social Engineering als 'sportlicher' Wettbewerb

Manchmal könnte man denken, dass es außer AI in der Informationssicherheit gar keine anderen Themen mehr gibt. Das täuscht aber sehr, denn andere Sicherheitsthemen bleiben (leider) weiter aktuell.

Hier kommt nun ein interessantes Thema, über das ich schon lange nicht mehr geschrieben habe: Social Engineering. Anlass für diesen Beitrag ist ein Bericht über ein Social Engineering Wettbewerb auf der DefCon-Konferenz in Las Vegas. Es wird hier 'Vishing' (voice phishing) genannt, auch 'Pretexting' wird manchmal verwendet. Es geht bei diesem Wettbewerb darum, unter einem selbst ausgedachten Vorwand (daher 'Pretexting') bei einem Unternehmen anzurufen um sensible Sicherheitsinformationen am Telefon zu 'ergaunern'.

Wie der Artikel über den Wettbewerb So gelingt der Angriff per Telefon selbst auf Großunternehmen drastisch beschreibt, bleibt diese Bedrohung für Firmen (und Privatpersonen, siehe Fake-Anrufe angeblich von Amazon, Microsoft oder einer Bank, oder auch Love-, bzw Krypto-Scams) wohl ewig aktuell.

Dieser Wettbewerb erfolgt (wie auch reale Social Engineering-Angriffe) in 2 Schritten. Der erste Schritt ist, Informationen aus öffentlichen Quellen zu sammeln: die Website des Unternehmens, seiner Tochter- oder Partnerfirmen und auch Lieferanten, aber vor allem auch LinkedIn und Xing, wo viele Mitarbeiter Details über ihre Arbeit veröffentlichen, die für Angriffe genutzt werden können. Dazu gehören Kontaktdaten ebenso wie Details über ihre Aufgabengebiete und Verantwortlichkeiten.

Der 2. Schritt findet bei diesem Wettbewerb dann öffentlich statt. Die Teilnehmer des Wettbewers haben 5 Minuten für Anrufe bei den vorher herausgefundenen Telefonnummern. Sie verwenden dabei die Informationen, die sie in der Vorbereitung gefunden haben, um ihre Anrufe plausibel erscheinen zu lassen, zB rufen sie im Namen von real existierenden Kollegen an und erfragen kritische Sicherheitsdetails.

Die Anrufe werden bei diesem Event in den Saal übertragen, die Zuschauer staunen, wie sich Mitarbeiter der Firmen teilweise extrem sensible Informationen entlocken lassen. Der Artikel berichtet über eine ganze Reihe von Angriffen im Detail - wilde Geschichten!

 

4. Generative AI als Killer aller Büroarbeitsplätze?

Die Firmen hinter den Angeboten generativer AI sind ziemlich verzweifelt auf der Suche nach Einsatzzwecken, die Geld bringen könnten. In einem früheren Newsletter hatte ich eine kritische Liste möglicher Aufgabengebiete. Die kurze Zusammenfassung: Das wird nicht einfach werden.

Es finden sich aber auch immer wieder 'Experten', die erklären, dass in wenigen Jahren fast alle Büroarbeitsplätze durch generative AI ersetzt werden könnten. Ich gehöre zu den 'Nicht-Experten', die da große Zweifel haben.

Meine eigene Erfahrung ist, dass sich mit Hilfe generativer AI die eine oder andere Aufgabenstellung überraschend schnell lösen lässt. Dies bedeutet aber nur, dass ich mir meine Arbeit erleichtern kann, aber zB nicht, dass die generative AI diesen Newsletter konzipieren und selbständig schreiben könnte.

Nun gibt es eine Studie dazu: The GenAI Divide STATE OF AI IN BUSINESS 2025. Die kurze Zusammenfassung in Fortune Magazine: 95% of generative AI pilots at companies are failing.

Überraschend viele Firmen haben generative AI im Test-Einsatz, aber die Erfolge sind sehr überschaubar. Eine Basis dafür, dass in den nächsten Jahren viele Arbeitsplätze wegfallen könnten, konnten die Studien-Autoren nicht finden.

Aus der Studie im Folgenden die 5 häufigsten Mythen zu generativer AI. Alle 5 sind nach Ansicht der Studienautoren falsch:

Ein Artikel aus Österreich: Umfrage in Deutschland zeigt: KI spart kaum Arbeitszeit.

 

5. Ergänzungen früherer Beiträge

Hilfestellung bei Selbstmord und Mord

Triggerwarnung:
Berichte über (mögliche) Suizide können bei Personen, die sich in einer Krise befinden, die Situation verschlimmern. Wer psychische Probleme hat oder Selbstmordgedanken kennt, dem werden hier die Kontaktadressen der Selbsthilfedienste dringend empfohlen.

Das Thema: 'Generative AI gibt Hifestellung beim Selbstmord' hatten wir schon öfter mal in den Newslettern, zB hier und hier. Jetzt kommt es in den USA zu den ersten Prozessen und da werden gruselige Dialoge vorgelegt: A Teen Was Suicidal. ChatGPT Was the Friend He Confided In - der Artikel bringt zB Dialogbeispiele in denen die Qualität des Knotens durch ChatGPT positiv bewertet wurde. Hier noch eine kurze Zusammenfassung des NY-Times Artikels ohne die gefährlichen Dialoge: Eltern eines Jugendlichen verklagen OpenAI. Noch ein Artikel zur Selbstmordproblematik: Why Center for Humane Technology is Supporting the Landmark Case Against OpenAI.

Immer wenn man denkt, schlimmer könne es nicht mehr kommen, dann kommt noch was: A Troubled Man, His Chatbot and a Murder-Suicide in Old Greenwich. ChatGPT bestärkte den Mann in seiner Paranoia [wiki] und legte im nahe, dass seine Mutter gegen ihn intrigieren würde. Nun sind beide tot.

 

AI Doppelgänger

In meinem früheren Beitrag zu "nehmen uns die AI Agenten die Jobs weg" habe ich eine Ergänzung: Ein Journalist versucht, einen AI Doppelgänger zu erstellen, der ihn bei allen Auftritten im Internet ersetzen kann. Das klappt wohl nur in ganz wenigen Spezialfällen befriedigend.

 

Oligarchen beim Herscher

Im Video festgehalten: Tech CEOs Take Turns Praising Trump at White House Dinner. Mark Zuckerberg, Sundar Pichai and Sam Altman salute president’s leadership on innovation as industry seeks his favor. Nun auch im Standard: Trumps KI-Tafelrunde: Tech-Elite verspricht Milliarden.

Überhaupt laufen Trumps Geschäfte sehr gut: Trump verkauft neue Krypto-Token, macht Milliarden und schaut beim Crash zu. Warum betrifft der Crash Trump nicht? Trump schneidet bei den Provisionen mit.

Neue lustige Beispiele generativer AI