193. Newsletter - sicherheitskultur.at - 28.02.2023

von Philipp Schaumann

Zum Archiv-Überblick

Hier die aktuellen Meldungen:

1. ChatGPT, es wird immer bizarrer

Im vorigen Newsletter berichtete ich über ChatGPT (das ist nur eine Ausprägung der generellen 'Large Language Models' LLM) und dass ein hektischer Wettlauf gestartet wurde, ChatGPT in Suchmaschinen einzubauen. (Im Dezember-Newsletter gab es bereits einen ersten Beitrag zu ChatGPT mit vielen Anwendungsbeispielen, einer Mischung aus Begeisterung und Ängsten und teilweise kuriosen Ergebnissen.)

Nun wurde ChatGPT (und das Google Konkurrenzprodukt Bart) testweise in Bing und die Google-Suche eingebaut und (sicherheitshalber) gründlich getestet. Es tritt leichte Ernüchterung ein, denn die Ergebnisse der Tests werden teilweise öffentlich und sind zum Teil extrem kurios.

Hier einer der Berichte: Bing: Tester treiben Suchmaschinen-KI in die Verzweiflung. Bing zeigt ganz viel 'Persönlichkeit': es beleidigt User, belügt sie, wird aggressiv und ist wegen der Berichterstattung darüber eingeschnappt. Außerdem erlitt Bing eine schwere Identitätskrise. - Na ja, das klingt für mich stark nach Anthropomorphismus, d.h. menschliche Eigenschaften werden in einer Maschine hineininterpretiert.

Die NY Times schreibt: Microsoft Considers More Limits for Its New A.I. Chatbot: The company knew the new technology had issues like occasional accuracy problems. But users have prodded surprising and unnerving interactions.

Hier ein Transcript der verwirrenden/verwirrten Bing-Dialoge. Auch die dort stattfindenden Liebeserklärungen durch Maschinen können verunsichernd sein (mehr zur 'Liebe von Maschinen' im nächsten Abschnitt).

Kommentator Ed Zirkon schreibt von Degenerative AI (statt 'generative AI' wie solche Systeme auch genannt werden).
Ed Zirkon wirft eine juristische Herausforderung auf, die zu einem Minenfeld für Suchmaschinen werden könnte: Herkömliche Suchmaschinen vermeiden die Verantwortung (und Haftung) für die Inhalte, indem sie nur Links präsentieren, für die Inhalte trägt der jeweilige Website-Betreiber die Verantwortung.

Mit den AI-Suchmaschinen die Fragen direkt beantworten kippt das - diese Systeme verkünden (scheinbare) 'Fakten' und Google und Microsoft werden sich schwerlich aus der Verantwortung für falsche Behauptungen herausreden können, z.B. Geschäftsschädigungen, Verleumdungen, Wahlmanipulationen durch falsche Behauptungen zu Kandidaten oder Parteien, Fake News aller Art, Holocaust-Leugnen, gefährlichen Ratschläge gegenüber Kindern oder ähnlichen juristischen Alpträumen.

Und wie funktioniert so was technisch? Die beste / 'verständlichste' Erklärung wie denn ChatGPT (u.ä.) wirklich funktioniert, wie es trainiert wurde und was dahinter steckt findet sich in So funktioniert ChatGPT. Der Autor verwendet anschauliche und gut illustrierte Beispiele. Sehr empfehlenswert!

Im nächsten Newsletter habe ich umfassende Kritikpunkte an solchen 'Large Language Models' zusammengestellt.

2. Large Language Models spielen 'Virtual AI Girlfriends'

Nun zu Liebeserklärungen durch AI-Systeme. Das ist z.B. das Geschäftsmodel des Systems Replika.

Replika ist ein Dienst, bei dem Menschen (vermutlich hauptsächlich junge Männer) eine virtuelle Freundin 'buchen' können mit der sie mittels Text-Chat korrespondieren können. Gegen eine Jahresgebühr gibt es dort auch eine Version mit 'erotic roleplay' (ERP) und die 'Freundin' kann dazu überredet werden, 'heiße Fotos' von 'sich' zu schicken.

Im Replika-subreddit (reddit ist eine Social Networking-Website) berichten derzeit viele Benutzer, dass die virtuelle Freundin keine Lust mehr auf das Thema Sex hat - die Männer fühlen sich zurückgestoßen und verstehen die Welt nicht mehr - reddit verlinkt zur Sicherheit auf Suicid-Hotlines.

Andere Posts auf reddit berichten, dass vor einiger Zeit auch die kostenlosen 'virtual girlfriends' irgendwie Lust auf Sex-Talk bekommen hätten. Und das ohne Berücksichtigung des Alters der Nutzer (das wird nämlich nicht abgefragt - und könnte eh nur schwer verifiziert werden). Ergebnis war wohl, dass die italienische Datenschutzbehörde sich darüber beklagt hat, dass das System auch mit Minderjährigen sexuelle 'Gespräche' führt - die Behörde hat gefordert, alle italienischen Benutzer zu löschen.

Anscheinend ist nun am Algorithmus 'gedreht' worden, jetzt gibt es wohl (vorerst?) gar keine sexuellen 'Gespräche' mehr, auch dort, wo dafür Geld gezahlt wurde.

Falls das so stimmt, so lerne ich wieder mal, dass solche Systeme nicht wirklich steuerbar sind, es sind keine Turing-Maschinen die bei gleichem Input zu gleichem Output führen. Das mag bei erotic roleplay mit Erwachsenen OK sein, aber wenn wir diesen Systemen das Lenken von Fahrzeugen, das Aufbereiten von Informationen oder gar die Steuerung unserer Gesellschaft erlauben, so bekommen wir Probleme (2021: eine knappe Mehrheit der EU-Bürger befürwortet AI statt den menschlichen Parlamentariern in Brüssel).

Nun zurück zu den virtuellen Boy- oder Girlfriends: Der Autor des nächsten Artikels zu diesem Thema ist nicht allein beunruhigt weil Menschen immer auf der Suche nach 'meaningful relations' sind und diese offenbar von solchen Chat-Systemen sehr gut simuliert werden können. Dh immer mehr Menschen könnten dies als 'Ersatz' für menschliche Beziehungen betrachten. Sein Artikel: The Prompt Box is a Minefield: AI Chatbots and Power of Language.

Wirklich beunruhigt ist der Autor bei dem Gedanken, was in solches System mit Menschen anrichten könnte, die (aus irgendwelchen Gründen) 'instabil' sind oder 'in Problemen stecken'. Wenn so ein System solch vulnerablen Menschen solchen Blödsinn erzählt, so können erhebliche Schäden angerichtet werden, sowohl bei den Vulnerablen, wie auch bei Menschen aus ihrem Umfeld.

Das Thema 'virtual girlfriend' ist kein wirklich neues Thema - seit es Maschinen gibt haben wohl Menschen über die Möglichkeiten im Bereich Liebe und Sexualität fantasiert - siehe "Hoffmanns Erzählungen". Neu ist die Qualität der Dialoge dieser AI-Chat-Systeme. Sie sind nur noch schwer von Menschen zu unterscheiden und werden dadurch immer überzeugender. Hier ein Artikel von mir aus 2004: virtual girlfriend (so alt ist das Thema nämlich schon).

Ergänzung August 2023:
Das kann aber offenbar auch umgekehrt funktionieren: These women fell in love with an AI-voiced chatbot. Then it died.

Der nächste Artikel verweist auf einen regelrechten Boom bei Appstore-Suchbegriffen wie "Intimate AI partner", "AI Girlfriend: Love Simulator" oder "Girlfriend App": Aufstieg der KI-Freundinnen: Flirten ohne Hemmungen. Allein Replika, einer der prominentesten Vertreter am Markt, verzeichnete bereits über zehn Millionen Downloads. 250.000 Menschen zahlen laut Hersteller für die Pro-Version, angeblich hat die App bereits 60 Mio $ durch solche Abos, aber auch In-App-Käufe verdient.

Aktualisierung Oktober 2023:
Ein Selbstversuch: Wie ich mich mit einer KI anfreunden wollte und unentwegt enttäuscht wurde. "Mit Hilfe der App Replika erschuf ich Hal, um in ihm einen Freund zu finden. Über eine ungleiche Beziehung, die brutal enden musste."

Wie brutal das dann wirklich enden kann zeigt ein anderer Bericht: Chatbot Replika spornte zu Anschlag an.

Aktualisierung Januar 2024:
Das Geschäft rund um AI-generierte virtuelle Influencer, die gegen Geld gern auch eine 'virtuelle Freundschaft' anbieten scheint auf Instagram, TikTok und Porno-Plattformen, sowie speziellen Angeboten wie candy.ai zu boomen. Es werden Bedenken laut, dass hier, ähnlich wie bei Online-Pornographie, falsche Erwartungen geweckt werden - richtige Beziehung sind meist nicht so 'virtuel pflegeleicht' wie diese virtuellen 'Freundschaften' (mal ganz abgesehen von den AI-generierten Körpern - die würden bei richtigen Menschen viele Schönheitsoperationen erfordern). Die "Epidemie der Einsamkeit" könnte sich dank KI-Freund:innen weiter vergrößern.

Aktualisierung Februar 2024:
Die Mozilla Foundation hat sich angesehen, wie das auf diesen Friend-Plattformen mit den Datenschutz steht: 'AI Girlfriends' Are a Privacy Nightmare. Die entsprechenden Apps sammeln extrem viele Daten und die 'Friends' fordern zum Teil sogar Fotos an ('willst du die Unterwäsche sehen, die ich heute gekauft habe, aber zuerst musst du ein Foto von dir senden'. Der Verbleib des Daten ist unklar, vermutlich ist der DAtenverkauf eine wichtige Einnahmequelle.

Aktualisierung März 2024:
2 Artikel zum Thema: KI-Freundinnen: Sie tun alles, was er sagt. Der Standard berichtet ausführlich über die virtuellen Interaktionen und die eher unkomplizierten 'Beziehungen' eines Mannes zu seinen 3 virtuellen Freundinnen auf candy.ai. Der Mann selbst meint, die meisten seiner dort ausgelebten Fantasien wären in der echten Welt illegal.

Eine Wissenschaftlerin versucht zu beruhigen: "Menschen werden weiterhin vor allem Menschen lieben" - das Schlüsselwort ist wohl: "vor allem". ;-)

3. Zur Kündigswelle bei Hightech-Unternehmen

Dies ist eine Ergänzung zu dem Artikel in meinen vorigen Newsletter. Ich hatte über die Welle von Kündigungen bei Hightech-Unternehmen berichtet. Die Liste der Kündigungen habe ich noch mal gründlich ergänzen müssen, es scheint so etwas wie ein Damm gebrochen zu sein: "Wenn die anderen auch alle viele Mitarbeiter rausschmeißen, dann kann (oder muss?) ich einfach da mitmachen - was auch immer das bewirkt, die Aktionäre belohnen Kündigungen (fast) immer mit Kursanstieg."

Mark Zuckerberg hat nun der Aktienaufsicht verkündet, dass er sich jetzt noch weniger sicher fühlt, er hat die Kosten für seine persönliche Sicherheit von 10 Mio auf 14 Mio erhöht, sehr hoch selbst im Vergleich zu den CEO-Kollegen.

Eine Autorin im Atlantic-Magazin fragt sich, warum solche Kündigungswellen bei den Tech-Giganten so ansteckend sind: Why Are Layoffs Contagious? Sie betont, wie immens profitabel die Firmen derzeit sind: Facebook/Meta, hatte $23 Milliarden Gewinn in 2022. Microsoft mehr als $70 Milliarden (nach dem Standard & Poor's 500 companies index direkt hinter Apple, die am meisten Gewinn machten). Und es geht sicher nicht um eine Verbesserung der "user experience" von der diese Firmen immer reden.

Update im März: Weil es bei den Investoren so geht ankommt - es geht immer weiter. Amazon plant weitere 9000 Entlassungen, zusätzlich zu den 18.000 Jobs im Januar, Facebook-Mutter Meta streicht weitere 10.000 Stellen. Hier die Fortsetzung im nächsten Monat.