194. Newsletter - sicherheitskultur.at - 31.03.2023

von Philipp Schaumann

Zum Archiv-Überblick

Hier die aktuellen Meldungen:

1. Schon wieder ChatGPT - die Kritikpunkte fokusieren sich

Eigentlich wollte ich nicht schon wieder über ChatGPT (und andere LLMs - Large Language Models) berichten. Im vorigen Newsletter berichtete ich, dass nun Systeme wie ChatGPT von Microsoft und Google in Suchmaschinen (und MS Office-Produkte und Google Office-Suite) integriert werden sollen und das ich das nicht für gut halte (speziell für die Suche im Internet). Aber ich habe in den letzten 4 Wochen so viele spannende und kritische Berichte dazu gehört und gelesen, dass es wieder zum Thema wird. (Europol ist beunruhigt und forscht zu möglichen Auswirkungen bei der Kriminalität und Forscher*innen von Microsoft entdecken nun 'Funken einer *künstlichen allgemeinen Intelligenz*' in GPT-4 und 'selbstständiges Denken, eigene Einstellungen und Pläne' - gruselig.)

Heute versuche ich eine Zusammenfassung vieler Kritikpunkte. Dies ist keine Kritik nur an ChatGPT sondern an dem gesamten Konzept der Large Language Models (LLM) als dem derzeitig einzigen Weg zu AGI (Artificial General Intelligence) und daran, dass damit derzeit bereits produktive Lösungen für den realen Einsatz erzeugt werden. (Andere LLMs sind z.B. die Systeme die Bilder oder Videos erzeugen, wie z.B. DALL·E, Midjourney (für Hetze missbraucht durch die AfD) oder das wegen Sexismus viel kritisierten Lensa AI.

Hier eine Zusammenstellung der wichtigsten Kritikpunkte - d.h. kurzfristig relevanten AI Risiken aus vielen Analysen.

• Diese Systeme werden trainiert auf Grund von riesigen realen Textmengen. Diese Texte reflektieren u.a. das Internet wie es eben derzeit aussieht: voller Vorurteile, Hassrede, Sexismus, Rassismus, Voreingenommenheit, etc. Die Entwickler müssen durch explizites Eingreifen in das System (zB durch nachträgliches 'Gendering' der Anfragen der Benutzer) und durch mühsames 'Reinigen' der Trainingstexte das schlimmste verhindern
• Dies sind statistische Systeme, sie generieren Texte auf der Grundlage von Wort-Wahrscheinlichkeiten. Sie 'verstehen' nicht mal so simple Konzepte wie Abzählen oder Sortieren, geschweige denn komplexere wie Verwandschaft, Beziehung, Gefühle, ethisches oder unethisches Verhalten. Unethisches oder Anleitungen für kriminelle Handlungen müssen die Entwickler durch das Verhindern von 'bösen' Fragestellungen verhindern. Dies lässt sich aber durch ein 'rein theoretisch' oder ähnliche Tricks 'austricksen'
• Die Systeme können auch nicht logisch Denken, keine Schlussfolgerungen, keine Kausalitäten (wenn - dann), haben kein grundlegendes Verständnis für die Welt und wie sie 'funktioniert' (weder Physik, noch Biologie, Wirtschaft, nichts)
• Die Systeme haben kein Konzept von Realität, Fiktion, Wahrheit oder Lüge. Sie sind 'confident bullshitter', sie reihen Worte auf Grund von Wort-Wahrscheinlichkeiten aneinander und erzeugen dadurch Texte, die überzeugend klingen. Auf Wunsch erfinden die Systeme auch Fake-Belege und -Quellenangaben. Sprachmodelle: Moral lässt sich nicht trainieren.
• Die Systeme können ein menschliches Gespräch simulieren (und sogar Gefühle), trotzdem bleibt es sinnfreies, statistisches Plappern (Linguistin Emily M. Bender: "You Are Not a Parrot")
• Die resultierenden Texte können so überzeugend sein, dass es Menschen gibt, die den Systemen menschliche Intelligenz und sogar menschliches Bewusstsein zugestehen
• Gefährlich werden diese Systeme, da sie (derzeit) unter ausschließlicher Kontrolle der High-Tech Firmen stehen. Ziel dieser Firmen ist nicht wirklich, die Welt zu verbessern, sondern es geht Microsoft, Google, etc darum, möglichst viel Geld zu verdienen. ZB indem solche Systeme durch noch viel besser optimierte Werbung mehr Menschen zum Kaufen zu überreden oder zum Ändern einer politischen Meinung oder (Wahl-)Entscheidung und zu Polarisierungen auf Auftrag zahlender Kunden (zB anderer Staaten)
• Dies führt möglicherweise zu immer extremeren Positionen und zu einer Destabilisierung unserer demokratischen Systeme.

Hier nun einige interessante Stellungnahmen (auf deren Grundlage ich die Kritikpunkte zusammengefasst habe).
Der amerikanische AI-Experte und Skeptiker Gary Marcus (emeritus professor of 'psychology and neural science') spricht 30 Min über die Geschichte von AI, LLM und ihre Möglichkeiten und Grenzen, und darüber, wie er die Möglichkeiten und vor allem die Grenzen für AGI sieht: On ChatGPT (mit Diskussion 1 Std.)

Gary Marcus hat große Bedenken, dass (wieder mal) mit viel Hype die Möglichkeiten von AI-Systemen überschätzt und die Gefahren der vielen inherenten Fehler drastisch unterschätzt werden. Sein Punkt ist: Deep Learning (d.h. statistische Korrelationen) sind kein Weg zu einem tieferen Verständnis der Welt und ihrer Zusammenhänge.

Selbst den Chef des ChatGPT-Entwicklers OpenAI Sam Altman beginnt es langsam ein bisschen zu gruseln, zB was diese Systeme in den Händen von autoritäten Regierungen und anderen Interessenten, die die Technologie nicht zum Wohl der Menschen einsetzen, anrichten könnte. Hier auch als Video.

Ganz frisch Ende März: Ein offener Brief von 1377 Experten, initiiert vom Future of Life Institute mit dem Ziel, gigantische KI-Experimente wie ChatGPT oder GPT4 für sechs Monate zu pausieren. Zunächst soll über die menschlichen und sozialen Auswirkungen der Technologie nachgedacht und Strategien zur Risikominimierung definiert werden.

Hier nun wieder Gary Marcus: AI risk ≠ AGI risk. Er schreibt über die laufenden Diskussionen, zB auf Twitter, wieviel Risiken die LLMs derzeit darstellen. Einige Kommentatoren haben Angst, dass wir es bereits mit AGI (artificial general intelligence) zu tun hätten, die nun sich selbst soweit verbessert, bis sie alle Macht auf der Erde hat und uns alle vernichten kann.

Das Szenerario halten Gary Marcus (und ich auch) bei den heutigen Systemen für vollkommen unrealistisch. Aber trotzdem hält er die Entwicklung für sehr riskant, da solche und ähnliche Systeme die in naher Zukunft entstehen werden in den falschen Händen großen Schaden anrichten können. An anderer Stelle findet sich eine gute Sammlung von kurzfristig und langfristig relevanten AI-Risiken.

Aktualisierung Ende 2024:
Der Versuch einer umfassenden Katalogisierung der Risiken von Artificial Intelligence. Die Forscher des MIT kommen auf über 1000 Punkte: What are the risks from Artificial Intelligence?

Kritik an ChatGPT

Italienische Datenschutzbehörde untersagt Betrieb von ChatGPT. Die Vorwürfe: Mangelnder Jugend- und Datenschutz, Verarbeitung von Personen-Daten ohne Zustimmung, insbesondere die Nutzung von Personen-Daten zum Trainieren des Systems. Außerdem ein Datenleck, das die Einsicht in die Informationen fremder Nutzer erlaubte, sogar Zahlungsdaten waren dabei. Die Behörde schreibt in einer Mitteilung: "In der Maßnahme stellt die Datenschutzaufsichtsbehörde fest, dass die Nutzer und alle Personen, deren Daten von OpenAI gesammelt werden, nicht informiert wurden, vor allem aber, dass es keine Rechtsgrundlage gibt, die die massive Sammlung und Speicherung personenbezogener Daten zum Zwecke des 'Trainings' der Algorithmen, die dem Betrieb der Plattform zugrunde liegen, rechtfertigt." Mit der fehlerhaften Verarbeitung von Personen-Daten ist wohl gemeint, dass (wie viele Beispiele zeigen) das System über Personen zum Teil vollkommen falsche Auskünfte erteilt. Die DSGVO enthält aber eine Verpflichtung zur Korrektheit der Daten über eine Person.

Zum Vorwurf des fehlenden Jugendschutzes: OpenAI gibt ChatGPT in seinen Nutzungsbedingungen für Menschen ab 13 Jahren frei, überprüft das Alter in der Web-App aber nicht. (Diesen Vorwurf halte ich persönlich für vergleichsweise schwach, denn dies mE trifft auf eigentlich alle Social Networks ebenso zu).

Update April 2023: ChatGPT hat Änderungen eingeführt (weltweit gültig :-) ) - ChatGPT in Italien wieder verfügbar .

In den USA hat die gemeinnützige Forschungsorganisation 'Center for AI and Digital Policy' die für Verbraucherschutz zuständige Federal Trade Commission (FTC) offiziell aufgefordert, gegen OpenAI Ermittlungen einzuleiten. Der zentrale Vorwurf lautet, dass OpenAIs Markteinführung von GPT-4 gegen US-amerikanisches Handelsrecht verstoße. Das Produkt täusche und gefährde Menschen, sei voreingenommen und stelle ein Risiko für das Privatleben sowie die öffentliche Sicherheit dar.

Hier zur Fortsetzung des ChatGPT-Themas im nächsten Newsletter.

2. Die Kündigungen bei High-Tech gehen immer weiter

Ergänzung zur langen Kündigungsliste in den vorigen Newslettern. Weil es bei den Investoren so geht ankommt - es geht immer weiter.

Amazon plant weitere 9000 Entlassungen, zusätzlich zu den 18.000 Jobs im Januar,
Facebook-Mutter Meta streicht weitere 10.000 Stellen.

Berichte im April besagen, dass die Entlassungen dem Betriebsklima nicht geholfen haben: "Moralische Krise" bei Meta-Mitarbeitern. Die Entlassungen und die dezentrale Führung führten dazu, dass Mitarbeiter das Gefühl hätten, 'in der Schwebe zu sein'.

Andere Berichte sagen, dass der Stellenabbau so funktioniert, wie gewünscht: Amazon steigert dank Stellenabbaus und Cloud-Services Gewinn überraschend deutlich.

Die Fortsetzung im Mai Newsletter - direkt AI-bedingte Kündigungen nehmen zu.

3. Die Regulierungsaktivitäten der EU (AI-Act, DMA, DSA)

AI-Act, die Regulierung der algorithmischen Systeme

Diese Regulierung ist ziemlich weit fortgeschritten, aber es wird immer noch über wichtige Details diskutiert/gestritten. Ein ganz wichtiger Punkt ist, was denn unter diese Regulierung fallen soll. Die Interessen der IT-Firmen die solche Systeme betreiben und einsetzen gehen natürlich dahin, den Regelungsumfang möglichst eng zu fassen und z.B. statistische Methoden auszuschließen.

Ich sehe das als zu eng - damit würde z.B. der Algorithmus mit dem das Arbeitsamt in Österreich entscheidet, ob ein Mensch eine Schulung bekommt, ausgeschlossen. Aber auch bei herkömmlichen statistischen Systemen besteht ein starkes Risiko der Diskriminierung wenn z.B. eine bestimmte Gruppe in den Basisdaten die die Grundlage des Algorithmus bestehen bereits Vorurteile enthalten sind oder bestimmte Gruppen einfach zu wenig vertreten sind. D.h. auch hier wäre eine Bewertung der Daten die zur Entscheidung führen sehr wichtig.

Sehr gut zu Fehlerquellen aller algorithmischen Systemen siehe Katharina A. Zweig: Wo Maschinen irren können - Fehlerquellen und Verantwortlichkeiten in Prozessen algorithmischer Entscheidungsfindung. Und als konkretes sehr gut dokumentiertes Beispiel das System in Rotterdam zur Erkennung von Sozialbetrug.

Hier nun Stimmen aus verschiedenen Perspektiven:
Bi-weekly newsletter des 'Future of Life Institutes' bringt Zusammenfassung von Stellungnahmen aus unterschiedlichen Perspektiven.
Hier ein Wirtschaftsinfomatiker der gern weniger Regulierung hätte: "Regulieren wir uns in der EU gerade tot?" (ich denke: Nein - ich bin ein Fan von Regulierungen). Hier mein voriger Beitrag zum AI-Act und die Fortsetzung im nächsten Monat.

Digital Services Act (DSA)

Das DSA ist bereits in Kraft. Hier mein voriger Beitrag zum DSA. Es geht beim DSA um die Regulierung großer Plattformen im Internet. Die erste Fragestellung ist, wer denn darunter fällt ('Very Large Online Platforms' (VLOP), bzw. 'Very Large Online Search Engines' (VLOSE) haben in der EU mindestens 45 Mio Nutzer, für sie sollen strenge Regeln gelten. Deutlich weniger Regeln gelten für kleinere Services). Hier die Tabelle der Berichte auf Google Docs). Hier die Liste der 19 VLOPs und VLOSE (der 'großen' im Internet):

• soziale Medien (Facebook, Instagram, Linkedin, Pinterest, Snapchat, Tiktok, Twitter, Youtube),
• Marktplätze (Aliexpress, Amazon, Booking.com, Google Shopping, Zalando) - Aktualisierung Juli 2023: Amazon und Zalando wehren sich gerichtlich gegen diese Einstufung
• Appstores (Apple, Google),
• Suchmaschinen (Bing, Google) - als VLOSE,
• Kartendienst Google Maps,
• als einziger nicht kommerzieller Anbieter Wikipedia (die das aber entspannt sieht)

Hier DSA's Scope Briefly Explained. Einige Punkte der neuen Verpflichtungen: Die 'großen' müssen Risikobetrachtungen machen, die Risiken (wie illegale Inhalte, Hasspostings, Manipulationen von Nutzern, etc) mitigieren (d.h. beheben) und dies auditieren lassen. Die kleineren (< 45 Mio User in EU) müssen zumindest ihre Moderationen intensivieren, z.B. schneller reagieren - die Minimum-Regeln was illegal ist, werden vorgegeben. Plattformen haften nicht für illegale Inhalte, sofern sie diese zügig entfernen, falls nicht, so haften sie für Schäden.

'Shadow banning' wird illegal, dh alle Einschränkungen für (oder gegen) einzelne Nutzer müssen kommuniziert werden und können beeinsprucht werden. Nutzer unter 18 dürfen keine benutzer-bezogene Werbung mehr gezeigt bekommen, dh keine automatisierte Analyse der Schwächen dieser Nutzer mehr. Alle Empfehlungsalgorithmen müssen transparenter gemacht werden.

Im DSA wird auch ein Verbot sogenannter 'Dark Patterns' umgesetzt. Dabei handelt es sich um irreführende Website-Designs, mit denen User beispielsweise dazu gedrängt werden, schnell eine Bestellung aufzugeben oder allen Cookies zuzustimmen. Hier ein Dokument des Europäischen Datenschutzausschuss (EDSA) zu irreführenden und DSGVO-widrigen Design-Elementen.

Die großen müssen sich ab September 2023 an die Regeln halten, die kleinen ab 17.February 2024. Theoretisch gelten die Regeln nur in der EU, es wird aber vermutet, dass viele der Firmen (so wie beim Datenschutz) die Regeln weltweit anwenden werden. Hier mein früherer Beitrag zum Inkrafttreten des DSAs und hier die Fortsetzung im Juli.

Digital Markets Act (DMA)

Der Digital Markets Act ist ebenfalls bereits in Kraft und kümmert sich um sogenannte Gatekeeper, dh Firmen mit sehr hohem Marktanteil, 'Quasi-Monopole', zB Amazon, Meta, Google. Konzernen wie Meta und Google soll künftig verboten werden, die Daten unterschiedlicher Dienste miteinander zu verknüpfen - solange keine explizite Zustimmung ihrer Kunden vorliegt. Große Handelsplattformen sollen gezwungen werden, ihre eigenen Angebote nicht zu bevorzugen (was Amazon sehr aktiv tut - siehe weiter unten das Training zu Wie funktioniert Amazon? Über die Mechanismen des Online-Riesen) und den Händlern die auf diesen Plattformen zu verkaufen versuchen die Daten bzgl. der Kunden und Interessenten dieser Händler zur Verfügung zu stellen (zB Suchanfragen die ihre Angebote betreffen, etc).

Mehr Details in einem früheren Beitrag zum DMA, hier die Fortsetzung im Juli.

5. Das Zeitalter des Überwachungskapitalismus - in 28 Min.

Für alle, die das Buch 'Surveyance Capitalism' immer schon mal kaufen und lesen wollten, hier ein Angebot: Eine 28 Min. Zusammenfassung durch Journalisten, die Autorin und Max Schrems (englische Sprache, aber mE gut verständlich).

Worum geht es? Unternehmen wie Google und Meta sind zu den wertvollsten der Welt geworden (siehe die Grafik weiter oben), weil sie auf komplexe Weise mit unseren persönlichen Daten handeln. Die Autorin Shoshana Zuboff, Max Schrems und viele anderen sprechen über die Gefahren hinter dem Wirtschaftsmodell der großen Technologieunternehmen.

Meine ausführliche Zusammenfassung des Buches Das Zeitalter des Überwachungskapitalismus.