194. Newsletter - sicherheitskultur.at - 31.03.2023

von Philipp Schaumann

Themen-Überblick aller Newsletter

Hier die aktuellen Meldungen:

1. Schon wieder ChatGPT - die Kritikpunkte fokusieren sich

Eigentlich wollte ich nicht schon wieder über ChatGPT (und andere LLMs - Large Language Models) berichten. Im vorigen Newsletter berichtete ich, dass nun Systeme wie ChatGPT von ↑(opens in a new tab)Microsoft und ↑(opens in a new tab)Google in Suchmaschinen (und ↑(opens in a new tab)MS Office-Produkte und ↑(opens in a new tab)Google Office-Suite) integriert werden sollen und das ich das nicht für gut halte (speziell für die Suche im Internet). Aber ich habe in den letzten 4 Wochen so viele spannende und kritische Berichte dazu gehört und gelesen, dass es wieder zum Thema wird. (Europol ist beunruhigt und forscht zu möglichen ↑(opens in a new tab)Auswirkungen bei der Kriminalität und Forscher*innen von Microsoft entdecken nun 'Funken einer *künstlichen allgemeinen Intelligenz*' in GPT-4 und '↑(opens in a new tab)selbstständiges Denken, eigene Einstellungen und Pläne' - gruselig.)

Heute versuche ich eine Zusammenfassung vieler Kritikpunkte. Dies ist keine Kritik nur an ChatGPT sondern an dem gesamten Konzept der ↑(opens in a new tab)Large Language Models (LLM) als dem derzeitig einzigen Weg zu AGI (↑(opens in a new tab)Artificial General Intelligence) und daran, dass damit derzeit bereits produktive Lösungen für den realen Einsatz erzeugt werden. (Andere LLMs sind z.B. die Systeme die Bilder oder Videos erzeugen, wie z.B. ↑(opens in a new tab)DALL·E, ↑(opens in a new tab)Midjourney (für Hetze ↑(opens in a new tab)missbraucht durch die AfD) oder das wegen Sexismus viel kritisierten ↑(opens in a new tab)Lensa AI.

Hier eine Zusammenstellung der wichtigsten Kritikpunkte - d.h. kurzfristig relevanten AI Risiken aus vielen Analysen.

• Diese Systeme werden trainiert auf Grund von riesigen realen Textmengen. Diese Texte reflektieren u.a. das Internet wie es eben derzeit aussieht: voller Vorurteile, Hassrede, Sexismus, Rassismus, Voreingenommenheit, etc. Die Entwickler müssen durch explizites Eingreifen in das System (zB durch nachträgliches 'Gendering' der Anfragen der Benutzer) und durch mühsames 'Reinigen' der Trainingstexte das schlimmste verhindern
• Dies sind statistische Systeme, sie generieren Texte auf der Grundlage von Wort-Wahrscheinlichkeiten. Sie 'verstehen' nicht mal so simple Konzepte wie Abzählen oder Sortieren, geschweige denn komplexere wie Verwandschaft, Beziehung, Gefühle, ethisches oder unethisches Verhalten. Unethisches oder Anleitungen für kriminelle Handlungen müssen die Entwickler durch das Verhindern von 'bösen' Fragestellungen verhindern. Dies lässt sich aber durch ein 'rein theoretisch' oder ähnliche Tricks 'austricksen'
• Die Systeme können auch nicht logisch Denken, keine Schlussfolgerungen, keine Kausalitäten (wenn - dann), haben kein grundlegendes Verständnis für die Welt und wie sie 'funktioniert' (weder Physik, noch Biologie, Wirtschaft, nichts)
• Die Systeme haben kein Konzept von Realität, Fiktion, Wahrheit oder Lüge. Sie sind 'confident bullshitter', sie reihen Worte auf Grund von Wort-Wahrscheinlichkeiten aneinander und erzeugen dadurch Texte, die überzeugend klingen. Auf Wunsch erfinden die Systeme auch Fake-Belege und -Quellenangaben. ↑(opens in a new tab)Sprachmodelle: Moral lässt sich nicht trainieren.
• Die Systeme können ein menschliches Gespräch simulieren (und sogar Gefühle), trotzdem bleibt es sinnfreies, statistisches Plappern (Linguistin Emily M. Bender: "↑(opens in a new tab)You Are Not a Parrot")
• Die resultierenden Texte können so überzeugend sein, dass es Menschen gibt, die den Systemen menschliche Intelligenz und sogar menschliches Bewusstsein zugestehen
• Gefährlich werden diese Systeme, da sie (derzeit) unter ausschließlicher Kontrolle der High-Tech Firmen stehen. Ziel dieser Firmen ist nicht wirklich, die Welt zu verbessern, sondern es geht Microsoft, Google, etc darum, möglichst viel Geld zu verdienen. ZB indem solche Systeme durch noch viel besser optimierte Werbung mehr Menschen zum Kaufen zu überreden oder zum Ändern einer politischen Meinung oder (Wahl-)Entscheidung und zu Polarisierungen auf Auftrag zahlender Kunden (zB anderer Staaten)
• Dies führt möglicherweise zu immer extremeren Positionen und zu einer Destabilisierung unserer demokratischen Systeme.

Hier nun einige interessante Stellungnahmen (auf deren Grundlage ich die Kritikpunkte zusammengefasst habe).
Der amerikanische AI-Experte und Skeptiker Gary Marcus (emeritus professor of 'psychology and neural science') spricht 30 Min über die Geschichte von AI, LLM und ihre Möglichkeiten und Grenzen, und darüber, wie er die Möglichkeiten und vor allem die Grenzen für AGI sieht: ↑(opens in a new tab)On ChatGPT (mit Diskussion 1 Std.)

Gary Marcus hat große Bedenken, dass (wieder mal) mit viel Hype die Möglichkeiten von AI-Systemen überschätzt und die Gefahren der vielen inherenten Fehler drastisch unterschätzt werden. Sein Punkt ist: ↑(opens in a new tab)Deep Learning (d.h. statistische Korrelationen) sind kein Weg zu einem tieferen Verständnis der Welt und ihrer Zusammenhänge.

Selbst den Chef des ↑(opens in a new tab)ChatGPT-Entwicklers OpenAI Sam Altman beginnt es langsam ein bisschen zu gruseln, zB was diese Systeme in den Händen von autoritäten Regierungen und anderen Interessenten, die die Technologie nicht zum Wohl der Menschen einsetzen, anrichten könnte. Hier auch ↑(opens in a new tab)als Video.

Ganz frisch Ende März: Ein offener Brief von 1377 Experten, initiiert vom ↑(opens in a new tab)Future of Life Institute mit dem Ziel, gigantische KI-Experimente wie ChatGPT oder GPT4 für sechs Monate zu pausieren. Zunächst soll über die menschlichen und sozialen Auswirkungen der Technologie nachgedacht und Strategien zur Risikominimierung definiert werden.

Hier nun wieder Gary Marcus: ↑(opens in a new tab)AI risk ≠ AGI risk. Er schreibt über die laufenden Diskussionen, zB auf Twitter, wieviel Risiken die LLMs derzeit darstellen. Einige Kommentatoren haben Angst, dass wir es bereits mit AGI (artificial general intelligence) zu tun hätten, die nun sich selbst soweit verbessert, bis sie alle Macht auf der Erde hat und uns alle vernichten kann.

Das Szenerario halten Gary Marcus (und ich auch) bei den heutigen Systemen für vollkommen unrealistisch. Aber trotzdem hält er die Entwicklung für sehr riskant, da solche und ähnliche Systeme die in naher Zukunft entstehen werden in den falschen Händen großen Schaden anrichten können. An anderer Stelle findet sich eine gute Sammlung von ↑(opens in a new tab)kurzfristig und langfristig relevanten AI-Risiken.

Aktualisierung Ende 2024:
Der Versuch einer umfassenden Katalogisierung der Risiken von Artificial Intelligence. Die Forscher des MIT kommen auf über 1000 Punkte: ↑(opens in a new tab)What are the risks from Artificial Intelligence?

Kritik an ChatGPT

↑(opens in a new tab)Italienische Datenschutzbehörde untersagt Betrieb von ChatGPT. Die Vorwürfe: Mangelnder Jugend- und Datenschutz, Verarbeitung von Personen-Daten ohne Zustimmung, insbesondere die Nutzung von Personen-Daten zum Trainieren des Systems. Außerdem ein Datenleck, das die Einsicht in die Informationen fremder Nutzer erlaubte, sogar Zahlungsdaten waren dabei. Die ↑(opens in a new tab)Behörde schreibt in einer Mitteilung: "In der Maßnahme stellt die Datenschutzaufsichtsbehörde fest, dass die Nutzer und alle Personen, deren Daten von OpenAI gesammelt werden, nicht informiert wurden, vor allem aber, dass es keine Rechtsgrundlage gibt, die die massive Sammlung und Speicherung personenbezogener Daten zum Zwecke des 'Trainings' der Algorithmen, die dem Betrieb der Plattform zugrunde liegen, rechtfertigt." Mit der fehlerhaften Verarbeitung von Personen-Daten ist wohl gemeint, dass (wie viele Beispiele zeigen) das System über Personen zum Teil vollkommen falsche Auskünfte erteilt. Die DSGVO enthält aber eine Verpflichtung zur Korrektheit der Daten über eine Person.

Zum Vorwurf des fehlenden Jugendschutzes: OpenAI gibt ChatGPT in seinen Nutzungsbedingungen für Menschen ab 13 Jahren frei, überprüft das Alter in der Web-App aber nicht. (Diesen Vorwurf halte ich persönlich für vergleichsweise schwach, denn dies mE trifft auf eigentlich alle Social Networks ebenso zu).

Update April 2023: ChatGPT hat Änderungen eingeführt (weltweit gültig :-) ) - ↑(opens in a new tab)ChatGPT in Italien wieder verfügbar .

In den USA hat die gemeinnützige Forschungsorganisation ↑(opens in a new tab)'Center for AI and Digital Policy' die für Verbraucherschutz zuständige Federal Trade Commission (FTC) offiziell aufgefordert, gegen OpenAI Ermittlungen einzuleiten. Der zentrale Vorwurf lautet, dass OpenAIs Markteinführung von GPT-4 gegen US-amerikanisches Handelsrecht verstoße. Das Produkt täusche und gefährde Menschen, sei voreingenommen und stelle ein Risiko für das Privatleben sowie die öffentliche Sicherheit dar.

Hier zur Fortsetzung des ChatGPT-Themas im nächsten Newsletter.

2. Die Kündigungen bei High-Tech gehen immer weiter

Ergänzung zur langen Kündigungsliste in den vorigen Newslettern. Weil es bei den Investoren so geht ankommt - es geht immer weiter.

↑(opens in a new tab)Amazon plant weitere 9000 Entlassungen, zusätzlich zu den 18.000 Jobs im Januar,
↑(opens in a new tab)Facebook-Mutter Meta streicht weitere 10.000 Stellen.

Berichte im April besagen, dass die Entlassungen dem Betriebsklima nicht geholfen haben: ↑(opens in a new tab)"Moralische Krise" bei Meta-Mitarbeitern. Die Entlassungen und die dezentrale Führung führten dazu, dass Mitarbeiter das Gefühl hätten, 'in der Schwebe zu sein'.

Andere Berichte sagen, dass der Stellenabbau so funktioniert, wie gewünscht: ↑(opens in a new tab)Amazon steigert dank Stellenabbaus und Cloud-Services Gewinn überraschend deutlich.

Die Fortsetzung im Mai Newsletter - direkt AI-bedingte Kündigungen nehmen zu.

3. Die Regulierungsaktivitäten der EU (AI-Act, DMA, DSA)

AI-Act, die Regulierung der algorithmischen Systeme

Diese Regulierung ist ziemlich weit fortgeschritten, aber es wird immer noch über wichtige Details diskutiert/gestritten. Ein ganz wichtiger Punkt ist, was denn unter diese Regulierung fallen soll. Die Interessen der IT-Firmen die solche Systeme betreiben und einsetzen gehen natürlich dahin, den Regelungsumfang möglichst eng zu fassen und z.B. statistische Methoden auszuschließen.

Ich sehe das als zu eng - damit würde z.B. der Algorithmus mit dem das Arbeitsamt in Österreich entscheidet, ob ein Mensch eine Schulung bekommt, ausgeschlossen. Aber auch bei herkömmlichen statistischen Systemen besteht ein starkes Risiko der Diskriminierung wenn z.B. eine bestimmte Gruppe in den Basisdaten die die Grundlage des Algorithmus bestehen bereits Vorurteile enthalten sind oder bestimmte Gruppen einfach zu wenig vertreten sind. D.h. auch hier wäre eine Bewertung der Daten die zur Entscheidung führen sehr wichtig.

Sehr gut zu Fehlerquellen aller algorithmischen Systemen siehe ↑(opens in a new tab)Katharina A. Zweig: Wo Maschinen irren können - Fehlerquellen und Verantwortlichkeiten in Prozessen algorithmischer Entscheidungsfindung. Und als konkretes sehr gut dokumentiertes Beispiel das System in ↑(opens in a new tab)Rotterdam zur Erkennung von Sozialbetrug.

Hier nun Stimmen aus verschiedenen Perspektiven:
↑(opens in a new tab)Bi-weekly newsletter des 'Future of Life Institutes' bringt Zusammenfassung von Stellungnahmen aus unterschiedlichen Perspektiven.
Hier ein Wirtschaftsinfomatiker der gern weniger Regulierung hätte: ↑(opens in a new tab)"Regulieren wir uns in der EU gerade tot?" (ich denke: Nein - ich bin ein Fan von Regulierungen). Hier mein voriger Beitrag zum AI-Act und die Fortsetzung im nächsten Monat.

Digital Services Act (DSA)

Das DSA ist bereits in Kraft. Hier mein voriger Beitrag zum DSA. Es geht beim DSA um die Regulierung großer Plattformen im Internet. Die erste Fragestellung ist, wer denn darunter fällt ('Very Large Online Platforms' (VLOP), bzw. 'Very Large Online Search Engines' (VLOSE) haben in der EU mindestens 45 Mio Nutzer, für sie sollen strenge Regeln gelten. Deutlich weniger Regeln gelten für kleinere Services). Hier die ↑(opens in a new tab)Tabelle der Berichte auf Google Docs). Hier die Liste der 19 VLOPs und VLOSE (der 'großen' im Internet):

• soziale Medien (Facebook, Instagram, Linkedin, Pinterest, Snapchat, Tiktok, Twitter, Youtube),
• Marktplätze (Aliexpress, Amazon, Booking.com, Google Shopping, Zalando) - Aktualisierung Juli 2023: ↑(opens in a new tab)Amazon und Zalando wehren sich gerichtlich gegen diese Einstufung
• Appstores (Apple, Google),
• Suchmaschinen (Bing, Google) - als VLOSE,
• Kartendienst Google Maps,
• als einziger nicht kommerzieller Anbieter Wikipedia (die das aber ↑(opens in a new tab)entspannt sieht)

Hier ↑(opens in a new tab)DSA's Scope Briefly Explained. Einige Punkte ↑(opens in a new tab)der neuen Verpflichtungen: Die 'großen' müssen Risikobetrachtungen machen, die Risiken (wie illegale Inhalte, Hasspostings, Manipulationen von Nutzern, etc) mitigieren (d.h. beheben) und dies auditieren lassen. Die kleineren (< 45 Mio User in EU) müssen zumindest ihre Moderationen intensivieren, z.B. schneller reagieren - die Minimum-Regeln was illegal ist, werden vorgegeben. Plattformen haften nicht für illegale Inhalte, sofern sie diese zügig entfernen, falls nicht, so haften sie für Schäden.

'Shadow banning' wird illegal, dh alle Einschränkungen für (oder gegen) einzelne Nutzer müssen kommuniziert werden und können beeinsprucht werden. Nutzer unter 18 dürfen ↑(opens in a new tab)keine benutzer-bezogene Werbung mehr gezeigt bekommen, dh keine automatisierte Analyse der Schwächen dieser Nutzer mehr. Alle Empfehlungsalgorithmen müssen transparenter gemacht werden.

Im DSA wird auch ein Verbot sogenannter 'Dark Patterns' umgesetzt. Dabei handelt es sich um irreführende Website-Designs, mit denen User beispielsweise dazu gedrängt werden, schnell eine Bestellung aufzugeben oder allen Cookies zuzustimmen. Hier ein Dokument des Europäischen Datenschutzausschuss (EDSA) zu ↑(opens in a new tab)irreführenden und DSGVO-widrigen Design-Elementen.

Die großen müssen sich ab September 2023 an die Regeln halten, die kleinen ab 17.February 2024. Theoretisch gelten die Regeln nur in der EU, es wird aber vermutet, dass viele der Firmen (so wie beim Datenschutz) ↑(opens in a new tab)die Regeln weltweit anwenden werden. Hier mein früherer Beitrag zum Inkrafttreten des DSAs und hier die Fortsetzung im Juli.

Digital Markets Act (DMA)

Der Digital Markets Act ist ebenfalls bereits in Kraft und kümmert sich um sogenannte Gatekeeper, dh Firmen mit sehr hohem Marktanteil, 'Quasi-Monopole', zB Amazon, Meta, Google. Konzernen wie Meta und Google soll künftig verboten werden, die Daten unterschiedlicher Dienste miteinander zu verknüpfen - solange keine explizite Zustimmung ihrer Kunden vorliegt. Große Handelsplattformen sollen gezwungen werden, ihre eigenen Angebote nicht zu bevorzugen (was Amazon sehr aktiv tut - siehe weiter unten das Training zu Wie funktioniert Amazon? Über die Mechanismen des Online-Riesen) und den Händlern die auf diesen Plattformen zu verkaufen versuchen die Daten bzgl. der Kunden und Interessenten dieser Händler zur Verfügung zu stellen (zB Suchanfragen die ihre Angebote betreffen, etc).

Mehr Details in einem früheren Beitrag zum DMA, hier die Fortsetzung im Juli.

5. Das Zeitalter des Überwachungskapitalismus - in 28 Min.

Für alle, die das Buch 'Surveyance Capitalism' immer schon mal kaufen und lesen wollten, hier ein Angebot: Eine 28 Min. Zusammenfassung durch Journalisten, die Autorin und Max Schrems (englische Sprache, aber mE gut verständlich).

Worum geht es? Unternehmen wie Google und Meta sind zu den wertvollsten der Welt geworden (siehe die Grafik weiter oben), weil sie auf komplexe Weise mit unseren persönlichen Daten handeln. Die Autorin Shoshana Zuboff, Max Schrems und viele anderen sprechen über die Gefahren hinter dem ↑(opens in a new tab)Wirtschaftsmodell der großen Technologieunternehmen.

Meine ausführliche Zusammenfassung des Buches Das Zeitalter des Überwachungskapitalismus.