194. Newsletter - sicherheitskultur.at - 31.03.2023

von Philipp Schaumann

Zum Archiv-Überblick

 

Hier die aktuellen Meldungen:

 

1. Schon wieder ChatGPT - die Kritikpunkte fokusieren sich

Eigentlich wollte ich nicht schon wieder über ChatGPT (und andere LLMs - Large Language Models) berichten. Im vorigen Newsletter berichtete ich, dass nun Systeme wie ChatGPT von Microsoft und Google in Suchmaschinen (und MS Office-Produkte und Google Office-Suite) integriert werden soll und das ich das nicht für gut halte (speziell für die Suche im Internet). Aber ich habe in den letzten 4 Wochen so viele spannende und kritische Berichte dazu gehört und gelesen, dass es wieder zum Thema wird. (Europol ist beunruhigt und forscht zu möglichen Auswirkungen bei der Kriminalität und Forscher*innen von Microsoft entdecken nun 'Funken einer *künstlichen allgemeinen Intelligenz*' in GPT-4 und 'selbstständiges Denken, eigene Einstellungen und Pläne' - gruselig.)

Heute versuche ich eine Zusammenfassung vieler Kritikpunkte. Dies ist keine Kritik nur an ChatGPT sondern an dem gesamten Konzept der Large Language Models (LLM) als dem derzeitig einzigen Weg zu AGI (Artificial General Intelligence) und daran, dass damit derzeit bereits produktive Lösungen für den realen Einsatz erzeugt werden. (Andere LLMs sind z.B. die Systeme die Bilder oder Videos erzeugen, wie z.B. DALL·E, Midjourney (für Hetze missbraucht durch die AfD) oder das wegen Sexismus viel kritisierten Lensa AI.

Hier eine Zusammenstellung der wichtigsten Kritikpunkte - d.h. kurzfristig relevanten AI Risiken aus vielen Analysen.

Hier nun einige interessante Stellungnahmen (auf deren Grundlage ich die Kritikpunkte zusammengefasst habe).
Der amerikanische AI-Experte und Skeptiker Gary Marcus (emeritus professor of 'psychology and neural science') spricht 30 Min über die Geschichte von AI, LLM und ihre Möglichkeiten und Grenzen, und darüber, wie er die Möglichkeiten und vor allem die Grenzen für AGI sieht: On ChatGPT (mit Diskussion 1 Std.)

Gary Marcus hat große Bedenken, dass (wieder mal) mit viel Hype die Möglichkeiten von AI-Systemen überschätzt und die Gefahren der vielen inherenten Fehler drastisch unterschätzt werden. Sein Punkt ist: Deep Learning (d.h. statistische Korrelationen) sind kein Weg zu einem tieferen Verständnis der Welt und ihrer Zusammenhänge.

Selbst den Chef des ChatGPT-Entwicklers OpenAI Sam Altman beginnt es langsam ein bisschen zu gruseln, zB was diese Systeme in den Händen von autoritäten Regierungen und anderen Interessenten, die die Technologie nicht zum Wohl der Menschen einsetzen, anrichten könnte. Hier auch als Video.

Ganz frisch Ende März: Ein offener Brief von 1377 Experten, initiiert vom Future of Life Institute mit dem Ziel, gigantische KI-Experimente wie ChatGPT oder GPT4 für sechs Monate zu pausieren. Zunächst soll über die menschlichen und sozialen Auswirkungen der Technologie nachgedacht und Strategien zur Risikominimierung definiert werden.

Italienische Datenschutzbehörde untersagt Betrieb von ChatGPT. Die Vorwürfe: Mangelnder Jugend- und Datenschutz, Verarbeitung von Personen-Daten ohne Zustimmung, insbesondere die Nutzung von Personen-Daten zum Trainieren des Systems. Außerdem ein Datenleck, das die Einsicht in die Informationen fremder Nutzer erlaubte, sogar Zahlungsdaten waren dabei. Die Behörde schreibt in einer Mitteilung: "In der Maßnahme stellt die Datenschutzaufsichtsbehörde fest, dass die Nutzer und alle Personen, deren Daten von OpenAI gesammelt werden, nicht informiert wurden, vor allem aber, dass es keine Rechtsgrundlage gibt, die die massive Sammlung und Speicherung personenbezogener Daten zum Zwecke des 'Trainings' der Algorithmen, die dem Betrieb der Plattform zugrunde liegen, rechtfertigt." Mit der fehlerhaften Verarbeitung von Personen-Daten ist wohl gemeint, dass (wie viele Beispiele zeigen) das System über Personen zum Teil vollkommen falsche Auskünfte erteilt. Die DSGVO enthält aber eine Verpflichtung zur Korrektheit der Daten über eine Person.

Zum Vorwurf des fehlenden Jugendschutzes: OpenAI gibt ChatGPT in seinen Nutzungsbedingungen für Menschen ab 13 Jahren frei, überprüft das Alter in der Web-App aber nicht. (Diesen Vorwurf halte ich persönlich für vergleichsweise schwach, denn dies mE trifft auf eigentlich alle Social Networks ebenso zu).

Update April 2023: ChatGPT hat Änderungen eingeführt (weltweit gültig :-) ) - ChatGPT in Italien wieder verfügbar .

 

In den USA hat die gemeinnützige Forschungsorganisation 'Center for AI and Digital Policy' die für Verbraucherschutz zuständige Federal Trade Commission (FTC) offiziell aufgefordert, gegen OpenAI Ermittlungen einzuleiten. Der zentrale Vorwurf lautet, dass OpenAIs Markteinführung von GPT-4 gegen US-amerikanisches Handelsrecht verstoße. Das Produkt täusche und gefährde Menschen, sei voreingenommen und stelle ein Risiko für das Privatleben sowie die öffentliche Sicherheit dar.

Hier zur Fortsetzung des ChatGPT-Themas im nächsten Newsletter.

 

 

2. Die Kündigungen bei High-Tech gehen immer weiter

Ergänzung zur langen Kündigungsliste in den vorigen Newslettern. Weil es bei den Investoren so geht ankommt - es geht immer weiter.

Amazon plant weitere 9000 Entlassungen, zusätzlich zu den 18.000 Jobs im Januar,
Facebook-Mutter Meta streicht weitere 10.000 Stellen.

Berichte im April besagen, dass die Entlassungen dem Betriebsklima nicht geholfen haben: "Moralische Krise" bei Meta-Mitarbeitern. Die Entlassungen und die dezentrale Führung führten dazu, dass Mitarbeiter das Gefühl hätten, 'in der Schwebe zu sein'.

Andere Berichte sagen, dass der Stellenabbau so funktioniert, wie gewünscht: Amazon steigert dank Stellenabbaus und Cloud-Services Gewinn überraschend deutlich.

Die Fortsetzung im Mai Newsletter - direkt AI-bedingte Kündigungen nehmen zu.

 

 

3. Die Regulierungsaktivitäten der EU (AI-Act, DMA, DSA)

AI-Act, die Regulierung der algorithmischen Systeme

Diese Regulierung ist ziemlich weit fortgeschritten, aber es wird immer noch über wichtige Details diskutiert/gestritten. Ein ganz wichtiger Punkt ist, was denn unter diese Regulierung fallen soll. Die Interessen der IT-Firmen die solche Systeme betreiben und einsetzen gehen natürlich dahin, den Regelungsumfang möglichst eng zu fassen und z.B. statistische Methoden auszuschließen.

Ich sehe das als zu eng - damit würde z.B. der Algorithmus mit dem das Arbeitsamt in Österreich entscheidet, ob ein Mensch eine Schulung bekommt, ausgeschlossen. Aber auch bei herkömmlichen statistischen Systemen besteht ein starkes Risiko der Diskriminierung wenn z.B. eine bestimmte Gruppe in den Basisdaten die die Grundlage des Algorithmus bestehen bereits Vorurteile enthalten sind oder bestimmte Gruppen einfach zu wenig vertreten sind. D.h. auch hier wäre eine Bewertung der Daten die zur Entscheidung führen sehr wichtig.

Sehr gut zu Fehlerquellen aller algorithmischen Systemen siehe Katharina A. Zweig: Wo Maschinen irren können - Fehlerquellen und Verantwortlichkeiten in Prozessen algorithmischer Entscheidungsfindung. Und als konkretes sehr gut dokumentiertes Beispiel das System in Rotterdam zur Erkennung von Sozialbetrug.

Hier nun Stimmen aus verschiedenen Perspektiven:
Bi-weekly newsletter des 'Future of Life Institutes' bringt Zusammenfassung von Stellungnahmen aus unterschiedlichen Perspektiven.
Hier ein Wirtschaftsinfomatiker der gern weniger Regulierung hätte: "Regulieren wir uns in der EU gerade tot?" (ich denke: Nein - ich bin ein Fan von Regulierungen). Hier mein voriger Beitrag zum AI-Act und die Fortsetzung im nächsten Monat.

 

Digital Services Act (DSA)

Das DSA ist bereits in Kraft. Hier mein voriger Beitrag zum DSA. Es geht beim DSA um die Regulierung großer Plattformen im Internet. Die erste Fragestellung ist, wer denn darunter fällt ('Very Large Online Platforms' (VLOP), bzw. 'Very Large Online Search Engines' (VLOSE) haben in der EU mindestens 45 Mio Nutzer, für sie sollen strenge Regeln gelten. Deutlich weniger Regeln gelten für kleinere Services). Hier die Tabelle der Berichte auf Google Docs). Hier die Liste der 19 VLOPs und VLOSE (der 'großen' im Internet):

Hier DSA's Scope Briefly Explained. Einige Punkte der neuen Verpflichtungen: Die 'großen' müssen Risikobetrachtungen machen, die Risiken (wie illegale Inhalte, Hasspostings, Manipulationen von Nutzern, etc) mitigieren (d.h. beheben) und dies auditieren lassen. Die kleineren (< 45 Mio User in EU) müssen zumindest ihre Moderationen intensivieren, z.B. schneller reagieren - die Minimum-Regeln was illegal ist, werden vorgegeben. Plattformen haften nicht für illegale Inhalte, sofern sie diese zügig entfernen, falls nicht, so haften sie für Schäden.

'Shadow banning' wird illegal, dh alle Einschränkungen für (oder gegen) einzelne Nutzer müssen kommuniziert werden und können beeinsprucht werden. Nutzer unter 18 dürfen keine benutzer-bezogene Werbung mehr gezeigt bekommen, dh keine automatisierte Analyse der Schwächen dieser Nutzer mehr. Alle Empfehlungsalgorithmen müssen transparenter gemacht werden.

Im DSA wird auch ein Verbot sogenannter 'Dark Patterns' umgesetzt. Dabei handelt es sich um irreführende Website-Designs, mit denen User beispielsweise dazu gedrängt werden, schnell eine Bestellung aufzugeben oder allen Cookies zuzustimmen. Hier ein Dokument des Europäischen Datenschutzausschuss (EDSA) zu irreführenden und DSGVO-widrigen Design-Elementen.

Die großen müssen sich ab September 2023 an die Regeln halten, die kleinen ab 17.February 2024. Theoretisch gelten die Regeln nur in der EU, es wird aber vermutet, dass viele der Firmen (so wie beim Datenschutz) die Regeln weltweit anwenden werden. Hier mein früherer Beitrag zum Inkrafttreten des DSAs und hier die Fortsetzung im Juli.

 

Digital Markets Act (DMA)

Der Digital Markets Act ist ebenfalls bereits in Kraft und kümmert sich um sogenannte Gatekeeper, dh Firmen mit sehr hohem Marktanteil, 'Quasi-Monopole', zB Amazon, Meta, Google. Konzernen wie Meta und Google soll künftig verboten werden, die Daten unterschiedlicher Dienste miteinander zu verknüpfen - solange keine explizite Zustimmung ihrer Kunden vorliegt. Große Handelsplattformen sollen gezwungen werden, ihre eigenen Angebote nicht zu bevorzugen (was Amazon sehr aktiv tut - siehe weiter unten das Training zu Wie funktioniert Amazon? Über die Mechanismen des Online-Riesen) und den Händlern die auf diesen Plattformen zu verkaufen versuchen die Daten bzgl. der Kunden und Interessenten dieser Händler zur Verfügung zu stellen (zB Suchanfragen die ihre Angebote betreffen, etc).

Mehr Details in einem früheren Beitrag zum DMA, hier die Fortsetzung im Juli.

 

4. Online: ÖIAT-Schulungen

Es gibt auch dieses Jahr wieder viele lehrreiche Online Schulungen beim Österreichischen Institut für angewandte Telekommunikation (ÖIAT). Das Angebot ist noch mal sehr deutlich erweitert worden. Hier die Termine und Themen für dieses Jahr - alle diese Schulungen sind empfehlenswert - ich werde mir auch dieses Jahr eine ganze Reihe davon gönnen.

Die Termine und Themen: (jeweils 18:00 - 20:00 oder 18:30 - 20:00)

Anmeldung auf academy.oiat.at - der Zoom-Link kommt dann per Email - wie gesagt: m.E. sehr empfehlenswert.

 

5. Das Zeitalter des Überwachungskapitalismus - in 28 Min.

Für alle, die das Buch 'Surveyance Capitalism' immer schon mal kaufen und lesen wollten, hier ein Angebot: Eine 28 Min. Zusammenfassung durch Journalisten, die Autorin und Max Schrems (englische Sprache, aber mE gut verständlich).

Worum geht es? Unternehmen wie Google und Meta sind zu den wertvollsten der Welt geworden (siehe die Grafik weiter oben), weil sie auf komplexe Weise mit unseren persönlichen Daten handeln. Die Autorin Shoshana Zuboff, Max Schrems und viele anderen sprechen über die Gefahren hinter dem Wirtschaftsmodell der großen Technologieunternehmen.

Meine ausführliche Zusammenfassung des Buches Das Zeitalter des Überwachungskapitalismus.