196. Newsletter - sicherheitskultur.at - 31.05.2023

von Philipp Schaumann

Zum Archiv-Überblick

 

Hier die aktuellen Meldungen:

 

1. Generative AI: Copyright/ Urheberrechte an Inhalten und mögliche Machtverschiebungen

In den letzten Wochen wurde öfters hinterfragt, wem eigentlich das geistige Eigentum im WWW gehört und wer es kommerziell nutzen darf. Die generativen AI-Systeme, inkl. der Large Language Models (LLM), funktionieren nur, wenn sie möglichst viele digitale und digitalisierte Texte und Bilder für das (extrem energie-hungrige) Training verwenden können. Dafür zahlen sie bisher nichts. Wie es ein Kommentator ausgedrückt hat: "ChatGPT’s output is a form of statistical plagiarism, using the words most probably occurring in its training texts".

Die großen Fremd-Nutzer des geistigen Eigentums im WWW waren bisher die wenigen großen Suchmaschinen, die mit ihren 'Scrapern' die Inhalte 'abgeerntet' haben. Der unausgesprochene Vertrag dabei war, dass ich zB das Scraping der 'sicherheitskultur.at' gern erlaube, wenn die Suchmaschinen im Gegenzug den Traffic zu meiner Website schicken.

Das ist aber bei der Nutzung der WWW-Inhalte für das Training der LLMs anders. Die nutzen die Arbeit anderer, um (typischerweise) selbst Inhalte zu produzieren und KEINEN Traffic zu den Websites zu schicken, sondern die Inhalte selbst ausspielen. Für meine 'sicherheitskultur' bedeutet das schlimmstenfalls, dass sie weniger oft 'gefunden' wird, für Websites die die Werbe-Einnahmen brauchen (wie Zeitungen) kann dies existenz-gefährdend sein.

Konkrete Experimente mit Buchtexten wie Harry Potter und fast 600 anderen Büchern haben gezeigt, dass ganz offensichtlich zumindest Teile der Bücher (und viele wissenschaftliche Veröffentlichungen) ohne Entschädigung für die Autoren 'verarbeitet' wurden.

Ähnlich ist es mit Bildern, der Bilderdienst Getty Images hat bereits geklagt, auch Reddit und Twitter. Auch bei Musik besteht die gleiche Problematik. Solange das 'Abernten' von Websites Forschungszwecken diente wurde dies tolleriert - aber nun geht es um Geld und darum, ob wie Websites überhaupt noch selbst direkt gelesen werden. Margaret Atwood: My Voice and Mind Are Not Replicable und Stephen King haben literarisch verarbeitet, was sie davon halten, dass ihre Bücher verwendet wurden.

Natürlich können Websiten die vom Datenverkehr, d.h. Werbung, Google und Microsoft verklagen (ich denke zB an Kochrezepte-Websites, so was kann ChatGPT angeblich sehr gut). Aber die Chancen gegen die Rechtsabteilungen der beiden Firmen stehen schlecht. (Hier mein voriger ausführlicher Beitrag zum Thema AI und geistiges Eigentum und hier geht es im September weiter mit einer Schwemme von AI-generierten Inhalten.)

Wir sind bereits an einem Punkt, wo kritische Menschen von einer gerade beginnenden weiteren Machtverschiebung sprechen, von einem zweiten iPhone-Moment. Das beschreibt die Einführung einer Technologie die ganz vieles umkrempelt. Mit der Einführung des iPhones wurde nicht nur ein neues Gerät eingeführt, sondern ein ganzes extrem lukratives Ökosystem: das App-Store Monopol (jeder App-Programmierer muss 30% Gebühren abtreten), der Verkauf von einzelnen Musikstücken mit einer kräftigen Provision für Apple bis hin zu Zubehör wie Airpods, Ladegeräte, Kabel.

Evt. sind wir mit den LLM-Systemen wieder an so einer Stelle, wo die Macht neu verteilt und noch mehr zentriert wird - daher auch der Eifer, mit dem Google jetzt auch mit dabei sein will. Teile der Open Source AI-Community sind besorgt. Bisher haben die großen Techfirmen ihre Technologien dokumentiert und bereitwillig veröffentlicht - dadurch konnten auch Open Source LLMs erstellt werden. Dies könnte nun zu Ende kommen. Andere Open Source Enthusiasten sehen eine große Zukunft für Open Source LLM Sprachmodelle.

Ein starkes Beispiel der Unwägbarkeiten von AI: Google’s Photo App Still Can’t Find Gorillas. And Neither Can Apple’s. 2015 gab es einen Skandal: Personen mit dunkler Haut wurden von der Objekterkennung als Gorillas eingestuft. Die Lösung, die immer noch hält: Es gibt bei der Bilderkennung von Apple und Google und anderen einfach keine Affen mehr. Trotz solcher Unwägbarkeiten wird Bilderkennung weiterhin von der Polizei eingesetzt, mit zum Teil desaströsen Ergebnissen: Another Arrest, and Jail Time, Due to a Bad Facial Recognition Match. Hier ein voriger Beitrag zu Large Language Models - hier die Fortsetzung zu LLMs.

Aktualisierung Dez. 2023:
Eskalierende Copyright-Probleme für die generative AI.

 

2. AI everywhere, auch bei Betrügereien

Nachdem nach Microsoft mit Bing und auch sonst fast überall als erste auf den AI-LLM-Zug aufgesprungen war zieht nun auch Google massiv nach: Google is throwing generative AI at everything (zum Teil nicht in der EU, evt schreckt die EU-Reaktion auf ChatGPT).

Der Autor des obigen Artikels zu Google, Mat Honan, erinnert daran, dass z.B. Google vor 3 Jahren die Chefin des 'ethical AI teams', Timnit Gebru, gefeuert hat weil sie zu viele Fragen gestellt hat und nun Geoffrey Hinton, ein führender AI-Experte bei Google, von sich aus gekündigt hat, weil er offen über die ihn beunruhigenden Risiken reden können möchte.

OpenAI bringt eine offizielle ChatGPT App aufs iPhone, eine Android-Version soll bald folgen. Und wo so viel Hype ist, sind die Betrüger nicht weit: Apple und Google: App-Stores von ChatGPT-Fakes geflutet, die mit Abos abzocken. Und Meta (Facebook, Instagram) warnt: ChatGPT-Scams sind der neue Kryptobetrug. Und CryptoGPT kombiniert dann die Hypes auch noch.

 

Krypto-Love-Scam

Aber auch Cryptobetrug ist weiterhin sehr lukrativ, auch kombiniert mit Love Scams. Die Betrüger nennen es verächtlich "Pig Butchering". Hier ein dramatisches Beispiel von Kryptobetrug, kombiniert mit einem Love Scam. Die Frau hat sich über sehr clevere Tricks letztendlich 450 000 USD abnehmen lassen (für die sie Kredite aufgenommen hatte) - die Gesamtsumme solche Betrügereien in den USA in 2021 war laut FBI $2.57 Millarden. Auch zum Thema Betrug: So einfach generiert eine andere generative AI (StyleGAN) Fotos von Gesichtern: ThisPersonDoesNotExist - Random AI Generated Photos of Fake Persons.

Aktualisierung Juli 2023:

Das WormGPT Cybercrime Tool - WormGPT ist ein generatives LLM das mit Spam, Phishing und CEO-Betrug Daten trainiert um optimale Angriffs-Emails zu erzeugen.

Aktualisierung August 2023:
Ein Artikel und ein Film weisen auf die mehrfache "Sauerei" dieser Angriffe hin: Die unfreiwilligen Kriminellen hinter den "Pig Butchering"-Scams. Ein neuer Film und ein neues Buch sollen nämlich das öffentliche Bewusstsein dafür schärfen, wie Krypto-Betrüger mit Menschenhändlern kooperieren. Die Menschen die da in betrügerischer Absicht flirten machen das nämlich nicht freiwillig, sondern sind ihrerseits von Menschenhändlern angeworben und dann reingelegt worden. Sie werden in geschlossenen Gebäuden eingesperrt und müssen Leistung zeigen, indem sie viele Opfer dazu bringen, ihr Geld entweder in falsche Krypto-Websites zu investieren oder direkt im Rahmen eines Love Scams Geld zu überweisen (meist aus Mitleid mit der angeblich schlechten Situation des Flirt-Partners). In meinem früheren Bericht zum Thema Love Scams habe ich nun 2 Hintergrund-Berichte zu diesem Zwangslagern ergänzt.

Aktualisierung April 2024:

Überall ist jetzt "AI drin", auch die Liebesbetrug, Love Scams werden nun durch AI 'effektiver' gemacht. Eine der Tricks ist der Einsatz von AI-generierten Videos (deepfakes). Dadurch können Videos von nicht-existierenden 'Partnern' erzeugt werden, die sogar in Video-Calls glaubhaft 'rüberkommen': Real-Time Deepfake Romance Scams Have Arrived.
Das erinnert an den CEO-Betrug, bei dem ein Buchhalter in eine Video-Konferenz eingeladen wurde, wo die AI-generierten Kollegen im vermittelten, dass die Anforderung der Geldüberweisung OK sei.

Aktualisierung Dez. 2024:

Fast zwei Drittel aller gestohlenen Kryptogelder wanderten 2024 nach Nordkorea. Auch Dez. 2024: Die Staatshacker erbeuteten aktuell in Japan Bitcoin für mehr als 300 Mill. US$. Dieser Angriff war kein Love-Scam, sondern ein gewöhnlicher Phishing-Angriff über LinkedIn. Die staatlich gesteuerte Hackergruppe Lazarus hat alle Angriffstypen im Repertoire. Nordkorea hat es ja nicht ganz leicht, Geld für den Staatshaushalt zu beschaffen. Seit 2007 macht Cybercrime einen immer wichtigeren Anteil aus, legendär ist der Coup gegen die Zentralbank von Bangladesh. Der Artikel Cyber-Krieger: Eliteeinheit und soziale Elite beschreibt, dass bereits 2007 eine 6.000-Personen-starke Cyber-Armee aufgebaut wurde, die seitdem viele Erfolge feiern konnte. Beim Diebstahl von Kryptowährungen allein soll Nordkorea von 2017 bis 2023 umgerechnet drei Milliarden US-Dollar erbeutet haben, das ist aber nur ein kleiner Teil der kriminellen Aktivitäten.

Eine Analyse sagt, dass der Gesamtwert weltweit gestohlener Kryptowährungen in 2024 um 21% auf 2,2 Milliarden US$ gestiegen ist, 61% davon floss in den Staatshaushalt von Nordkorea. Auch in Österreich gilt Finanzbetrug als "Wachstumsbranche", besonders mit Bitcoin und Co. Wenn das Bewerben der Krypto-Börsen nicht über Love-Scams abläuft, dann werden oft prominente Social Network Influencer eingesetzt.

Hier Links zu den Hauptartikeln über viele Arten von Betrug, vor allem im Internet und Love-Scams.
Im nächsten Newsletter dann ChatGPT in Snapchat für die Teens.

 

3. und die Arbeitsplätze?

KI und Arbeitsmarkt: IBM will keine Jobs nachbesetzen, die KI übernehmen kann - IBM denkt vor allem an Personalbüros. Weiter aus den USA: Alle 200 Menschen einer Essstörung-Hotline werden durch Chatbot ersetzt. Und wenig überraschend - wer braucht schon Ethik- und Compliance-Teams: Tech layoffs ravage the teams that fight online misinformation and hate speech. Update 2 Tage später: der Chatbot hat unpassende Antworten gegeben und ist vorläufig wieder vom Netz. Oder Mobilfunker British Telecommunications (BT) entlässt jeden zweiten Mitarbeiter, KI soll 10.000 Stellen im Kundenkontakt ersetzen.
Im Juni dann: Bild-Zeitung wirft 100 Mitarbeiter raus, werden durch KI ersetzt.D.h. die Kündigungswellen im High Tech (siehe voriger Newsletter) gehen weiter, nun mit neuer Begründung.

Streik in Hollywood

Ed Zitron schreibt einen guten Artikel Artificial Labor. Anlass für den Artikel ist der Streik der US Writers Guild of America und auch der Schauspieler. Die Drehbuchautoren wollen vor allem eine Absicherung, dass in Zukunft das n-te Sequel eines Films nicht durch AI generiert wird. Die US Actors' Union will Vereinbarungen die Verhindern, dass in Zukunft einfach nur noch digitale Reproduktionen mit toten Schauspielern in allen Filmen auftreten - was technisch heute (mit Einschränkungen) bereits möglich ist, siehe hier How AI-generated video is changing film.

Ergänzung Sept. 2023:
Der Autorenstreik wurde dank KI-Zugeständnissen beendet. Der Vertrag enthält mehrere Klauseln, die den Hollywood-Studios den Einsatz von KI als Ersatz für menschliche Autoren verbieten sollen. KI soll literarischen Stoff weder selbst schreiben noch umschreiben dürfen. Von KI geschriebener Stoff darf zudem nicht als Quellmaterial für Film- oder Serienproduktionen verwendet werden. Der Streik der Schauspieler geht jedoch noch weiter, dh die Studios liegen immer noch lahm.

Artificial Labor - AI soll Arbeitsplätze übernehmen

Die Schnellimbiskette Wendy’s möchte die Burger-Bestellungen an einen Chatbot auslagern: "to take the complexity out of the ordering process" - der Umgang mit den Anliegen der Menschen läuft unter 'unnötige Komplexität'. Hier ein ausführlicher (kritischer) Bericht zu dieser Idee: Wendy’s tests an AI chatbot that takes your drive-thru order.

Ed Zitron befürchtet im oben verlinkten Artikel Artificial Labor, dass dies bald viele von uns betreffen könnte. Er rechnet vor allem damit, dass immer mehr der Möglichkeiten, mit einem Menschen zu sprechen wenn etwas nicht klappt, durch einen Chatbot ersetzt werden. Den Trend kennen wir heute bereits: die Helpdesks existieren entweder gleich gar nicht (wie bei Facebook, Google und vielen anderen großen 'Dienstleistern') oder wir verbringen massig Zeit in Telefon-Warteschlangen. Ziel ist, uns zu Chatbots zu treiben, die aber meist so schlecht sind, dass sie nur bei simplen Anliegen helfen können. Die Hoffnung der Dienstebetreiber ist, das sich das mit den neuen LLMs ändern könnte. Trotzdem wird es oft nicht möglich sein, einer Maschine ein komplexeres Anliegen zu erklären. Maschinen haben von den oft sehr komplexen Problemen mit denen wir Menschen manchmal kämpfen keinerlei Ahnung.

Aktualisierung August 2023: Wieder ist der Anlass Posting von Ed Zitron: The Age Of Mediocrity. Mit diesem Titel will er darauf hinweisen, dass die Qualität, entweder bei der Betreuung der Kunden oder auch beim Drehbüchern keine Rolle mehr zu spielen scheint. Ed wundert sich über die fehlende Bereitschaft der Produzenten in Hollywood, den Drehbuchschreibern eine Zusicherung zu geben, dass Drehbücher in absehbarer Zeit nicht durch generative AI geschrieben werden - ein deutliches Zeichen für die Überschätzung von AI durch 'Chefs'. Die AI-Systeme werden noch für eine lange Zeit keine wirklich kreativen Ideen für Filme entwickeln, sondern primär 'inhaltlich flache' Sequels produzieren, die Elemente aus den früheren Folgen recyclen. Für Ed Zitron wäre der Verzicht auf generative AI ein Zugeständnis, dass zumindest derzeit wirklich nicht weh tut.

Ed Zitron weißt dann auf Umfragen hin, nach denen 66% der Manager gern ihr Personal durch AI ersetzen würden (Link zur Studie), speziell im Kundenkontakt. Die Manager versprechen sich schnellere Bearbeitung und geringere Kosten. Für Ed ist dies ein Zeichen, dass viele Chefs nicht wirklich wissen, was 'ihr' Personal tut. Das automatisierte Beantworten von Emails und automatisierte Chatbots bietet sich als schnelle Lösung an. In der Umfrage erklären 75% der Firmenchefs, dass ihr Unternehmen für den Einsatz generativer AI-Systeme bereit sei, beim 'Fußvolk' stimmen nur 30% zu - die wissen vermutlich, wie komplex ihre Jobs im Detail sein können. Hier eine weitere Studie: The Future of AI in the Workplace: A Survey of American Managers.

Welche Jobs bleiben uns Menschen? Viele der Jobs, in denen mechanische Arbeit erledigt werden muss, die derzeit noch nicht automatisiert werden können, z.B. Haare schneiden, Pflege und sehr viele medizinische Tätigkeiten, Dachdecken und Solarpanele befestigen, Wärmepumpen installieren, Häuser isolieren, Windräder aufstellen, Autos reparieren, etc.

Bei den geistigen Jobs sieht es enger aus. Das kann man versuchen, positiv zu sehen: 2030 lassen wir eine KI-Kopie von uns arbeiten - ich bin aber skeptisch, ob wir dann weiterhin bezahlt werden (Artikel wie: Darf ChatGPT meine Arbeit für mich machen?) - das führt für mich zur Forderung nach einem Grundeinkommen.

Dafür entsteht vielleicht ein neuer Job: Prompt-Writing: Der gefragteste Job-Skill des Jahrhunderts? Denn für komplexe Aufgabenstellungen braucht das KI-System auch eine komplexe Beschreibung der Aufgabe, die sog. 'Prompts' - je genauer man sagt, welcher Text in welchem Stil, für welche Zielgruppe und welchem Wortschatz und welchem Aspekt benötigt wird, desto brauchbarer wird die Antwort. Im vorigen Newsletter gab es das Thema 'AI im Unterricht', dort habe ich in der Zwischenzeit einiges ergänzt. Auch im nächsten Newsletter bleiben AI und Arbeitsplätze ein Thema.

 

4. Neues bei EU-Regulierungen

Es tut sich einiges bei den IT-bezogenen Regulierungen, da ist erst mal der

AI Act

Zu dieser Verordnung hat sich das Parlament auf einen Entwurf geeinigt, der voraussichtlich Mitte Juni im Plenum des EU-Parlaments angenommen wird und dann in den sogenannten Trilog, d.h. die Verhandlungen zwischen Parlament, Ministerrat und Kommission geht. So weit, so gut.

Es steht aber zu erwarten, dass dabei noch mal Abschwächungen passieren (frühestes 'In Kraft treten' ist 2025). Schon jetzt kritisiert netzpolitik.org eine ganze Reihe von Schwachstellen, hier die Aufzählung (Details siehe Link)

Hier ein Überblick und eine Einschätzung von anderen AI-Regulierungsbemühungen: quick guide to the 6 ways we can regulate AI. Full disclosure: ich bin ein Fan von Regulierungen, der Link zeigt einige extrem erfolgreiche. Mittlerweise fordern auch einige Silicon Valley-Größen eine AI-Regulierung: Microsoft President Brad Smith und OpenAI Chef Sam Altman (wobei ich immer etwas skeptisch bin, wenn Firmenchefs nach Regulierung rufen). Grundsätzliches zu AI-Regulierungsaktivitäten im nächsten Newsletter und im Juli dann wieder AI Act.

Cyber Resilience Act

Hierbei ist das Ziel, dass Systeme mit Software sicherer sein und zertifiziert werden müssen (siehe voriger Newsletter). Grundsätzlich m.E. eine gute Idee, Herausforderungen liegen im Detail, z.B. bei ehrenamtlich entwickelter Open Source Software.

Hier die Fortsetzung im Juli.

"Markets in Crypto-Assets" (MiCA)

Ziel ist es, den Transfer von Krypto-Vermögenswerten "vollends" und einfacher nachverfolgbar zu machen. Durch "Markets in Crypto-Assets" (MiCA) (siehe früherer Newsletter) sollen Verbraucher und Investoren vor Missbrauch und Manipulation auf volatilen Krypto-Marktplätzen geschützt und der Anwendungsbereich der bisherigen Registrierungs- und Meldepflichten und die allgemeine Zusammenarbeit der Steuerbehörden ausgeweitet werden. Eingeschlossen sind alle Kryptowerte wie Stablecoins, E-Geld-Tokens und bestimmte NFTs: Bitcoin & Co.: EU-Rat stoppt anonyme Kryptozahlungen und Steuerschlupflöcher.

 

5. Risiken bei Cloud-Daten: Daten- und Accountverlust bei Cloud Speicherung

Immer wieder mal lese ich von Einzelfällen, in denen Menschen alle ihre Fotos, Videos und Kontakte verloren haben weil sie den Account des Smartphones oder eines anderen Cloud-Services an einen Betrüger verloren haben. Genauso dramatisch wäre es, den Zugang zum Mail-Account zu verlieren, mit dessen Hilfe man bei allen anderen Accounts das Passwort zurücksetzen kann. Übernimmt ein Betrüger diesen Mail-Account so kann er bei den anderen Accounts die Passworte zurücksetzen und diese auch übernehmen.

Email-Hack: Ein Grund für so ein Desaster kann z.B. sein, dass das Email-Konto von jemandem übernommen wurde, z.B. in diesem dramatischen Fall wo die Angreifer mittels 'Passwort vergessen' alle Konten des Opfers übernehmen konnten.

ChatControl: wenn die Algorithmen auf einem Cloud-Speichersystem eines der Fotos für 'sexuelle Gewalt gegen Kinder' (oder anderweitig 'unerwünscht') halten so sperren sie den Account - das soll (leider!) in der EU zur Pflicht werden. So eine Sperrung ist auch bei Fehlalarm sehr oft entgültig.

Handy-Diebstahl: Das iPhone wird gestohlen nachdem der Dieb gesehen hat, wie man das Gerät mit einem PIN entsperrt. Die Sicherheitsfeature iPhone Recovery Key ermöglicht nun dem Dieb, den rechtmäßigen Besitzer permanent auszusperren - Details.

Kontenlöschung bei Inaktivität: Google und Twitter werden inaktive Accounts informieren und bei Nicht-Reaktion diese Löschen - Your digital life isn’t as permanent as you think it is. Dieser Artikel weißt darauf hin, dass die Inaktivität komplexe Gründe haben kann, z.B. eine mehrjährige Inhaftierung im Gefängnis oder eine sehr lange ernste Krankheit - das wäre schon unschön, wenn da alle Fotos verschwinden würden. Dagegen hilft ein 2. Cloud-Dienst natürlich nichts, wenn dort auch bei Inaktivität gelöscht wird. Bei Twitter gelten auch die Accounts von verstorbenen Familienmitgliedern als inaktiv.

Der vorige Link weißt auch auf die Option "digitaler Nachlass" hin, die Google und andere (zB Meta/Facebook) anbieten. Dort wird geregelt, an wen und wann die Zugriffsrechte weitergeleitet werden sollen. Hier noch weitere Artikel zu "digitaler Nachlass": Was passiert nach dem Tod mit Bitcoins und Online-Accounts?, Google-Konten, Facebook und Stiftung Warentest: Digitaler Nachlass.

Wie kann man sich gegen Verlust von Daten in Cloud-Speichern schützen?
In allen diesen Fällen ist es wichtig, dass man eine Sicherung, dh eine Kopie seiner wichtigen Daten auf einem anderen Gerät oder einer anderen Cloud hat. Was für Daten sind das? Auf jeden Fall der Passwort Manager / Passwort Safe (oder ein anderer Speicher mit den Passworten, z.B. ein Spread-sheet) mit den Zugängen zu allen seinen anderen noch ungesperrten Accounts. Dann natürlich alle Fotos sie einem wichtig sind und wichtige Dokumente die evt. nur elektronisch vorliegen.

Ich bin altmodisch, ich speichere alle meine wichtigen Daten auf einer Festplatte zu Hause (mit 1 Backup und einer weiteren Kopie an anderer Stelle, für alle Fälle) - wer einen Computer oder Laptop besitzt, sollte mE irgend so etwas auch tun.

Aber was tut ein Mensch, der nur ein Smartphone besitzt (das hört man heute immer öfter)? Das einzige, was mir dazu einfällt, das ist, sich nicht allein auf die integrierte Cloud-Lösung des Smartphone-Anbieters zu verlassen sondern die Dateien, deren Verlust schmerzhaft wäre, auf einer weiteren Cloud zu speichern.

Angebote für Cloudspeicher gibt es ja reichlich und eine weitere Cloud-App lässt sich recht problemlos auf den Smartphones installieren und mit einem automatischen Kopieren zB der Fotos konfigurieren. Verzeichnisse mit den Daten anderer Apps muss man zuerst mal auf dem Gerät finden, aber da hilft oft eine Suche im Internet nach Anleitungen.

 

6. Eine weitere Analyse zu Ethnic Profiling durch Algorithmen, ungeeignet gegen Sozialhilfebetrug

Wieder gibt uns eine investigative Recherche von Lighthouse Reports einen Einblick in den staatlichen Einsatz von Künstlicher Intelligenz (KI) - quasi eine Fortsetzung der Analyse eines algorithmischen Verfahren zur Vorhersage von Sozialhilfebetrug. Dieses Mal geht es um ein System zur automatisierten Profilbildung von Migrant:innen in den Niederlanden.

Seit 2015 werden dabei bei Visaanträgen Daten über die Antragssteller:innen ausgewertet, darunter auch die Nationalität, Alter oder Gender. Wird im Profil ein hoher „Risikoscore“ berechnet, bedeutet das für die Betroffenen längere Wartezeiten, Ausforschungen durch die Behörden oder gar eine Ablehnung ihres Asylantrags.

Gerade wenn ausländische Familienangehörige von Niederländer:innen kurz zu Besuch kommen wollen, können so unnötige Verzögerungen entstehen. Die Recherche deckte dabei nicht nur das bisher geheime System als solches auf, sondern auch, dass das niederländische Außenministerium hier durchaus die Gefahr von Diskriminierungen sieht.

Versuche, den Einsatz des Systems zu stoppen, blieben aber bislang erfolglos. Nicht zuletzt aufgrund dieser Risiken fordern zivilgesellschaftliche Organisationen, dass der Einsatz von KI im Migrationsbereich in der KI-Verordnung separat reguliert und teilweise verboten werden sollte.

Einige Hintergrundlinks: Der Report von Lighthouse und die EDRi-Organisation zur Problematik 'people on the move'. Sie fordern für den AI-Act einen besseren Schutz vor algorithmischer Willkür ("preventing AI harms").

Ergänzung im Juni: Algorithm intended to reduce poverty might disqualify people in need. Es geht um den Algorithmus Takaful der durch die World Bank gesponsert wurde und für die Verteilung von Hilfsgeldern in Flüchtlingslagern genutzt werden soll. Auf der Basis von 57 sozio-ökonomischen Paramtern soll die Bedürftigkeit berechnet werden. Human Rights Watch wirft Takaful vor, dass diese Parameter die Hilfsbedürftigkeit nicht korrekt einschätzen und Einseitigkeiten (bias) enthält - ich bin nicht überrascht.

Ergänzung im Januar 2024:
Lighthouse Reports hat die nächste Untersuchung veröffentlicht und Algorithmen analysiert, die die französische Sozialhilfebehörde CNAF verwendet hat und verwendet, um Betrug vorherzusagen. Jedes Jahr wird fast die Hälfte der französischen Bevölkerung durch dieses System geprüft. In Zusammenarbeit mit anderen zivilgesellschaftlichen Organisationen verschafften sie sich Zugang zu dem Quellcode des Systems und konnten es eigenständig testen. Ergebnis: Wie in ähnlichen Betrugserkennungssystemen führen auch hier Eigenschaften wie körperliche Beeinträchtigung, Alter oder Kinder direkt zu einem höheren Risikoscore.

Ergänzung im Dezember 2024:
Lighthouse Reports hat schon wieder 'zugeschlagen'. Sie deckten diesmal auf, wie die schwedische Sozialversicherungsbehörde jahrelang heimlich diskriminierende Algorithmen gegen Menschen einsetzte, die kranke Kinder zu pflegen haben und daher Anspruch auf Unterstützung haben. Die Datenanalyse ergab, dass der Algorithmus besonders häufig Frauen, Migrantinnen, Geringverdiener und Menschen ohne Hochschulbildung als potenzielle Betrüger markierte. Die Folgen für die Betroffenen waren gravierend: Zahlungen wurden vorläufig ausgesetzt, aber nur wenige Fälle landeten tatsächlich vor Gericht, noch seltener wurde ein tatsächlicher Vorsatz festgestellt.

Lighthouse Reports deckten in ihrer gründlichen Analyse auf, dass die Trainingsdaten bereits ungeeignet waren, auf statistisch falschen Prämissen beruhten und dass bereits die grundlegende Annahme von weit verbreitetem Sozialhilfebetrug falsch war. Hier der Link zur detaillierten Vorgehensweise von Lighthouse Reports.

Noch ein Beispiel: Auch die britische Regierung setzt Algorithmen zur Beurteilung von komplexen Situationen ein. Hier geht es um Entscheidungen zur Einwanderungsfragen: Automating the hostile environment: uncovering a secretive Home Office algorithm at the heart of immigration decision-making.

 

7. Beklemmende Dystopie, aber sehr gut. Dave Eggers: The Every

Dave Eggers hat mit The Every sein Konzept einfach weiter gedacht, und das Ergebnis ist gruselig. Die Prämisse des Buches ist, dass das welt-größte Social Network (das im Kern von 'The Circle' steht) den welt-größte Versandkonzern ("the jungle") schluckt und bald auch das Suchmaschinen- und Werbebusiness dominiert und alles andere verdrängen kann: kaum noch lokale Geschäfte, kaum Zeitungen, produzierende Firmen sind davon abhängig, ob sie im "Every" beworben und angeboten werden.

Und dann wird die Gesellschaft kräftig umgebaut. Dafür braucht es keine Gesetze oder Regeln, es reicht, wenn in den Social Networks aureichend Scham aufgebaut wird - die lokalen Geschäfte werden über Umweltschutz-Schuldgefühle attackiert (was für Verschwendung, wenn Dinge produziert und zum Händler versandt werden, von denen noch niemand was, ob sie in jemand in diesem Laden kaufen wird - viel effektiver ist, wenn sie erst nach der Bestellung produziert werden und direkt zum Kunden versendet). Auch das Ende der Haustierhaltung durch Beschämung der Tierhalter ergibt sich zwingend und logisch aus Umwelt- und Tierschutzgründen. Auch 'Reisen' ist natürlich schädlich, es gibt ja 'virtual reality'.

Das andere Desaster ist die komplette Objektivierung ('Verwissenschaftlichung'?) der Menschen durch komplette Datenerfassung in den Apps. War dieses Kompliment wirklich ehrlich? Ist diese Antwort evt gelogen? - all das wird durch eine Analyse der Micro-Expressions (anscheinend objektiv) berechnet und offenbart. Das beendet viele Freundschaften und Beziehungen - aber wie kann denn 100% Wahrheit schlecht sein ?!?

Andere zerbrechen an der App, die zuerst nur die 'Schönheit' von Kunstwerken, aber dann auch menschlichen Körpern 'objektiv' bewertet. Viele Männer scheitern am allgegenwärtigen Eye-Tracking (der Analyse, welche Körperstellen der andere wie lange betrachtet) - das beendet Karrieren und Beziehungen.