196. Newsletter - sicherheitskultur.at - 31.05.2023

von Philipp Schaumann

Zum Archiv-Überblick

 

Hier die aktuellen Meldungen:

 

1. Generative AI: Rechte an Inhalten und mögliche Machtverschiebungen

In den letzten Wochen wurde öfters hinterfragt, wem eigentlich das geistige Eigentum im WWW gehört und wer es kommerziell nutzen darf. Die generativen AI-Systeme, inkl. der Large Language Models (LLM), funktionieren nur, wenn sie möglichst viele digitale und digitalisierte Texte und Bilder für das (extrem energie-hungrige) Training verwenden können. Dafür zahlen sie bisher nichts.

Die großen Fremd-Nutzer des geistigen Eigentums im WWW waren bisher die wenigen großen Suchmaschinen, die mit ihren 'Scrapern' die Inhalte 'abgeerntet' haben. Der unausgesprochene Vertrag dabei war, dass ich zB das Scraping der 'sicherheitskultur.at' gern erlaube, wenn die Suchmaschinen im Gegenzug den Traffic zu meiner Website schicken.

Das ist aber bei der Nutzung der WWW-Inhalte für das Training der LLMs anders. Die nutzen die Arbeit anderer, um (typischerweise) selbst Inhalte zu produzieren und KEINEN Traffic zu den Websites zu schicken, sondern die Inhalte selbst ausspielen. Für meine 'sicherheitskultur' bedeutet das schlimmstenfalls, dass sie weniger oft 'gefunden' wird, für Websites die die Werbe-Einnahmen brauchen (wie Zeitungen) kann dies existenz-gefährdend sein.

Konkrete Experimente mit Buchtexten wie Harry Potter und fast 600 anderen Büchern haben gezeigt, dass ganz offensichtlich zumindest Teile der Bücher (und viele wissenschaftliche Veröffentlichungen) ohne Entschädigung für die Autoren 'verarbeitet' wurden.

Ähnlich ist es mit Bildern, der Bilderdienst Getty Images hat bereits geklagt, auch Reddit und Twitter. Auch bei Musik besteht die gleiche Problematik. Solange das 'Abernten' von Websites Forschungszwecken diente wurde dies tolleriert - aber nun geht es um Geld und darum, ob wie Websites überhaupt noch selbst direkt gelesen werden.

Natürlich können Websiten die vom Datenverkehr, d.h. Werbung, Google und Microsoft verklagen (ich denke zB an Kochrezepte-Websites, so was kann ChatGPT angeblich sehr gut). Aber die Chancen gegen die Rechtsabteilungen der beiden Firmen stehen schlecht.

Das ist dann der Punkt, wo kritische Menschen von einer gerade beginnenden weiteren Machtverschiebung sprechen, von einem zweiten iPhone-Moment. Das beschreibt die Einführung einer Technologie die ganz vieles umkrempelt. Mit der Einführung des iPhones wurde nicht nur ein neues Gerät eingeführt, sondern ein ganzes extrem lukratives Ökosystem: das App-Store Monopol (jeder App-Programmierer muss 30% Gebühren abtreten), der Verkauf von einzelnen Musikstücken mit einer kräftigen Provision für Apple bis hin zu Zubehör wie Airpods, Ladegeräte, Kabel.

Evt. sind wir mit den LLM-Systemen wieder an so einer Stelle, wo die Macht neu verteilt und noch mehr zentriert wird - daher auch der Eifer, mit dem Google jetzt auch mit dabei sein will. Die Open Source AI-Community ist ebenfalls besorgt. Bisher haben die großen Techfirmen ihre Technologien dokumentiert und bereitwillig veröffentlicht - dadurch konnten auch Open Source LLMs erstellt werden. Dies könnte nun zu Ende kommen.

Ein starkes Beispiel der Unwägbarkeiten von AI: Google’s Photo App Still Can’t Find Gorillas. And Neither Can Apple’s. 2015 gab es einen Skandal: Personen mit dunkler Haut wurden von der Objekterkennung als Gorillas eingestuft. Die Lösung, die immer noch hält: Es gibt bei der Bilderkennung von Apple und Google und anderen einfach keine Affen mehr. Trotz solcher Unwägbarkeiten wird Bilderkennung weiterhin von der Polizei eingesetzt, mit zum Teil desaströsen Ergebnissen: Another Arrest, and Jail Time, Due to a Bad Facial Recognition Match.

 

2. AI everywhere, auch bei Betrügereien

Nachdem nach Microsoft mit Bing und auch sonst fast überall als erste auf den AI-LLM-Zug aufgesprungen war zieht nun auch Google massiv nach: Google is throwing generative AI at everything (zum Teil nicht in der EU, evt schreckt die EU-Reaktion auf ChatGPT).

Der Autor des obigen Artikels zu Google, Mat Honan, erinnert daran, dass z.B. Google vor 3 Jahren die Chefin des 'ethical AI teams', Timnit Gebru, gefeuert hat weil sie zu viele Fragen gestellt hat und nun Geoffrey Hinton, ein führender AI-Experte bei Google, von sich aus gekündigt hat, weil er offen über die ihn beunruhigenden Risiken reden können möchte.

OpenAI bringt eine offizielle ChatGPT App aufs iPhone, eine Android-Version soll bald folgen. Und wo so viel Hype ist, sind die Betrüger nicht weit: Apple und Google: App-Stores von ChatGPT-Fakes geflutet, die mit Abos abzocken. Und Meta (Facebook, Instagram) warnt: ChatGPT-Scams sind der neue Kryptobetrug. Und CryptoGPT kombiniert dann die Hypes auch noch.

Aber auch Cryptobetrug ist weiterhin sehr lukrativ, auch kombiniert mit LoveScam. Die Betrüger nennen es verächtlich: Pig Butchering. Hier ein dramatisches Beispiel von Kryptobetrug, kombiniert mit einem Love Scam. Die Frau hat sich über sehr clevere Tricks letztendlich 450 000 USD abnehmen lassen (für die sie Kredite aufgenommen hatte) - die Gesamtsumme solche Betrügereien in den USA in 2021 war laut FBI $2.57 Millarden. Auch zum Thema Betrug: So einfach generiert eine andere generative AI (StyleGAN) Fotos von Gesichtern: ThisPersonDoesNotExist - Random AI Generated Photos of Fake Persons.

 

3. und die Arbeitsplätze?

KI und Arbeitsmarkt: IBM will keine Jobs nachbesetzen, die KI übernehmen kann - IBM denkt vor allem an Personalbüros. Weiter aus den USA: Alle 200 Menschen einer Essstörung-Hotline werden durch Chatbot ersetzt. Und wenig überraschend - wer braucht schon Ethik- und Compliance-Teams: Tech layoffs ravage the teams that fight online misinformation and hate speech. Oder Mobilfunker British Telecommunications (BT) entlässt jeden zweiten Mitarbeiter, KI soll 10.000 Stellen im Kundenkontakt ersetzen.

D.h. die Kündigungswellen im High Tech (siehe vorige Newsletter) gehen weiter, nun mit neuer Begründung. Ed Zitron schreibt einen guten Artikel Artificial Labor. Anlass ist der Streik der US Writers Guild of America, die Drehbuchautoren will nicht mehr Lohnerhöhung sondern auch eine Absicherung, dass in Zukunft das n-te Sequel eines Films nicht durch AI generiert wird. Die Schnellimbiskette Wendy’s möchte die Burger-Bestellungen an einen Chatbot auslagern: "to take the complexity out of the ordering process" - der Umgang mit den Anliegen der Menschen läuft unter 'unnötige Komplexität'.

Ed Zitron befürchtet, dass dies uns bald alle betreffen wird. Er rechnet vor allem damit, dass immer mehr der Möglichkeiten, mit einem Menschen zu sprechen wenn etwas nicht klappt, durch einen Chatbot ersetzt werden. Den Trend kennen wir heute bereits: die Helpdesks existieren entweder gleich gar nicht (wie bei Facebook, Google und vielen anderen großen 'Dienstleistern') oder wir verbringen massig Zeit in Telefon-Warteschlangen. Ziel ist, uns zu Chatbots zu treiben, die aber meist so schlecht sind, dass sie nur bei simplen Anliegen helfen können. Die Hoffnung der Dienstebetreiber ist, das sich das mit den neuen LLMs ändern könnte. Trotzdem wird es oft nicht möglich sein, einer Maschine ein komplexeres Anliegen zu erklären. Maschinen haben von den oft sehr komplexen Problemen mit denen wir Menschen manchmal kämpfen keinerlei Ahnung.

Welche Jobs bleiben uns Menschen? Viele der Jobs, in denen mechanische Arbeit erledigt werden muss die derzeit noch nicht automatisiert werden kann, z.B. Haare schneiden, Pflege und medizinische Tätigkeiten, Dachdecken und Solarpanele befestigen, Wärmepumpen installieren, Häuser isolieren, etc. Bei den geistigen Jobs sieht es enger aus. Das kann man versuchen, positiv zu sehen: 2030 lassen wir eine KI-Kopie von uns arbeiten - ich bin aber skeptisch, ob wir dann weiterhin bezahlt werden - das führt für mich zur Forderung nach einem Grundeinkommen.

Dafür entsteht vielleicht ein neuer Job: Prompt-Writing: Der gefragteste Job-Skill des Jahrhunderts? Denn für komplexe Aufgabenstellungen braucht das KI-System auch eine komplexe Beschreibung der Aufgabe, die sog. 'Prompts' - je genauer man sagt, welcher Text in welchem Stil, für welche Zielgruppe und welchem Wortschatz und welchem Aspekt benötigt wird, desto brauchbarer wird die Antwort. Im vorigen Newsletter gab es das Thema 'AI im Unterricht', dort habe ich in der Zwischenzeit einiges ergänzt.

 

4. Neues bei EU-Regulierungen

Es tut sich einiges bei den IT-bezogenen Regulierungen, da ist erst mal

a) AI Act
Zu dieser Verordnung hat sich das Parlament auf einen Entwurf geeinigt, der voraussichtlich Mitte Juni im Plenum des EU-Parlaments angenommen wird und dann in den sogenannten Trilog, d.h. die Verhandlungen zwischen Parlament, Ministerrat und Kommission geht. So weit, so gut.

Es steht aber zu erwarten, dass dabei noch mal Abschwächungen passieren. Schon jetzt kritisiert netzpolitik.org eine ganze Reihe von Schwachstellen, hier die Aufzählung (Details siehe Link)

Hier ein Überblick und eine Einschätzung von anderen AI-Regulierungsbemühungen: quick guide to the 6 ways we can regulate AI.

b) Cyber Resilience Act
Hierbei ist das Ziel, dass Systeme mit Software sicherer sein und zertifiziert werden müssen (siehe voriger Newsletter. Grundsätzlich m.E. eine gute Idee, Herausforderungen liegen im Detail, z.B. bei ehrenamtlich entwickelter Open Source Software.

c) "Markets in Crypto-Assets" (MiCA)
Ziel ist es, den Transfer von Krypto-Vermögenswerten "vollends" und einfacher nachverfolgbar zu machen. Durch "Markets in Crypto-Assets" (MiCA) (siehe früherer Newsletter) sollen Verbraucher und Investoren vor Missbrauch und Manipulation auf volatilen Krypto-Marktplätzen geschützt und der Anwendungsbereich der bisherigen Registrierungs- und Meldepflichten und die allgemeine Zusammenarbeit der Steuerbehörden ausgeweitet werden. Eingeschlossen sind alle Kryptowerte wie Stablecoins, E-Geld-Tokens und bestimmte NFTs: Bitcoin & Co.: EU-Rat stoppt anonyme Kryptozahlungen und Steuerschlupflöcher.

 

5. Datenverlust bei cloud-only Speicherung

Immer wieder mal lese ich von Einzelfällen, in denen Menschen ihre Fotos, Videos und Kontakte verloren haben weil sie den Account des Smartphones oder eines anderen Cloud-Services verloren haben. Genauso dramatisch wäre es, den Zugang zum Mail-Account zu verlieren, mit dessen Hilfe man bei allen anderen Accounts das Passwort zurücksetzen kann. Übernimmt jemand diesen Mail-Account so kann er bei den anderen Accounts die Passworte zurücksetzen und diese auch übernehmen.

Email-Hack: Ein Grund für so ein Desaster kann zB sein, dass das Email-Konto von jemandem übernommen wurde, z.B. in diesem dramatischen Fall wo die Angreifer nach und nach mittels 'Passwort vergessen' alle seine Konten übernehmen konnten.

ChatControl: wenn die Algorithmen auf einem Cloud-Speichersystem eines der Fotos für 'sexuelle Gewalt gegen Kinder' (oder anderweitig 'unerwünscht') halten so sperren sie den Account - das soll (leider!) in der EU zur Pflicht werden. So eine Sperrung ist auch bei Fehlalarm sehr oft entgültig.

Handy-Diebstahl: Das iPhone wird gestohlen nachdem der Dieb gesehen hat, wie man das Gerät mit einem PIN entsperrt. Die Sicherheitsfeature iPhone Recovery Key ermöglicht nun dem Dieb, den rechtmäßigen Besitzer permanent auszusperren - Details.

Kontenlöschung bei Inaktivität: Google und Twitter werden inaktive Accounts informieren und bei Nicht-Reaktion diese Löschen - Your digital life isn’t as permanent as you think it is. Dieser Artikel weißt darauf hin, dass die Inaktivität komplexe Gründe haben kann, z.B. eine mehrjährige Inhaftierung im Gefängnis oder eine sehr lange ernste Krankheit - das wäre schon unschön, wenn da alle Fotos verschwinden würden. Dagegen hilft ein 2. Cloud-Dienst natürlich nichts, wenn dort auch bei Inaktivität gelöscht wird. Bei Twitter gelten auch die Accounts von verstorbenen Familienmitgliedern als inaktiv.

Der vorige Link weißt auch auf die Option "digitaler Nachlass" hin, die Google und andere (zB Meta/Facebook) anbieten. Dort wird geregelt, an wen und wann die Zugriffsrechte weitergeleitet werden sollen. Hier noch weitere Artikel zu "digitaler Nachlass": Was passiert nach dem Tod mit Bitcoins und Online-Accounts?, Google-Konten, Facebook und Stiftung Warentest: Digitaler Nachlass.

Wie kann man sich gegen Verlust von Daten in Cloud-Speichern schützen?
In allen diesen Fällen ist es wichtig, dass man eine Sicherung, dh eine Kopie seiner wichtigen Daten auf einem anderen Gerät oder einer anderen Cloud hat. Was für Daten sind das? Auf jeden Fall der Passwort Manager / Passwort Safe (oder ein anderer Speicher mit den Passworten, z.B. ein Spread-sheet) mit den Zugängen zu allen seinen anderen noch ungesperrten Accounts. Dann natürlich alle Fotos sie einem wichtig sind und wichtige Dokumente die evt. nur elektronisch vorliegen.

Ich bin altmodisch, ich speichere alle meine wichtigen Daten auf einer Festplatte zu Hause (mit 1 Backup und einer weiteren Kopie an anderer Stelle, für alle Fälle) - wer einen Computer oder Laptop besitzt, sollte mE irgend so etwas auch tun.

Aber was tut ein Mensch, der nur ein Smartphone besitzt (das hört man heute immer öfter)? Das einzige, was mir dazu einfällt, das ist, sich nicht allein auf die integrierte Cloud-Lösung des Smartphone-Anbieters zu verlassen sondern die Dateien, deren Verlust schmerzhaft wäre, auf einer weiteren Cloud zu speichern.

Angebote für Cloudspeicher gibt es ja reichlich und eine weitere Cloud-App lässt sich recht problemlos auf den Smartphones installieren und mit einem automatischen Kopieren zB der Fotos konfigurieren. Verzeichnisse mit den Daten anderer Apps muss man zuerst mal auf dem Gerät finden, aber da hilft oft eine Suche im Internet nach Anleitungen.

 

6. Eine weitere Analyse zu Ethnic Profiling durch Algorithmen

Wieder gibt uns eine investigative Recherche von Lighthouse Reports einen Einblick in den staatlichen Einsatz von Künstlicher Intelligenz (KI) - quasi eine Fortsetzung der Analyse eines algorithmischen Verfahren zur Vorhersage von Sozialhilfebetrug. Dieses Mal geht es um ein System zur automatisierten Profilbildung von Migrant:innen in den Niederlanden.

Seit 2015 werden dabei bei Visaanträgen Daten über die Antragssteller:innen ausgewertet, darunter auch die Nationalität, Alter oder Gender. Wird im Profil ein hoher „Risikoscore“ berechnet, bedeutet das für die Betroffenen längere Wartezeiten, Ausforschungen durch die Behörden oder gar eine Ablehnung ihres Asylantrags.

Gerade wenn ausländische Familienangehörige von Niederländer:innen kurz zu Besuch kommen wollen, können so unnötige Verzögerungen entstehen. Die Recherche deckte dabei nicht nur das bisher geheime System als solches auf, sondern auch, dass das niederländische Außenministerium hier durchaus die Gefahr von Diskriminierungen sieht.

Versuche, den Einsatz des Systems zu stoppen, blieben aber bislang erfolglos. Nicht zuletzt aufgrund dieser Risiken fordern zivilgesellschaftliche Organisationen, dass der Einsatz von KI im Migrationsbereich in der KI-Verordnung separat reguliert und teilweise verboten werden sollte.

Einige Hintergrundlinks: Der Report von Lighthouse und die EDRi-Organisation zur Problematik 'people on the move'. Sie fordern für den AI-Act einen besseren Schutz vor algorithmischer Willkür ("preventing AI harms").

 

7. Beklemmende Dystopie, aber sehr gut. Dave Eggers: The Every

Dave Eggers hat mit The Every sein Konzept einfach weiter gedacht, und das Ergebnis ist gruselig. Die Prämisse des Buches ist, dass das welt-größte Social Network (das im Kern von 'The Circle' steht) den welt-größte Versandkonzern ("the jungle") schluckt und bald auch das Suchmaschinen- und Werbebusiness dominiert und alles andere verdrängen kann: kaum noch lokale Geschäfte, kaum Zeitungen, produzierende Firmen sind davon abhängig, ob sie im "Every" beworben und angeboten werden.

Und dann wird die Gesellschaft kräftig umgebaut. Dafür braucht es keine Gesetze oder Regeln, es reicht, wenn in den Social Networks aureichend Scham aufgebaut wird - die lokalen Geschäfte werden über Umweltschutz-Schuldgefühle attackiert (was für Verschwendung, wenn Dinge produziert und zum Händler versandt werden, von denen noch niemand was, ob sie in jemand in diesem Laden kaufen wird - viel effektiver ist, wenn sie erst nach der Bestellung produziert werden und direkt zum Kunden versendet). Auch das Ende der Haustierhaltung durch Beschämung der Tierhalter ergibt sich zwingend und logisch aus Umwelt- und Tierschutzgründen. Auch 'Reisen' ist natürlich schädlich, es gibt ja 'virtual reality'.

Das andere Desaster ist die komplette Objektivierung ('Verwissenschaftlichung'?) der Menschen durch komplette Datenerfassung in den Apps. War dieses Kompliment wirklich ehrlich? Ist diese Antwort evt gelogen? - all das wird durch eine Analyse der Micro-Expressions (anscheinend objektiv) berechnet und offenbart. Das beendet viele Freundschaften und Beziehungen - aber wie kann denn 100% Wahrheit schlecht sein ?!?

Andere zerbrechen an der App, die zuerst nur die 'Schönheit' von Kunstwerken, aber dann auch menschlichen Körpern 'objektiv' bewertet. Viele Männer scheitern am allgegenwärtigen Eye-Tracking (der Analyse, welche Körperstellen der andere wie lange betrachtet) - das beendet Karrieren und Beziehungen.

 

8. Kostenlos: ÖIAT-Online-Schulungen

Weitherhin kostenlose Online Schulungen beim Österreichischen Institut für angewandte Telekommunikation (ÖIAT). Hier die Termine und Themen für dieses Jahr - alle diese Schulungen sind empfehlenswert.

Die Termine und Themen: (jeweils 18:00 - 20:00 oder 18:30 - 20:00)

Anmeldung auf academy.oiat.at - der Zoom-Link kommt dann per Email - wie gesagt: m.E. sehr empfehlenswert.