213. Newsletter - sicherheitskultur.at - 31.10.2024

von Philipp Schaumann

Zum Archiv-Überblick

Hier die aktuellen Meldungen:

1. Digitalzwang an vielen Stellen

Das ist die Fortsetzung meiner Texte zu Öffis in D und der Fußball-Europameisterschaft, bei der es Stadionzutritt nur mit Smartphone gab. Einige der heutigen Beispiele kommen aus den USA und betreffen Gesichtserkennung, aber vieles davon wird wohl auch bei uns immer üblicher werden.

Netzpolitik.org berichtet über Berliner Busse und 5 Schwimmbäder die ab 10 Uhr morgens nur noch Digitaltickets anbieten (QR-Code einscannen, online zahlen). Auch die Bahncard gibt es nur noch mit Online-Account.

Noch mal zum Reisen, diesmal Ryanair. Dort soll man ohne Smartphone und App in Zukunft nicht mehr mitfliegen dürfen: Ryanair: Ohne App und Smartphone darf man nicht mehr mitfliegen. Bereits jetzt werden für 'Checkin am Flughafen' 55€ berechnet, in Zukunft soll das überhaupt nicht mehr möglich sein. Ryanair will ganz ohne Personal am Flughafen auskommen, Self-Service bis zum Gate. Falls das klappt /akzeptiert wird, so könnte sich das bei anderen Airlines durchsetzen, zuerst Billig-Flieger, dann ziehen die anderen nach. Der sog. Customer Verification Process von Ryanair ist übrigens Gegenstand einer Untersuchung der irischen Datenschutzbehörde. Die österreichische Organisation Noyb legt ausführlich dar, warum dieser Quasi-Zwang zur Freigabe der Biometrie nicht nur problematisch ist, sondern wohl auch EU-Recht verletzt.

Hier mein letzter Reisebericht mit viel Gesichtserkennung.

Der WHSmith-Buch- und Snack-Laden am New Yorker Flughafen wurde auf "JUST WALK OUT" umgestellt. Am Eingang muss ein Smartphone oder eine Kreditkarte gescannt werden, der Kunde nimmt sich seine Teile und geht wieder raus. AI Systeme und Kameras erstellen dann eine Buchung.

Das klingt ähnlich gruselig und fehleranfällig wie das REWE-Experiment ('Pick-&-Go-Systems' mit Abrechnung über die "Pick&Go"-App) und der gescheiterte Amazon-Supermarkt ohne Kassen, bei der die AI mit ihren omni-präsenten Kameras menschliche Unterstützung durch bis zu 1000 indische Helfer benötigte.

Die Reporterin in der nächsten Geschichte besucht einen neuen Entertainment Complex in Los Angeles: A new arena uses facial recognition for just about everything—including churros. Im 'Dome' funktioniert alles mit der dazugehörigen App in der man sich mit seinen persönlichen Daten registrieren muss. Optional sind Kreditkartendaten und ein Selfie. Beides ist zwar theoretisch optional, aber ohne Selfie ist die Nutzung deutlich unbequemer.

Der Event-Palast ist voller Kameras, jeder Besucher kann durchgehend getrackt werden. Wer erkannt wird, wird automatisch in die Orte eingelassen, die er/sie gebucht hat. Die Reporterin versuchte bei ihrem ersten Besuch, ohne aktivierte Gesichtserkennung das Konzert zu erleben. Trotzdem musste beim Hot Dog-Stand ihr Gesicht mit der App veknüpft werden, über die auch die automatische Bezahlung erfolgt - auch das gewählte Essen wird automatisch erkannt. Alternativ wird Bezahlung mittels der Google- oder Apple-Wallet, bzw. Apple oder Google Pay angeboten.

Die Betreiber berichten, dass typischerweise zu Beginn einer Veranstaltung nur die Hälfte der Besucher Gesichtserkennung in der App aktiviert, bis zum Ende des Abends sind es dann üblicherweise 70 - 75%, einfach weil es ohne recht unbequem ist. Die vielen Kameras bei Veranstaltungen werden aber auch eingesetzt, um unerwünschte Besucher zu entdecken. Das erlebte eine Anwältin die von einem Konzert ausgeschlossen wurde, weil sie Anwältin ist.

Das wird wohl eher kein weltweiter Trend:
Eine High School in den USA führte ein, dass vor einem Toilettenbesuch während der Unterrichtsstunde das eigene Handy zum Scannen eines QR-Codes genutzt werden muss. Nach dem Scannen des QR-Codes müssen die Schüler das Handy im Klassenzimmer lassen. Dort läuft dann eine Stoppuhr ab, die anzeigt, wie lange der Schüler oder die Schülerin am Klo war.

2. Gruselgeschichten zu generativer AI

AI erstellt einen interaktiven Chatbot

In den USA wurde 2006 eine 16-jährige Frau ermordet, nun wurde sie in Form eines AI Chatbots 'wiederbelebt'. Dafür braucht es nur die Stimme und ein Fotos des Opfers, den Rest erledigt die generative AI von Character.AI. Der Vater der jungen Frau ist entsetzt.

Zur Frage ob das legal ist - leider ja. Selbst in Europa mit allen Datenschutzgesetzen erlischen die Rechte mit dem Tod einer Person. Lebende Personen können dagegen vorgehen, Experten sagen aber, dass es einfacher wäre, den Bot einer bekannten Person aus dem Netz zu entfernen, dabei hilft Copyright-Recht (Copyright ist stärker als Datenschutz und Recht am Bild). Viele Menschen berichten mittlerweile, dass sie als Bot im Netz existieren. Sie können theoretisch gerichtlich gegen so etwas vorgehen (falls sie merken, dass es sie auch in elektronischer Form gibt). Der Artikel beschreibt, dass es aber im Einzelfall sehr schwierig sein kann.

AI 'Nudify-Bots'

Angeblich benutzen Millionen von Menschen solche 'Nudify-Bots' die auf Telegram angeboten werden. Die Nutzer laden das Foto einer beliebigen (bekleideten) Person hoch und die generative AI erzeugt ein Bild der Person ohne Kleidung. Typischerweise wird das Bild dann geteilt und da wird es für die betroffene Person dann ziemlich unangenehm.

Aktualisierung Juli 2025:
Daraus ist mittlerweile ein Millionenmarkt geworden, denn nur eine Grundfunktion ist kostenlos, dann kostet das Gebühren. Eine einzige dieser Websites produziert angeblich 200 000 Bilder pro Tag (die zum Teil auch minderjährige Personen darstellen), der Umsatz nur dieses Netzwerks soll 3 Mio Euro pro Jahr sein. Kräftig beworben wird das alles auf Telegram und Reddit.

AI erstellt automatisch Podcasts

Viele finden das vermutlich toll, ich finde es leicht gruselig: Googles NotebookLM erstellt mit zwei Klicks Podcasts. Gedacht ist dies, damit man nicht mehr lange Studien oder Texte selbst lesen muss. Der Nutzer lädt die Inhalte (PDF-, TXT-, Bild- und/oder Audiodateien) in die AI und dann erklärt eine Männer- und eine Frauenstimme den Inhalt in Form eines Podcasts. So weit, so praktisch (wenn man Podcasts mag), aber man kann natürlich auch beliebige Fake-News hochladen und auf diese Weise im Netz verbreiten.

Klima und generative AI

Das ist eine wilde Geschichte: Die derzeitigen generativen AI-Systeme (LLMs wie ChatGPT) zeichnen sich durch einen extrem hohen Energieverbrauch aus, sowohl beim sog. Training, als auch bei jeder Nutzung. Dies wird zu rechtfertigen versucht, indem behauptet wird, generative AI könne die Probleme der Klimaveränderungen lösen, wir müssten nur Vertrauen haben und noch stärkere Systeme bauen und trainieren.

Das ist ziemlicher Unsinn. Ja, es gibt AI-Systeme die möglicherweise helfen können, bessere Batterien oder Solarzellen oder ähnliches zu erfinden. Aber das sind NICHT die generativen LLMs wie ChatGPT, die eher gut darin sind, Texte zusammenzufassen, neue Texte oder Bilder zu erfinden (und mit ihren Halluzinationen eher schädlich sind), die aber nicht logisch denken und analysiseren können und daher auch die Wissenschaft nicht voran bringen werden. Die sehr wohl hilfreichen Systeme wie AlphaFold sind keine generativen Systeme und deutlich sparsamer im Energieverbrauch.

Aber alle, die in generative Systeme investieren, z.B. in Nvidia-Chips oder in neue Rechenzentren mit Kernkraftwerken (wie derzeit Microsoft, Amazon und Google) haben natürlich ein starkes Interesse, diese Punkte zu vermischen.

AI erzeugt CSAM-Darstellungen

Es wird immer gruseliger: Sicherheitsforscher haben Zugriff auf die Anfragen (die 'prompts') der Benutzer auf der Website Muah.AI bekommen. Das ist ein generatives AI-System zum Erstellen von virtuellen AI-Girlfriends (Link zum vorigen Artikel dazu). Erschütternd war dabei die große Zahl der 'Prompts', die auf die Generierung von Darstellungen von Kindesmissbrauch (CSAM - Child Sexual Abuse Material) hindeuten.

Ob diese 'Prompts' erfolgreich waren, das haben die Forscher nicht ausprobiert - das wäre nicht nur gruselig, das Ausprobieren solcher 'Prompts' wäre auch strafbar. Details unter People Are Asking AI for Child Pornography - For maybe the first time, the scale of the problem is coming into view. Und: Hacked ‘AI Girlfriend’ Data Shows Prompts Describing Child Sexual Abuse.

Aktualisierung Juli 2025:
Es wird nicht besser, im Gegenteil: A.I.-Generated Images of Child Sexual Abuse Are Flooding the Internet. Die Behörden kommen immer weniger nach, die menschlichen Opfer von virtuellen Darstellungen zu trennen (beides ist verboten).

Hier der vorige Artikel zum CSAM und Chatcontrol und hier der nächste zu minderjährigen virtuellen Girl-Friends.

Mehr Enshittification des Internets durch AI

Noch ein Beispiel für die Enshittification (wiki) des Internets durch AI: Immer mehr KI-Bilder in der Google-Bildersuche. Und: die Zahl gefälschter historischer Fotos im Internet steigt rasant. Fotos wurden immer gefälscht, aber nicht im 'industriellen Maßstab'.

Aktualisierung Juli 2025:
Das Web wird mehr und mehr gefüllt mit AI-generierten Inhalten. Hier das Angebot Tiktok Symphony für die automatische Produktion eines Influencer Videos (ganz ohne menschliche Influencer): Wer ein Kleidungsstück bewerben möchte, lädt ein Foto des Kleidungsstücks auf die ads.tiktok, die AI produziert ein Video mit AI-generierten Influencern, die das Kleidungsstück bewerben. Reale Menschen werden nur noch als zahlende Kunden benötigt.

Hier zu meinem vorigen Beitrag zu generativer AI und hier zum vorigen Beitrag zu enshittification of the internet.

Noch eine spätere Ergänzung: ein Artikel von Cory Doctorow, der den Begriff Enshittification geprägt hat (der von der American Dialect Society zum 'Wort des Jahres' ernannt hat). Tiktok's enshittification. Doctorow erklärt darin, dass er mit diesem Begriff die schleichende Verschlechterung fast aller Dienste im Internet beschreiben wollte.

Zuerst bietet der Dienst guten Service, dh einen echten 'Mehrwert' für die Nutzer (Facebook ermöglichte zB eine bessere Kommunikation in Gruppen). Dann verschlechtern sie den Service für die Benutzer zugunsten der zahlenden Kunden (zB die Werbetreibenden). Sie zeigen viel mehr Werbung, oder es werden Gebühren eingeführt, es werden mehr Daten über die Nutzer gesammelt und die Nutzer sollen durch algorithmische Optimierung vom Verlassen des Dienstes abgehalten werden, es wird versucht, einen Suchtfaktor zu erzeugen. So wird zB die Werbung bei der Google-Suche oder Youtube immer penetranter und dominanter (immer mehr 'sponsored content').

Im nächsten Schritt verschlechtern sie den Service (so weit wie möglich), auch für ihre kommerziellen Kunden, aber nicht so sehr, dass diese abspringen. Bei Amazon klagen viele der dort verkaufenden Händler, dass ihre Bedingungen immer schlechter werden, aber sie sind auf Amazon angewiesen. In der Enshittification-Version von Doctorow kommt als letzte Stufe das Ende des Dienstes.

Dieser Effekt funktioniert bei allen Diensten, in denen ein Netzwerkeffekt, bzw. Lock-in-Effekt (wiki) entscheidend ist. Netzwerkeffekt bedeutet, dass ein Dienst um so wertvoller für die Kunden ist, je mehr andere Kunden auch diesen Dienst nutzen. Nutzer haben wenig Möglichkeiten, zu einem anderen Dienst zu wechseln so lange nicht die anderen Nutzer auch wechseln (zB Social Networks oder Messaging Dienste - man muss Instagram oder Facebook nutzen, wenn dort die Kindergartengruppe oder Elterngruppe ihre Termine koordiniert).

Der Mehrwert, der zu Beginn den Nutzern zugute kam, wird zuerst den zahlenden Kunden (Werbetreibende) zugeschoben, dann aber mehr und mehr nur den Investoren - Profitmaximierung zur Ausschüttung einer Dividende. Anstelle der Benutzer stehen dann die Investoren im Zentrum.

In der 'Variation Krugman' der Enshittification-Theorie sterben die Firmen und ihre Dienste nicht, sondern sie stagnieren. Die Firmen heben die Preise (oder reduzieren die Leistungen) so weit, bis es bei der Benutzerzahl kein Wachstum mehr gibt, dh die Benutzerzahl stagniert. Dieses Niveau hat zB Facebook erreicht.

3. Ergänzungen früherer Beiträge: Verkauf von PKW-Daten, Telegram, Cyber Resilience Act, Wirtschaftsnobelpreis

Der Handel mit PKW-Daten

Datenschützer in Australien haben sich angesehen, welche Hersteller Daten ihrer Kunden weiterverkaufen. Das steht auch so im Vertrag drin (aber wer liest schon Verträge? ;-) )

Am gruseligsten waren Tesla, Kia, Mazda und Hyundai: Sie sammeln nicht nur, wie alle Hersteller, die Fahrdaten, sondern auch die Stimmen der Insassen, die sie für AI-Training weiterverkaufen [bei Tesla ist nicht ganz klar, was sie mit diesen Daten (inkl. Video) machen]. Auch in Europa werden Fahrdaten gesammelt, solange der Käufer dem nicht ausdrücklich widerspricht.

Hier mein Überblicksbeitrag zum Fahrzeugdaten.

Telegram als Tummelplatz der Unterwelt

Wieder ein Bericht über Telegram als Tummelplatz der organisierten Kriminalität. Auch beim angeblichen Stimmenkauf in Moldavien soll ein Bot auf Telegram eine wichtige Rolle gespielt haben. Hier mein Überblicksbeitrag zum Thema Telegram.

Cyber Resilience Act - Liability Directive

Eine gute Nachricht: der Cyber Resilience Act wurde beschlossen und tritt November 2027 in Kraft. Spätestens dann müssen alle auf dem Markt vertriebenen und vernetzten IT-Geräte (z.B. auch im Haushalt) die neuen Cybersicherheitsanforderungen erfüllen und dies mit einem CE-Kennzeichen dokumentieren. Sie müssen gegen IT-Angriffe gesichert sein. Zudem müssen Hersteller IT-Schwachstellen und -vorfälle einer zentralen Meldestelle berichten und regelmäßig Sicherheitsupdates anbieten.

Mit dem Resilience Act sollen solche Alpträume verhindert werden, oder zumindest leicht und schnell behebbar sein: Ecovacs-Saugroboter beginnt plötzlich rassistisch zu schimpfen. Außerdem können die Hacker das Gerät steuern und Film- und Tonaufnahmen machen, die teilweise im Internet kursieren, auch von Badezimmmern und Toiletten. Das Problem wurde bereits 2023 entdeckt, ist aber noch nicht behoben. Hier mehr zum Cyber Resilience Act.

Die EU Directive on Liability for Defective Products behandelt ein änliches Thema. Diese Directive ist schon älter, hatte aber bisher eine Haftung für Fehler in Software explizit ausgeschlossen. Haftung besteht nun für Softwarefehler und für geplante Obsoleszenz. Hier der Artikel: EU extends liability definition to cover software and security flaws.

Aktualisierung Nov. 2024:
Ein paar Beispiele warum das wichtig ist: Olympia-Registrierkassen seit drei Jahren ohne Sicherheitsupdates. Und: Wenn der Staubsaugerroboter zu spionieren beginnt. Die Geräte waren gehackt worden und haben nicht nur Videos aus der Wohnung übertragen, sondern die Angreifer haben die Nutzer sogar rassistisch beschimpft.

Wirtschaftsnobelpreis 2024

Der diesjährige Wirtschaftsnobelpreis ging u.a. an Daron Acemoğlu. Eines seiner Bücher war Thema im Newsletter Nov. 2023. Dort ging es um: Macht und Fortschritt - Unser 1000-jähriges Ringen um Technologie und Wohlstand. Und um eine Erklärung, was in der derzeitigen IT-Technologie grundlegend schief läuft. Hier ein weiterer Artikel von Daron Acemoğlu: Warum die Macht der Reichen begrenzt gehört. Es geht in dem Artikel um die unglaubliche Macht der "Tech-Milliardäre". Er versteht nicht, warum wir (d.h. die Gesellschaft) diesen Menschen solch großen Einfluss in so vielen gesellschaftlichen Bereichen zugestehen.

DNA-Daten bei 23andMe - was passiert nach dem Bankrott mit den Daten?

Die Firma 23andMe, die einen sehr großen Marktanteil bei der Analyse von DNA-Daten zu Gesundheits- und Ahnenforschungszwecken hat, ist in finanziellen Schwierigkeiten. Das begann spätestens mit einem Data Leak im Oktober 2023 der fast 6 Miillionen Benutzer betroffen hat. Aber parallel dazu wurden auch immer öfter Zweifel an der Effektivität von DNA-basierter Medizin geäußert und die Firma scheint mit erheblichen finanziellen Problemen zu kämpfen, ein Verkauf steht im Raum. Da steht die Frage an: was passiert mit den sehr persönlichen DNA-Daten?

DNA-Daten sind wie Bewegungsdaten, sie können nicht wirklich anonymisiert werden. Selbst die reinen DNA-Daten, ohne weitere Daten zu der jeweiligen Person, können mittels Vergleich mit anderen Quellen in vielen Fällen zumindest der Familie der betroffenen Person zugeordnet werden. Denn, wie ich an anderer Stelle ausführe: DNA-Daten haben immer eine große Ähnlichkeit mit den DNA-Daten der leiblichen Familienmitglieder - es wurden Kriminalfälle aufgeklärt weil die DNA-Daten am Tatort Ähnlichkeit mit den DNA-Daten von entfernten Familienmitgliedern des Täters hatten. Details zum Löschen der DNA-Daten und einige Hintergründe finden sich in How to . . . delete your 23andMe data.

Aktualisierung April 2025 nach dem Bankrott von 23andMe:
Der DNA-Start-up 23andMe ist offiziell bankrott, Chefin zieht sich zurück. Die DNA-Daten der Nutzer/Kunden sind eines der wenigen finanziell verwertbaren Güter. Das nährt die Sorgen um die hochsensible Kundendaten. Das Interesse an der eigenen Abstammung hatte dem Service Millionen User beschert. Nun ist unklar, wie es mit deren DNA-Informationen weitergeht, die bisherige Chefin will ein Angebot legen. Die Nutzer können die Daten sperren, bzw. evt. sogar löschen, aber Daten die bereits Forschungszwecke frei gegeben wurden bleiben in Verwendung - zum Löschen, siehe der Link weiter oben.

Aktualisierung Juni 2025:
DNA-Daten sind recht kritisch, da würde man als Kunde eine DNA-Datenbank eine gewisse Sicherheit erwarten. Bei der US-Firma 23andme, die nach einem größeren Datenleak Pleite ging, war das aber nicht der Fall. Ein Gerichtsprozess in England hat nun aufgezeigt, dass das Unternehmen bei der IT-Sicherheit so ziemlich alles falsch gemacht hat.

Hier der Link zu den grundsätzlichen Problemen von DNA-Tests.