213. Newsletter - sicherheitskultur.at - 31.10.2024

von Philipp Schaumann

Zum Archiv-Überblick

Hier die aktuellen Meldungen:

1. Digitalzwang an vielen Stellen

Das ist die Fortsetzung meiner Texte zu Öffis in D und der Fußball-Europameisterschaft, bei der es Stadionzutritt nur mit Smartphone gab. Einige der heutigen Beispiele kommen aus den USA und betreffen Gesichtserkennung, aber vieles davon wird wohl auch bei uns immer üblicher werden.

Netzpolitik.org berichtet über Berliner Busse und 5 Schwimmbäder die ab 10 Uhr morgens nur noch Digitaltickets anbieten (QR-Code einscannen, online zahlen). Auch die Bahncard gibt es nur noch mit Online-Account.

Noch mal zum Reisen, diesmal Ryanair. Dort soll man ohne Smartphone und App in Zukunft nicht mehr mitfliegen dürfen: Ryanair: Ohne App und Smartphone darf man nicht mehr mitfliegen. Bereits jetzt werden für 'Checkin am Flughafen' 55€ berechnet, in Zukunft soll das überhaupt nicht mehr möglich sein. Ryanair will ganz ohne Personal am Flughafen auskommen, Self-Service bis zum Gate. Falls das klappt /akzeptiert wird, so könnte sich das bei anderen Airlines durchsetzen, zuerst Billig-Flieger, dann ziehen die anderen nach. Der sog. Customer Verification Process von Ryanair ist übrigens Gegenstand einer Untersuchung der irischen Datenschutzbehörde. Die österreichische Organisation Noyb legt ausführlich dar, warum dieser Quasi-Zwang zur Freigabe der Biometrie nicht nur problematisch ist, sondern wohl auch EU-Recht verletzt.

Hier mein letzter Reisebericht mit viel Gesichtserkennung.

Der WHSmith-Buch- und Snack-Laden am New Yorker Flughafen wurde auf "JUST WALK OUT" umgestellt. Am Eingang muss ein Smartphone oder eine Kreditkarte gescannt werden, der Kunde nimmt sich seine Teile und geht wieder raus. AI Systeme und Kameras erstellen dann eine Buchung.

Das klingt ähnlich gruselig und fehleranfällig wie das REWE-Experiment ('Pick-&-Go-Systems' mit Abrechnung über die "Pick&Go"-App) und der gescheiterte Amazon-Supermarkt ohne Kassen, bei der die AI mit ihren omni-präsenten Kameras menschliche Unterstützung durch bis zu 1000 indische Helfer benötigte.

Die Reporterin in der nächsten Geschichte besucht einen neuen Entertainment Complex in Los Angeles: A new arena uses facial recognition for just about everything—including churros. Im 'Dome' funktioniert alles mit der dazugehörigen App in der man sich mit seinen persönlichen Daten registrieren muss. Optional sind Kreditkartendaten und ein Selfie. Beides ist zwar theoretisch optional, aber ohne Selfie ist die Nutzung deutlich unbequemer.

Der Event-Palast ist voller Kameras, jeder Besucher kann durchgehend getrackt werden. Wer erkannt wird, wird automatisch in die Orte eingelassen, die er/sie gebucht hat. Die Reporterin versuchte bei ihrem ersten Besuch, ohne aktivierte Gesichtserkennung das Konzert zu erleben. Trotzdem musste beim Hot Dog-Stand ihr Gesicht mit der App veknüpft werden, über die auch die automatische Bezahlung erfolgt - auch das gewählte Essen wird automatisch erkannt. Alternativ wird Bezahlung mittels der Google- oder Apple-Wallet, bzw. Apple oder Google Pay angeboten.

Die Betreiber berichten, dass typischerweise zu Beginn einer Veranstaltung nur die Hälfte der Besucher Gesichtserkennung in der App aktiviert, bis zum Ende des Abends sind es dann üblicherweise 70 - 75%, einfach weil es ohne recht unbequem ist. Die vielen Kameras bei Veranstaltungen werden aber auch eingesetzt, um unerwünschte Besucher zu entdecken. Das erlebte eine Anwältin die von einem Konzert ausgeschlossen wurde, weil sie Anwältin ist.

Das wird wohl eher kein weltweiter Trend:
Eine High School in den USA führte ein, dass vor einem Toilettenbesuch während der Unterrichtsstunde das eigene Handy zum Scannen eines QR-Codes genutzt werden muss. Nach dem Scannen des QR-Codes müssen die Schüler das Handy im Klassenzimmer lassen. Dort läuft dann eine Stoppuhr ab, die anzeigt, wie lange der Schüler oder die Schülerin am Klo war.

2. Gruselgeschichten zu generativer AI

AI erstellt einen interaktiven Chatbot

In den USA wurde 2006 eine 16-jährige Frau ermordet, nun wurde sie in Form eines AI Chatbots 'wiederbelebt'. Dafür braucht es nur die Stimme und ein Fotos des Opfers, den Rest erledigt die generative AI von Character.AI. Der Vater der jungen Frau ist entsetzt.

Zur Frage ob das legal ist - leider ja. Selbst in Europa mit allen Datenschutzgesetzen erlischen die Rechte mit dem Tod einer Person. Lebende Personen können dagegen vorgehen, Experten sagen aber, dass es einfacher wäre, den Bot einer bekannten Person aus dem Netz zu entfernen, dabei hilft Copyright-Recht (Copyright ist stärker als Datenschutz und Recht am Bild). Viele Menschen berichten mittlerweile, dass sie als Bot im Netz existieren. Sie können theoretisch gerichtlich gegen so etwas vorgehen (falls sie merken, dass es sie auch in elektronischer Form gibt). Der Artikel beschreibt, dass es aber im Einzelfall sehr schwierig sein kann.

AI 'Nudify-Bots' auf Telegram

Angeblich benutzen Millionen von Menschen solche 'Nudify-Bots' die auf Telegram angeboten werden. Sie laden ein Foto hoch und die generative AI erzeugt ein Bild der Person ohne Kleidung. Typischerweise wird das Bild dann geteilt und da wird es für die betroffene Person dann ziemlich unangenehm.

AI erstellt automatisch Podcasts

Viele finden das vermutlich toll, ich finde es leicht gruselig: Googles NotebookLM erstellt mit zwei Klicks Podcasts. Gedacht ist dies, damit man nicht mehr lange Studien oder Texte selbst lesen muss. Der Nutzer lädt die Inhalte (PDF-, TXT-, Bild- und/oder Audiodateien) in die AI und dann erklärt eine Männer- und eine Frauenstimme den Inhalt in Form eines Podcasts. So weit, so praktisch (wenn man Podcasts mag), aber man kann natürlich auch beliebige Fake-News hochladen und auf diese Weise im Netz verbreiten.

Klima und generative AI

Das ist eine wilde Geschichte: Die derzeitigen generativen AI-Systeme (LLMs wie ChatGPT) zeichnen sich durch einen extrem hohen Energieverbrauch aus, sowohl beim sog. Training, als auch bei jeder Nutzung. Dies wird zu rechtfertigen versucht, indem behauptet wird, generative AI könne die Probleme der Klimaveränderungen lösen, wir müssten nur Vertrauen haben und noch stärkere Systeme bauen und trainieren.

Das ist ziemlicher Unsinn. Ja, es gibt AI-Systeme die möglicherweise helfen können, bessere Batterien oder Solarzellen oder ähnliches zu erfinden. Aber das sind NICHT die generativen LLMs wie ChatGPT, die eher gut darin sind, Texte zusammenzufassen, neue Texte oder Bilder zu erfinden (und mit ihren Halluzinationen eher schädlich sind), die aber nicht logisch denken und analysiseren können und daher auch die Wissenschaft nicht voran bringen werden. Die sehr wohl hilfreichen Systeme wie AlphaFold sind keine generativen Systeme und deutlich sparsamer im Energieverbrauch.

Aber alle, die in generative Systeme investieren, z.B. in Nvidia-Chips oder in neue Rechenzentren mit Kernkraftwerken (wie derzeit Microsoft, Amazon und Google) haben natürlich ein starkes Interesse, diese Punkte zu vermischen.

AI erzeugt CSAM-Darstellungen

Es wird immer gruseliger: Sicherheitsforscher haben Zugriff auf die Anfragen (die 'prompts') der Benutzer auf der Website Muah.AI bekommen. Das ist ein generatives AI-System zum Erstellen von virtuellen AI-Girlfriends. Erschütternd war dabei die große Zahl der 'Prompts', die auf die Generierung von Darstellungen von Kindesmissbrauch (CSAM - Child Sexual Abuse Material) hindeuten.

Ob diese 'Prompts' erfolgreich waren, das haben die Forscher nicht ausprobiert - das wäre nicht nur gruselig, das Ausprobieren solcher 'Prompts' wäre auch strafbar. Details unter People Are Asking AI for Child Pornography - For maybe the first time, the scale of the problem is coming into view. Und: Hacked ‘AI Girlfriend’ Data Shows Prompts Describing Child Sexual Abuse.

Hier der vorige Artikel zum CSAM-Thema.

Mehr Enshittification des Internets durch AI

Noch ein Beispiel für die Enshittification des Internets durch AI: Immer mehr KI-Bilder in der Google-Bildersuche. Und: die Zahl gefälschter historischer Fotos im Internet steigt rasant. Fotos wurden immer gefälscht, aber nicht im 'industriellen Maßstab'.

Hier zu meinem vorigen Beitrag zu generativer AI.

3. Ergänzungen früherer Beiträge: Verkauf von PKW-Daten, Telegram, Cyber Resilience Act, Wirtschaftsnobelpreis

Der Handel mit PKW-Daten

Datenschützer in Australien haben sich angesehen, welche Hersteller Daten ihrer Kunden weiterverkaufen. Das steht auch so im Vertrag drin (aber wer liest schon Verträge? ;-) )

Am gruseligsten waren Tesla, Kia, Mazda und Hyundai: Sie sammeln nicht nur, wie alle Hersteller, die Fahrdaten, sondern auch die Stimmen der Insassen, die sie für AI-Training weiterverkaufen [bei Tesla ist nicht ganz klar, was sie mit diesen Daten (inkl. Video) machen]. Auch in Europa werden Fahrdaten gesammelt, solange der Käufer dem nicht ausdrücklich widerspricht.

Hier mein Überblicksbeitrag zum Fahrzeugdaten.

Telegram als Tummelplatz der Unterwelt

Wieder ein Bericht über Telegram als Tummelplatz der organisierten Kriminalität. Auch beim angeblichen Stimmenkauf in Moldavien soll ein Bot auf Telegram eine wichtige Rolle gespielt haben. Hier mein Überblicksbeitrag zum Thema Telegram.

Cyber Resilience Act - Liability Directive

Eine gute Nachricht: der Cyber Resilience Act wurde beschlossen und tritt November 2027 in Kraft. Spätestens dann müssen alle auf dem Markt vertriebenen und vernetzten IT-Geräte (z.B. auch im Haushalt) die neuen Cybersicherheitsanforderungen erfüllen und dies mit einem CE-Kennzeichen dokumentieren. Sie müssen gegen IT-Angriffe gesichert sein. Zudem müssen Hersteller IT-Schwachstellen und -vorfälle einer zentralen Meldestelle berichten und regelmäßig Sicherheitsupdates anbieten.

Mit dem Resilience Act sollen solche Alpträume verhindert werden, oder zumindest leicht und schnell behebbar sein: Ecovacs-Saugroboter beginnt plötzlich rassistisch zu schimpfen. Außerdem können die Hacker das Gerät steuern und Film- und Tonaufnahmen machen, die teilweise im Internet kursieren, auch von Badezimmmern und Toiletten. Das Problem wurde bereits 2023 entdeckt, ist aber noch nicht behoben. Hier mehr zum Cyber Resilience Act.

Die EU Directive on Liability for Defective Products behandelt ein änliches Thema. Diese Directive ist schon älter, hatte aber bisher eine Haftung für Fehler in Software explizit ausgeschlossen. Haftung besteht nun für Softwarefehler und für geplante Obsoleszenz. Hier der Artikel: EU extends liability definition to cover software and security flaws.

Aktualisierung Nov. 2024:
Ein paar Beispiele warum das wichtig ist: Olympia-Registrierkassen seit drei Jahren ohne Sicherheitsupdates. Und: Wenn der Staubsaugerroboter zu spionieren beginnt. Die Geräte waren gehackt worden und haben nicht nur Videos aus der Wohnung übertragen, sondern die Angreifer haben die Nutzer sogar rassistisch beschimpft.

Wirtschaftsnobelpreis 2024

Der diesjährige Wirtschaftsnobelpreis ging u.a. an Daron Acemoğlu. Eines seiner Bücher war Thema im Newsletter Nov. 2023. Dort ging es um: Macht und Fortschritt - Unser 1000-jähriges Ringen um Technologie und Wohlstand. Und um eine Erklärung, was in der derzeitigen IT-Technologie grundlegend schief läuft. Hier ein weiterer Artikel von Daron Acemoğlu: Warum die Macht der Reichen begrenzt gehört. Es geht in dem Artikel um die unglaubliche Macht der "Tech-Milliardäre". Er versteht nicht, warum wir (d.h. die Gesellschaft) diesen Menschen solch großen Einfluss in so vielen gesellschaftlichen Bereichen zugestehen.

DNA-Daten bei 23andMe

Die Firma 23andMe, die einen sehr großen Marktanteil bei der Analyse von DNA-Daten zu Gesundheits- und Ahnenforschungszwecken hat, ist in finanziellen Schwierigkeiten. Das begann spätestens mit einem Data Leak im Oktober 2023 der fast 6 Miillionen Benutzer betroffen hat. Aber parallel dazu wurden auch immer öfter Zweifel an der Effektivität von DNA-basierter Medizin geäußert und die Firma scheint mit erheblichen finanziellen Problemen zu kämpfen, ein Verkauf steht im Raum. Da steht die Frage an: was passiert mit den sehr persönlichen DNA-Daten?

DNA-Daten sind wie Bewegungsdaten, sie können nicht wirklich anonymisiert werden. Selbst die reinen DNA-Daten selbst, ohne weitere Daten, können mittels Vergleich mit anderen Quellen in vielen Fällen zumindest der Familie der betroffenen Person zugeordnet werden. Denn, wie ich an anderer Stelle ausführe: DNA-Daten haben immer eine große Ähnlichkeit mit den DNA-Daten der leiblichen Familienmitglieder - es wurden Kriminalfälle aufgeklärt weil die DNA-Daten am Tatort Ähnlichkeit mit den DNA-Daten von entfernten Familienmitgliedern des Täters hatten. Details zum Löschen der Daten und einige Hintergründe finden sich in How to… delete your 23andMe data.

Terminhinweis Govcamp Wien 29.Nov.

Für alle aus Wien und Umgebung: Auch dieses Jahr findet wieder das govcamp vienna statt. Datum: 29.Nov. Ort: Wien-Akademie, Rotensterngasse 9-11, 1020 Wien, veranstaltet von Stadt Wien, Bundesrechenzentrum BRZ, Universität für Weiterbildung Krems und Chaos Computer Club Wien (C3W). Ich werde wieder als einer der Vertreter des Chaos Computer Clubs dabei sein. Passend zum Thema der Barrierefreiheit (in vieler Hinsicht) wird österreichische Gebärdensprache unterstützt werden.

Das Thema ist diesmal: Die Welt im Wandel – Gemeinsam Barrieren überwinden. Das Format ist ein Barcamp, d.h. eine offene Tagung mit Workshops, deren Inhalte und Ablauf von den Teilnehmern zu Beginn der Tagung selbst entwickelt werden. Alle Details oben im ersten Link.