201. Newsletter - sicherheitskultur.at - 02.11.2023

von Philipp Schaumann

Zum Archiv-Überblick

Hier die aktuellen Meldungen:

1. Persönlicher Bericht aus der nahen Zukunft

Hier ein kurzer Bericht von meiner Reise nach Asien, die in gewisser Hinsicht wohl auch eine Reise in die nahe Zukunft war.

a) Einreise nur mit Gesichtserkennung

Ich bin, wie Leser des Newsletters wissen, kein Freund von Gesichtserkennung und bei digitalen Technologien eher Skeptiker. Aber die Gesichtserkennung lies sich nicht mehr vermeiden. Zuerst, bei der Abreise aus Wien, da war das optional. Ich stand in der normalen Schlange bei der Passkontrolle, ich hätte mich aber auch (ohne spezielle Registrierung) vor die Automaten der Gesichtskontrolle stellen können - aber wie gesagt, ich bin dabei recht skeptisch. Aber bei Grenzkontrollen wurde mir dann in Asien so ein Luxus nicht mehr angeboten.

Im Flugzeug hatte ich erwartet, dass wir für die Einreise nach Singapur, so wie früher, ein Einreise-Formular zum Ausfüllen bekommen - gab es aber nicht. Die Erklärung war, dass das Formular abgeschafft und durch eine Website ersetzt wurde. Im Flughafen hingen an vielen Stellen nun QR-Codes die auf die neue Website verlinken. Alle, die so wie ich davon nichts wussten mussten das nun vor Ort erledigen - immerhin: Es wurden Tabletts angeboten.

Kleine Herausforderung: Das Formular geht davon aus, dass man im Hotel wohnt, weil das bei mir nicht der Fall ist habe ich Hilfe holen müssen. Das ist das übliche Problem bei digitalen Formularen: der häufigste Weg wird leicht gemacht, Spezialfälle, die ich früher einfach der Beamtin erklärt habe, müssen nun auch digital behandelt werden.

Nach dem Ausfüllen geht man zu dem Automaten, schiebt den Pass ein und zeigt sein Gesicht. Mein Gesicht kannte das System bereits denn vor 4 Jahren bei der letzten Abreise (wo es noch Papierformulare gab) wurde Gesicht und Fingerabdrücke erfasst. Genauso war dann auch meine Ausreise aus Singapur: Pass einschieben (richtig herum) und Gesicht zeigen.

Die Weiterreise nach Indonesien war dann (noch) nicht ganz so elektronisch, aber es wurden diesmal auch Gesicht und Fingerabdrücke erfasst - d.h. beim nächsten Besuch dann wird es wohl ähnlich digital.

An den EU Außengrenzen ist das übrigens ebenfalls Pflicht: Nov 2023: EU will drohendes Grenzchaos mit Biometrie und App verhindern (in naher Zukunft sollen alle EU-Staaten bei der Einreise auch von Reisenden aus Ländern, mit denen Brüssel die gegenseitige Visafreiheit vereinbart hat, das Gesicht und 4 Fingerprints erfassen, es werden lange Schlangen bei der Einreise erwartet. Eine App soll die Reisenden bei der Erfassung ihrer Daten untersützen, siehe meine Erfahrung in Singapur). Und dann ganz gruselig, aber bereits in Betrieb seit 2021: High-tech lie detector used at Europe borders face scrutiny.

Und: Your Face May Soon Be Your Ticket. Not Everyone Is Smiling - Facial recognition software is speeding up check-in at airports, cruise ships and theme parks, but experts worry about risks to security and privacy.

Aber es geht noch gruseliger, so gruselig, dass Google in 2014 ihr Produkt Google Glas zurückgezogen hatte nachdem es am öffentlichen Widerstand scheiterte. Es geht um das Erkennen von anderen Menschen durch eine 'intelligente' Brille: The Technology Facebook and Google Didn’t Dare Release.

Nun unternimmt Microsoft einen neuen Versuch mit der augmented reality Brille Meta Quest 3, die zwar primär für Spiele konzipiert ist, aber auch in der Realität funktioniert, da Außenkameras die reale Welt (mit zusätzlichen Ergänzungen) in die Brille bringen.

Später hatte auch Facebook/Meta ein ähnliches Produkt fertig, sie trauten sich jedoch nicht, das in die Öffentlichkeit zu bringen.

Es geht um diese Feature: Man geht durch die Straßen, und durch eine Kamera blickt man zu den Menschen, die einem entgegenkommen, beschriftet mit Namen, Zahlen und Fakten. Egal ob echter Name, Social-Media-Konten, Fotos, alles ist auf Knopfdruck abrufbar.

Mittlerweile hat Clearview ein solches Angebot, bietet es aber nicht der breiten Öffentlichkeit sondern den Polizeibehörden aller Länder. Im Jahr 2022 bestand die Datenbasis nach Firmenangaben aus über 20 Milliarden Fotos.

Nun kommt Meta mit einem solchen Produkt auf den Markt und man wird sehen, wie die Öffentlichkeit auf diese Transparenz reagiert. Es bleibt gruselig spannend.

b) Essen bestellen nur elektronisch?

Ich kenne das im deutschen Sprachraum eigentlich nur von McDonalds und da habe ich das nur 1x versucht: Bestellen am Bildschirm statt bei einem Menschen. In Singapur wird die Bestellung bei Menschen bei einigen Lokalen oder Schnellimbissen gar nicht mehr angeboten. Und das kann mehr oder weniger verwirrend sein - abhängig von der Zahl der Varianten und Optionen.

Wir waren in einem Pizza-Lokal bei dem jeder Gast beim Betreten einen persönlichen QR-Code bekommt der auf die Website mit dem Menu führt und dort wird bestellt und nur dort. Ohne Smartphone und mobile Daten kein Essen. :-(

Andere Essensanbieter bieten fest installierte Bildschirme mit vielen Essen-Optionen (mit Kartenleser für die Bezahlung - ohne Drahtlos-Karte kein Essen). Ein Printer druckt den Slip mit dem QR-Code zum Abholen am Schalter.

Aber im Gegensatz zum Trend bei Grenzübergängen gibt es beim Essen zum Glück immer noch Lokale und 'Stalls' mit Personal mit dem man 'Reden' kann.

Das gleiche am Flughafen: In Singapur hatte die Fluggesellschaft Emirates für Economy ganze 2 Schalter die noch mit Menschen besetzt waren, dafür Legionen von Self-Checkin-Kiosks mit verwirrenden Menu-Options. Ich merke, dass ich alt werde.

c) Checkout im Supermarkt

Ein kritischer Artikel zum Selbst-Scannen in Supermarkt: es ist eigentlich nicht ganz klar, warum das die Zukunft sein soll. Personal ist teuer, ja, aber die Kassen sind sau-teuer und dafür kompliziert und deswegen langsam: Self-Checkout Is a Failed Experiment.

Aktualisierung April 2024:
"Just Walk Out": Amazon dreht sein Einkaufen unter Totalüberwachung ab. Der Hintergrund: Amazon hatte in den USA eine Reihe von Supermärkten mit "Just Walk Out"-Technologie. Der Kunde checkt am Eingang ein, nimmt seine Waren aus dem Regal, stellt sie evt. auch wieder zurück und geht dann einfach nach Hause.

Der Trick: der Laden ist voll von Kameras die jeden Winkel abdecken und dann versucht eine AI zu entscheiden, was der Kunde am Ende im Warenkorb hat. Soweit die Theorie, die Praxis war aber, dass das nicht so funktioniert hat: über 1.000 Menschen in Indien waren damit beschäftigt, die Videos zu überwachen. 70% der Käufe mit "Just Walk Out" erforderten eine menschliche Überprüfung. Hinzu kamen hohe Kosten und verärgerte Kunden wegen späten und/oder falschen Abrechnungen.

Das ist übrigens nicht untypisch für den Einsatz von AI. Es braucht für komplexe Aufgaben meist einen sog. "Human-in-the-Loop". D.h. das AI-System, das einen Menschen ersetzen soll, braucht oft einen höher qualifizierten Menschen als Hilfestellung für die Grenzfälle bei denen das System überfordert ist. Cory Doctorow hat über dieses Phänomen einen guten Artikel geschrieben: "Humans in the loop" must detect the hardest-to-spot errors, at superhuman speed.

2. AI voller Vorurteile oder haben wir bereits AGI (generelle künstliche Intelligenz)?

a) Sind die LLMs bereits generelle künstliche Intelligenz?

Ja, es gibt AI-Profis, die ernsthaft behaupten, die LLM Systeme wie ChatGPT wären bereits AGI, dh sie können alles was Menschen auch können. Gary Marcus widerspricht heftig: Reports of the birth of AGI are greatly exaggerated, ich stimme ihm zu. Sein Punkt ist, dass man sich auf die Aussagen von AGI-Systemen verlassen können muss, die dürfen nicht 'haluzinieren'. Sie sollten auch wissen, wieviel Uhr es ist wenn sie eine Uhr sehen.

Ein System mit 'genereller Intelligenz' sollte so gut multiplizieren können wie ein Taschenrechner, das können sie aber auch mit speziellem Training nicht. Es wird besser, wenn mathematische Systeme in das LLM System integriert sind, aber ganz korrekt sind die Antworten dann immer noch nicht.

Es fehlt ein grundlegendes Verständnis für unsere Welt, für logische Zusammenhänge die Babys intuitiv lernen. Die Tatsache, dass andere spezialisierte AI-Systeme Schach, Go, Jeopardy und sogar Poker sehr bis extrem gut spielen, wieder andere Systeme toll in Routenplanung sind und wiederum andere Systeme mathematische Beweise erstellen können oder extreme Rechenaufgaben lösen hat auch nichts mit dem Konzept der LLM-Systeme zu tun, die können das alles eben nicht und sind deswegen auch nicht 'generell' und werden vermutlich auch nicht die alleinige Grundlage für umfassendere AI-Systeme bilden.

b) LLMs haben viele Vorurteile und erzählen viel Unsinn

Neben dem Erfinden von Antworten ist ein weiteres Problem ihre Voreingenomenheit. Für die LLMs besteht die Welt nur aus Stereotypen, gut demonstriert hier: How AI reduces the world to stereotypes.

Und zu politischen Infos sollte man die Systeme auch lieber nicht befragen: Amazon Alexa erzählt z.B. dass Trump die letzten Wahl gewonnen hätte und Bing-Chat erzählt auch über Wahlen in Deutschland viel Unsinn.

Der folgende Artikel bringt viele Beispiele der sog. Halluzinationen: Chatbots May ‘Hallucinate’ More Often Than Many Realize. "When summarizing facts, ChatGPT technology makes things up about 3 percent of the time, according to research from a new start-up. A Google system's rate was 27 percent."

Aktualisierung Nov. 2023:
Supermarket AI Offers Recipe for Mom's Famous Mustard Gas. Das AI-Modell war wohl nicht in der Lage, eine der angebotenen Zutaten im Rezept nicht zu nutzen. :-(

Und ein drastisches Beispiel das zeigt, wie die LLM-Systeme die Google-Suche zerstören. Google-Suchanfrage: "What is an African country beginning with K?" - ChatGPT: "While there are 54 recognized countries in Africa, none of them begin with the letter 'K.' - The closest is Kenya, which starts with a 'K' sound, but is actually spelled with a 'K' sound.
Wie kann so ein Blödsinn als Antwort auf eine Google-Anfrage entstehen? Das konnte in diesem Fall geklärt werden: der Blödsinn stammt ursprünglich von ChatGPT, wurde auf der Website Hacker News reportet, wanderte dann auf Emergent Mind und wurde dann irgendwie von den Google Crawlern aufgegriffen und der Google-Wissensdatenbank hinzugefügt. Ein drastisches Beispiel für die enshittification of the internet.

Aktualisierung Nov 2023:
Die Microsoft Suchmaschine Bing behauptet, dass Australien nicht existiert. Sie hat diese Verschwörungstheorie von der Guardian Website, die das aber als Hoax gekennzeichnet hatte.

Die BBC berichtet: Chatbot Replika spornte zu Anschlag an. (Hier mehr zu Replika.)

Aktualisierung Dez 2023:
Zumindest in den USA kann gezeigt werden, dass bei immer mehr Medien AI-generierte Texte veröffentlicht werden: Bei CNET, Bankrate, Gizmodo, BuzzFeed und der großen Tageszeitung USA Today wurde dies nachgewiesen, sehr peinlich.

Und Wired berichtet, dass mittels AI generierten Deepfake-Gespräch die Wahlen in der Slowakei beeinflusst wurden: Deepfake Election Interference in Slovakia. Und zwar recht clever: Meta hat ein Verbot von Deepfake Videos, aber es war ja nur Sprach-Deepfake. Und in den letzten 2 Tagen vor der Wahl hatten die betroffenen Politiker Kommunikationssperre und konnten sich nicht wehren.

Die EU-IT-Security Organisation ENISA warnt unter diesem Umständen vor Problemen mit AI bei den Wahlen im nächsten Jahr.

Aktualisierung Dez 2023:
Es geht schon los: China setzt AI-generierte Texte und Bilder (Memes) zum Isreal-Palestina-Konflikt ein um Stimmung gegen die USA zu erzeugen. Und noch mal: Neue Welle an gefälschte Videoclips mit Prominenten auf YouTube, TikTok, Facebook. Da wird im großen Wahljahr 2024 noch einiges auf uns zukommen. :-( ☢

Aktualisierung Januar 2024:
Eine Untersuchung zeigt, dass ein riesiger Teil des Internets bereits aus extrem schlechten Maschinenübersetzungen besteht, speziell in bisher im Internet wenig vertetene afrikanische oder asiatische Sprachen. Die Forscher berichten von bis zu 57%: ‘Shocking’ Amount of the Web Is Already AI-Translated Trash.

Im vorigen Newsletter hatte ich dazu: LLMs sind ziemlich dumm.

c) 3 Kritik-Positionen zu AI

Neben den begeisterten Fans der LLM-Systeme gibt es auch Kritiker. Bruce Schneier fasst die Kritiker mE recht gut in 3 Klassen zusammen. Bruce Schneier meint, dass es bei den Diskussionen um die Risiken der derzeitigen AI-Systeme, den LLMs (Large Language Model) 3 sehr unterschiedliche Positionen gibt.

Die erste, vertreten von vielen der Silicon Valley Milliardären, sind die Doomsayer / Weltuntergangspropheten. Ihre Position ist, dass wir uns darüber sorgen sollen, dass eine Weiterentwicklung der AI-Systeme in (naher oder ferner) Zukunft versuchen könnte, die Weltherrschaft zu erringen. Bruce (und ich auch) sind der Meinung, dass es wichtiger ist, sich über die aktuellen Probleme Gedanken zu machen. Die Doomsayer halten nichts vom AI-Act, sie versuchen in Washington (und möglicherweise Brüssel) mit viel Geld Einfluss zu kaufen.

Dann gibt es die Reformer (auch die EU-Gesetzgeber die am AI-Act arbeiten und auch ich gehören dazu). Sie sehen die Risiken in aktuellen ethnischen, Gender- und anderen Diskriminierungen die ich immer wieder auf meiner Website erwähne.

Die dritte Fraktion der AI-Kritiker nennt er Warrior / Krieger. Das sind Politiker oder Strategen die AI-Systeme militärisch einsetzen wollen und deren größte Angst darin besteht, dass China schneller effektive AI-Waffen (z.B. autonome Waffen) entwickeln könnte und damit zukünftige Schlachtfelder komplett revolutionieren und die US-Waffen wie Flugzeugträger und extrem teuere Jet-Flugzeuge obsolet machen könnte. Den Warriorn ist der AI-Act egal, denn militärische Systeme sind sowieso von allen Regulierungen ausgenommen.

Auch ich sehe die Risiken der AI-Waffen, aber eher generell und nicht nur in Bezug auf eine chinesische Dominanz. Ich fürchte mich vor solchen modernen selbständigen Waffen, aber genauso vor den algorithmischen Systemen (egal ob auf AI- oder auf Statistik-Basis) und hoffe, dass die Doomsayer und andere Lobbyisten den AI Act nicht zu sehr verwässern.

Die Details finden sich im Artikel. Im Dezember kommt dann eine andere sehr gute Darstellung zu den möglichen AI-Zukunfts-Szenarien.

3. Gute und schlechte Nachrichten aus der Welt des Cybercrimes

Die gute Nachricht zuerst: Europol berichtet stolz, dass die Ransomware-Gruppe Ragnar Locker ziemlich gebeutelt wurde, Verhaftungen in vielen Ländern Europas, von Frankreich bis in die Ukraine. Mein Punkt hier: es kann sich doch lohnen, wenn Cybercrime-Opfer sich bei der Polizei melden, auch wenn sich kurzfristig da selten was machen lässt. Im Anschluss an solche Verhaftungswellen kommt es dann sehr wohl zu Beschlagnahmungen von Geld und teuren Autos.

Hier dann aber aus einschlägigen schlechten Nachrichten aus dem empfehlenswerten Daily-Newsletter des CERT.at:

Zur LockBit Ransomware-as-a-Service gibt es seit September 2022 einen Toolkit, der auch Amateuren ermöglicht, effektive Ransomware-Angriffe zu starten. Der Toolkit wird mittlerweile leider recht effektiv eingesetzt: Concerns grow as LockBit knockoffs increasingly target popular vulnerabilities. (Ransomware-as-a-Service bedeutet, dass Spezialisten die Angriffstools schreiben, diverse Websites im Darknet bereitstellen und die eigentlichen Angriffe den sog. Affiliates überlassen (das können sog. recht unbedarfte Amateure sein).

Aktualisierung im Februar 2024 zu Lockbit:
Polizeibehörden ist ein kräftiger Schlag gegen Lockbit gelungen, viele ihrer Websites wurden übernommen, die Gruppe ist derzeit (erst mal) aus dem Spiel genommen. 'Erst mal', weil die Mitglieder die sich in Russland aufhalten, sofern sie keine Fehler machen, unbehelligt bleiben werden und evt. wieder etwas Neues aufbauen. Verhaftungen gab es in Polen, Ukraine und den USA. Wie viele der geschätzten 120 Mio an Zahlungen 'recovered' werden können, ist noch offen - es wurden Cryptobörsen beschlagnahmt. Global Police Operation Just Took Down the Notorious LockBit Ransomware Gang. Aber dann melden sich die nicht-inhaftierten Köpfe und berichten, dass sie alles andere als zerschlagen seien: Ransomware: LockBit gibt Fehler zu, plant Angriffe auf staatliche Einrichtungen.
Wenige Tage später hier die schlechte Nachricht: LockBit hat sich neu strukturiert, neue Ransomware-Software und neue Server.

ExelaStealer: A New Low-Cost Cybercrime Weapon Emerges. "ExelaStealer ist ein Open Source Tool mit dessen Hilfe automatisiert Passworte, Login-Cookies und ähnliches aus kompromitierten Systemen entnommen werden können. Auf Wunsch gibt es gegen Geld auch Anpassungen für Sonderwünsche.

Anderseits: die Ransomware-Gruppe Trigona hat sich alle ihre Server, inklusive der Wallets für ihre Kryptowährungsbeute abnehmen lassen - die Zugangsschlüssel wurden der Polizei übergeben.

Aktualisierung Dez. 2023: Verhandlungen mit den Erpressern
Auf dem Chaos Computer Club Event zum Jahresende gab es einen interessanten Vortrag zu Verhandlungen mit den Erpressern. Die Hauptmessage ist aber: Es gibt einige gar nicht so komplizierte Sicherheitsvorkehrungen um die Backup vor den Angreifern zu schützen. Und die Sicherheit des Backups ist viel wichtiger sind als clevere Verhandlungen, denn nach der Wiederherstellung mit Hilfe des Angreifer muss auf jeden Fall die gesamte IT gehärtet werden, sonst kommen die nächsten Erpresser schon bald wieder vorbei.

AI-generierte Deepfake Videos und Telefonanrufe ein kriminellen Einsatz

Aktualisierung Januar 2024: Erpressung mit Hilfe von AI-generierten Videos
Ein recht gruseliger Beitrag berichtet von Virtual kidnapping. Die Verbrecher identifizieren ihre Opfer mit Hilfe von Informationen aus dem Internet, wichtig sind dabei Videos oder zumindest Sprachaufnahmen von Personen (oft einem Kind). Mit Hilfe von 'generativen' AI-Systemen wird dann eine Video oder eine Sprachdatei erzeugt in denen die angeblich entführte Person von einer Entführung berichtet und um Hilfe durch Lösegeldzahlung bittet. Wichtig ist, dass die angeblich entführte Person nicht erreichbar ist, aber das kann auch z.B. durch Diebstahl eines Handys erzeugt werden.

Die Tipps: möglichst wenig Daten im Internet hinterlassen (inkl. Reisepläne, Tagesablauf, Sprache und Fotos) und auf solche Erpressungsversuche mit ausreichend Zweifeln an der vorgegaukelten Realität reagieren. Aber das ist für alle, die in den Social Networks aktiv mitwirken wollen und nicht nur ein paar private Whatsapp-Gruppen nutzen, kaum zu implementieren.

AI-generierte Telefonanrufe zur Wählerbeeinflussung

Bei den US-Vorwahlen in New Hampshire wurden einige der Wahlberechtigten von Präsident Biden persönlich angerufen und gebeten, nicht zur Wahl zu gehen. Da kann im weltweiten Wahljahr 2024 noch viel auf uns zukommen, ich denke, das war jetzt mal ein Testlauf um zu sehen, wie Wähler auf AI-generierte Anrufe von Politikern reagieren.

4. Kryptokriminalität vor Gericht

Eine spezielle Art von Cybercrime wird in NY verhandelt, und es gibt im Gerichtssaal ungewöhnliche Begegnungen: Crypto Influencers and ‘Degenerates' Flock to Sam Bankman-Fried’s Trial - Für den Zutritt zum Gerichtssaal stehen Crypto YouTuber, Podcaster und traditionelle Journalisten gemeinsam an um jede:r auf seine Art über die teilweise bizarre Welt der Krypto-Industrie berichten zu können. Aktualisierung: FTX-Gründer Bankman-Fried in Betrugsprozess verurteilt.

Die Winklevoss Brüder, bekannt wegen ihrer Kämpfe um die Gründungsrechte von Facebook stehen nun vor Gericht weil angeblich Krypto-Investoren um eine runde Milliarde betrogen wurden: Top crypto firms named in $1bn fraud lawsuit. Hier auf deutsch: Investoren um eine Milliarde US-Dollar gebracht: Klage gegen Genesis und Gemini.

In Summe wird geschätzt, dass Krypto-Kriminalität seit 2017 30 Milliarden Dollar Schaden verursachte.

Aktualisierung Dez. 2023:
Die weltgrößte Kryptowährungsbörse Binance hat nun in den USA insgesamt 4 Milliarden USD zu zahlen, aufgeteilt auf Entschädigungen und diverse Strafen - Gründe sind Umgehung von Sanktionen, illegale Finanzierungen und Geldwäsche. Und auch das noch: Jetzt gibt es einen Markt für Forderungen an FTX nach dessen Zusammenbruch.