199. Newsletter - sicherheitskultur.at - 31.08.2023
von Philipp Schaumann
Hier die aktuellen Meldungen:
1. Digitales Zentralbankgeld, Beispiel China
Dies ist eine Ergänzung zu Digitales Zentralbankgeld, brauchen wir das? und dem Thema "Bargeld" aus dem vorigen Newsletter.
In China begannen Alibaba und Tencent bereits 2004 und 2005 mit ihren digitalen Zahlungssystemen, die mittlerweile bis zu den Bauernmärkten verbreitet sind (bezahlen durch Scannen eines QR-Codes). Die People's Bank of China (PBOC) sieht das natürlicherweise als eine Bedrohung ihrer Kontrolle.
Nach einigen Jahren Planungen startete 2020 eine Pilotphase des "e-CNY" in einigen Regionen, auch heute ist noch immer nur regionaler Testbetrieb: What's next for China's digital currency? Die privaten Digitalwährungen haben mittlerweile eine solche Dominanz im Markt, dass viele Händler kein Bargeld mehr nehmen, oft auch keine Karten (sondern nur die Alibaba- und Tencent-'Währungen'). Diese Händler haben oft aber auch kein Interesse, den e-CNY zu akzeptieren, dh es scheint fast, dass der Zug für staatliches Geld in China bereits abgefahren ist. Dabei bietet e-CNY sogar eine (begrenzte) Anonymität gegenüber den Behörden und der Bank of China - diese Zahlungen gehen sogar von Smartphone zu Smartphone - Zahlungen mit Alibaba und Tencent gehen immer über die Server der beiden Giganten.
Der Artikel erklärt dann, dass diese digitale Währung sehr wohl eine Niche finden könnte, nämlich im internationalen Zahlungsverkehr (Project mBridge), dem Transport von großen Beträgen zwischen internationalen Banken und Firmen.
Mein Verdacht ist, dass der Zug für eine europäische digitale Zentralbankwährung für den täglichen Einkauf ebenfalls abgefahren ist. Speziell jetzt, wo jeder Bankkonto-Inhaber mit seiner Debitkarte (früher EC-Karte oder Bankomatkarte) digital einkaufen kann. Und jeder EU-Bürger hat das Recht auf ein kostenloses Basiskonto.
Recht auf Bargeld
Ein interessanter Artikel beschreibt die Planungen der EU-Kommission um Bargeld abzusichern. Mit einer Verordnung soll die 'Pflicht, Bargeld anzunehmen' präzisiert werden und die Staaten werden verpflichtet, für eine ausreichende Dichte an Bankomaten zu sorgen. Aus dem Nov. 2023: Die Angst der Gastronomie vor dem Ende des Bargelds ist unbegründet.
Noch weitere Ergänzungen: Thomas Lohninger erklärte am CCCamp des Chaos Computer Clubs warum epicenter.works versucht, die Implementierung des digitalen Euros und der eIDAS digitalen Identität zu beeinflussen. Beide Projekte enthalten riskante und unschöne Aspekte für die Anonymität und die freie Zugänglichkeit (z.B. Anforderungen an die zu nutzenden Smartphone). In beiden Fällen sieht er die Motivation der Gesetzgeber primär darin, ein Monopol der Tech Giganten bzgl. Identifizierung und Geldverkehr zu verhindern. eIDAS ist seiner Meinung nach nicht zu verhindern, sondern höchstens zu 'reparieren', der digitale Euro könnte auch noch 'sterben'.
epicenter.works publiziert Ende November 3 Forderungen zum Thema 'digitaler Euro':
- Er muss eine dem Bargeld vergleichbare Privatsphäre bieten
- Er darf die Stabilität der Eurozone nicht gefährden, indem er z.B. den Schutz vor Doppelausgaben bei Offline-Transaktionen gewährleisten
- Er sollte als öffentliche digitale Infrastruktur entwickelt werden, die auf freier und quelloffener Software, transparenten Standards und partizipativen Verfahren basiert
Hier noch eine Umfrage zu Bargeld vs Kartenzahlungen: Jeder Vierte bezahlt bereits mit dem Handy. Wobei die Nutzung von Bargeld bei den jüngeren weniger häufig ist als bei den Über-60-Jährigen.
Im Januar 2024 berichte ich dann über den Beschluss einer Bargeldobergrenze von 10.000 Euro für geschäftliche Transaktionen.
2. Tiktok und Meta machen der EU Zugeständnisse
Der Digital Services Act (DSA) der EU scheint erste Wirkungen zu zeigen (Hier mein voriger Artikel zum DSA): Tiktok: EU-Nutzer sollen wegen DSA Suchtfaktor reduzieren können. Tiktok will für Europa künftig die Option bieten, dass nur Inhalte gezeigt werden, die der Nutzer explizit ausgewählt hat, keine sog. 'algorithmisch ausgewählten' Inhhalte.
Meta (d.h. Facebook- und Instagram-Nutzer) werden die Option erhalten, keine Werbung auf Basis der vom System bestimmten Kategorien zu sehen (zu den teilweise bizarren Profil-Kategorien): Meta loses battle in EU, will ask for consent to show personalized ads. Die Werbung wird dann (hoffentlich) auch ohne Bezug auf die jeweils betrachteten Inhalte ausgespielt (das wäre 'kontext-bezogene Werbung', was für Zeitungen durchaus eine Option ist: Neben einem Artikel über Autos kommt dann z.B. Autowerbung, unabhängig vom Profil des Nutzers).
Ein Faktor bei diesem 'Entgegenkommen' waren evt. auch die Strafen: In über 2000 Verfahren haben die Aufsichtsbehörden innerhalb von gut fünf Jahren Geldstrafen von insgesamt über 4 Milliarden Euro verhängt – über die Hälfte davon gegen Meta.
Der EU-Markt muss ziemlich lukrativ sein: 2 Milliarden sind auch für Meta mehr als nur die 'Portokasse'. Ohne die Präsenz in der EU könnte sich Meta ein Heer von (hoch bezahlten) Anwälten sparen (für die Streits mit Max Schrems und den EU-Behörden), viele bei der EU akkreditierte Lobbyisten, aber auch die vielen Moderatoren in den meisten der 24 EU-Sprachen, Moderatoren die sich in so ungewöhnlichen und komplexen Themen wie 'Wiederbetätigung' auskennen und sogar die Anpassung an alle diese Sprachen für die Apps könnte wegfallen. Irgendwie auffällig, dass ein 'kostenloser' Service alle diese Ausgaben rechtfertigt - die Idee, dass das aus Menschenfreundlichkeit passiert sehe ich eigentlich nicht, ich bin sicher, das ist sauber durchgerechnet.
Weiter unten gibt es mehr zum DSA.
3. Sind die AI LLM-Systeme objektiv?
Es werden derzeit Studien bezüglich der politischen Ausgewogenheit der generativen LLM-Systeme durchgeführt. Dabei kommt dann z.B. so etwas heraus: ChatGPT würde laut aktueller Studie wohl linke Parteien wählen. Aber das Thema ist doch wohl etwas komplexer. Hier eine andere Studie: Forscher testen 14 KI-Modelle nach ihren politischen Ansichten.
Die Grafik rechts zeigt, dass die Positionen der untersuchten Modelle recht weit streuen. Die politischen Positionen kommen nicht nur aus der Auswahl der Trainingsdaten in die Modelle, sondern nach dem Roh-Training werden die Modelle bezüglich 'unerwünschter Antworten' manuell bereinigt (zB verhindern von Prompts, die Verbrechen erleichtern würden, verhindern von Hassrede durch die Modelle selbst - bei dieser Arbeit werden sehr oft schlecht bezahlte Kräfte in Afrika oder Asien eingesetzt). Bei diesem Training wird den Systemen auch kommuniziert, was erwünschte und was unerwünschte Antworten sind - auch dies ist durchaus subjektiv und führt zu politischen Positionierungen.
Es gelingt Nutzern aber trotzdem immer wieder, illegale Inhalte produzieren zu lassen (z.b. das Auslösen einer Pandemie oder Sprengstoffherstellung). Oder Kriminelle entwickeln (z.B. auf der Basis der Open Source LLMs wie LLaMA 2) eigene generative Systeme wie WormGPT und FraudGPT zur Erstellung von Phishing-Mails. Noch ein Beispiel: Ein AI-System wird genutzt, um ein Netz von 1440 Twitter-Accounts zu erstellen, die sich gegenseitig zitieren und promoten. Ziel ist das Bewerben von Crypto-Websites.
Auswirkungen haben die unterschiedlichen politischen Positionen z.B. wenn die Systeme für Moderation in Social Networks eingesetzt werden. Dabei haben die Systeme sehr unterschiedliche Positionen was konkret 'Hetzrede' ist.
Und wer kein für ihn passendes AI-System findet (und reich genug ist), der erzeugt sein eigenes: Elon Musk will TruthGPT entwickeln lassen, ein System das wohl auch seine rechten Positionen wiedergeben soll.
Und wenn mich ein generatives AI-System mich verleumdet und Lügen über mich verbreitet, was kann ich dann machen?
Traurige Antwort: Leider nicht viel wie es scheint. Ich habe ChatGPT gefragt, was es über mich weiß. Zum Glück kennt es mich nicht, das ist gut. Denn über andere Menschen fabuliert das System teilweise wilde Geschichten: Terrorismus, Unterschlagung, sexuelle Belästigung werden als konkrete Verleumdungen berichtet.
Der oben verlinkte NYT-Artikel sagt, dass die Opfer sich an den Betreiber des Systems wenden können mit der Bitte um Korrektur, aber für die Äußerungen dieser Systeme scheint niemand zu haften. OpenAI verweist darauf, dass eh jeder weiß, dass die Systeme fabulieren könnten.
Hier die Verlinkung zum vorigen Artikel zu LLM und zum nächsten Beitrag wie dumm LLMs eigentlich sind und zur Schwemme an AI-generierten Inhalten, z.B. auf Amazon.
Ergänzung September 2023:
Eine neue Studie sagt, dass das hier zitierte Papier Schwächen hat, eine politische Ausrichtung der Systeme hängt auch ganz stark an der exakten Formulierung der Frage.
4. Imminent Enshittification of the Internet und Model Collapse
Das komplexe Wort 'Enshittification' hat wohl der S-F-Autor Cory Doctorow geprägt, Gary Marcus sammelt unter diesem Stichwort Beispiele von AI-generiertem Nonsense der das Internet zu Verschmutzen beginnt. The Imminent Enshittification of the Internet.
Da ist z.B. eine AI-generierte Grafik die von Google als erste Antwort auf die Suche nach dem Maler "Johannes Vermeer" gezeigt wird oder faktisch falsche Auskünfte (es gäbe in Afrika kein Land, das mit K beginnt - sehr bizarre Antwort im Text). Amazon bietet eine ganze Serie von AI-generierten Reiseführern an, oder fehlerhafte AI-generierte Bücher wie das über das Feuer in Maui). Oder: US-Autorin findet Werke unter ihrem Namen bei Amazon. Oder: Google's AI Bots Tout 'Benefits' of Genocide, Slavery, Fascism, Other Evils plus viele weitere schreckliche Positionen zu Hitler, Stalin, Mussolini.
AI generierte Inhalte finden sich nun sogar in peer-reviewed scientific papers. Fake-Inhalte werden schlimmstenfalls dann wieder zum Training neuer AI-Systeme genutzt, ein Fachbegriff für das dabei entstehende Problem ist "model collapse".
Gary Marcus verweist am nächsten Tag auf einen Artikel, der auf eine Website verweist (countercloud.io - countercloud - AI powered disinformation) auf der ein Youtube-Video gezeigt wird. Es bleibt offen, ob das dort beschriebene System derzeit wirklich kommerziell bereits verfügbar ist, oder nur ein Gedankenexperiment. Bedrohlich ist es aber so oder so.
Ein AI LLM System kann/könnte eingesetzt werden, um automatisiert zu einem 'unerwünschten' Artikel eine Flut von Gegenbehauptungen zu formulieren und automatisiert zu posten. Das geht in Social Networks, aber auch in Foren, wie z.B. bei Zeitungen. Dadurch soll der originale Inhalt in der Flut der gegenteiligen Behauptungen ('alternate realities') untergehen. Das ist die von ex-Trump-Berater Steve Bannon propagierte Strategie "Flood the Zone with Shit". Oder das russische Konzept Firehose of falsehood. Ergebnis einer solchen Flut von willkürlichen Behauptungen könnte sein, dass viele Menschen am Ende gar nichts mehr vertrauen und sich einfach aus der Politik komplett ausklinken.
Mehr Enshittification-Beispiele wie die LLM-Halluzinationen 'das Internet' verschmutzen im nächsten Newsletter und im übernächsten.
5. Ned Beauman: Venomous Lumpsucker - Der gemeine Lumpfisch
Mal nicht aus dem Umfeld IT: Eine wilde Reise in die nahe Zukunft -'Extinction Credits' als (Schein-)Lösung des Artensterbens
Die Prämisse des Buches ist, dass die weltweite Beratungsindustrie es geschafft hat, analog zu der bestehenden CO2-Bepreisung und CO2-Zertifikate Handel einen ähnlichen Mechanismus betreffend der Vernichtung von Tierspezies einzurichten.
Der Autor denkt dieses Konzept zu Ende und stößt auf vielfältige Möglichkeiten sich durch geeignete Manipulationen zu bereichern, ohne dass durch diese 'Extinction Credits' wirklich Spezies gerettet werden.
Spannend geschrieben. Der Autor kommt ständig auf neue Ideen, wie skrupelose und kreative Menschen, oft auch mittels High-Tech Methoden, das System austricksen können.
In den Dialogen werden spannende ethische Fragestellungen rund um das Artensterben aufgerissen, die durchaus zum Nachdenken anregen können.
Das Buch gibt es auch als kostenloses Hörbuch in 13 Folgen beim Bayrischen Rundfunk: Sci-Fi-Satire um miese Deals und tote Tiere. Das eBook der englischen Ausgabe wird gerade sehr billig verkauft (2,99€).
6. Vermischte Meldungen
In den letzten Wochen habe ich an einigen anderen Stellen neue Details ergänzt. Hier die Verlinkungen.
Boom bei AI-generierten Boy- und Girlfriends
Das Thema 'virtual girlfriend' hatte ich 2004 zum ersten Mal im Focus (und ist mittlerweile in einer Reihe von Filmen und Büchern behandelt worden), aber wenig verwunderlich hat der LLM-AI-Boom das ordentlich bestärkt und zu einem großen Markt gemacht - hier die aktuellen Details.
Zur Abwechselung mal was Positives: 10 Jahre Let's Encrypt
Aus heutiger (2023) Sicht ist es kaum noch vorstellbar, wie das WWW in 2013 noch ausgesehen hat: Nur ganz wenige Webseiten waren verschlüsselt, über jede einzelne Seite wurde diskutiert, ob der Sicherheitsgewinn den ganzen Aufwand mit dem regelmäßigen kostenpflichtigen Erneuern der Zertifikate wirklich notwendig mache, mal abgesehen vom erhöhten CPU-Bedarf durch die Verschlüsselung aller Seiteninhalte.
Dann kam Let's Encrypt, die Zertifikate wurden kostenlos, aber noch viel wichtiger, die Installation und die Erneuerung nach Ablauf des Zertifikats konnte mit fertigen Skripten automatisiert werden - kein Vergessen der Zertifikats-Erneuerung (die schon mal zu einer Downtime im Internet-Banking führte :-( ) Hier mehr Hintergrund.
Sextortion als Problem auch schon für Teenager
Als "Sextortion" wird die Erpressung von Menschen durch Bilder mit sexuellen Inhalten bezeichnet. In der Regel findet dieses Verbrechen statt, indem in einem Social Network oder sehr oft Game Kontakt aufgenommen wird. Das Thema wandert in erotische Bereiche, der Täter zeigt erotische Bilder (angeblich von ihm/ihr) und fordert dazu auf, sich auch zu entblösen. Wenn das Opfer das tut, so werden die Videos davon zu Erpressung genutzt.
Dies geschieht leider auch sehr oft mit unerfahrenen Kindern und Minderjährigen die auf solche Tricks reinfallen und dann in große Gewissensnöte kommen wenn Erpresser mit Veröffentlichung drohen. Optimal ist, wenn die Kinder ausreichend Vertrauen zu den Eltern haben - aber es gibt auch externe Hilfe.
Das DSA ist in Kraft getreten
Das Digital Services Act (DSA) (siehe hier) ist am 25.8. das DSA in Kraft getreten, die 19 Very Large Online Platforms (VLOPs) müssen sich nun an die Regeln halten. Dazu gehören Einschränkungen bei gezielter Werbung, schnellere Moderation mit Entfernen von illegalen Inhalten und alle 6 Monate einen Bericht über ihre Aktivitäten und Kernzahlen. Hier: Big Tech’s to-do list under new EU content rules. Erste Auswirkungen siehe weiter oben TikTok und Meta. Der deutsche Verbraucherzentrale Bundesverband (Vzbv) ist aber noch lange nicht zufrieden. Sie sehen weiter genug Mängel bei Amazon, Facebook und Google um Abmahnungen zu erwägen, auch die EU-Kommission beobachtet und erwägt ein Einschreiten. Hier geht es weiter mit dem DSA.
Gesichtserkennung führt immer wieder zu Fehlentscheidungen
Fortsetzung aus einem früheren Newsletter zum Thema 'False Positives', dh fälschliche Identifizierung. Speziell mit schwarzer Haut (und dann noch schlechten Lichtverhältnissen) klappt die Erkennung nicht gut. Diesmal wurde eine hochschwangere Frau wegen angeblichem Überfall inhaftiert. Besonders häufig ist dies ein Problem in Detroit, dort ist dies bereits der 3. Fall. Detroit macht ca. 125 solche Gesichtserkennung pro Jahr, fast immer geht es um farbige Verdächtige. Das Problem der schlechten Erkennungsraten bei dunkler Haut ist weltweit bekannt und sollte eigentlich wohl dazu führen, dass die Technologie vorsichtiger eingesetzt wird - dies ist aber nicht der Fall.
7. Verwundbare Webserver: Status in Österreich 2023/08 - Zur Sicherheit von Cloud-Diensten: das CloudNordic- und das Microsoft Azure-Desaster
Das war früher ein regelmäßiges (trauriges) Thema: das Patchen der IT-Systeme, auch der Systeme von Firmen und Organisationen. cert.at berichtet (mal wieder) vom Stand der verwundbaren Webserver in Österreich. Ich habe wenig Hoffnung, dass die Zahl der verwundbaren Server in Deutschland nicht um den üblichen Faktor 10 (Verhältnis der Einwohnerzahlen) größer ist.
Die Citrix-Systeme scheinen professionell betreut, aber Fortinet wird wohl auch bei Servern eingesetzt, die 1x aufgesetzt worden sind (kleine Betriebe oder Shops) und dann keinen Support mehr haben. Hier
International ist es nicht besser: Mehrere englischsprachige Cybersecurity Agencies haben am 03.08.2023 ein gemeinsames Cybersecurity Advisory (2022 Top Routinely Exploited Vulnerabilities) veröffentlicht, in dem sie vor im Jahr 2022 besonders häufig von Angreifern genutzten Schwachstellen warnen. Allein von den 12 kritischsten CVEs stammen eines aus dem Juni 2019 und sechs weitere aus dem Jahr 2021. Offenbar ist noch immer bei zahlreichen Behörden und Unternehmen ein systematisches Patch-Management keine Selbstverständlichkeit. [Text: Secorvo]
Sind Cloud-Dienste eine sichere Alternative? Das CloudNordic-Desaster
So viel zur Problematik des Selbst-Hostens - wenn aber jemand seine IT professionellen Cloud-Dienstleistern überlässt, dann sollte es theoretisch besser klappen mit der Sicherheit, oder?. Hier 2 Probleme damit:
Die Kunden des dänischen Cloud-Providers CloudNordic haben gerade so etwas wie den GAU eines Cloud-Providers erlebt: Ransomware-Angriff: Alle Daten bei CloudNordic futsch. Für mehr Details
Sind Cloud-Dienste eine sichere Alternative? Das Microsoft Azure-Desaster
Hier einige Details zum schon längerwährenden Microsoft Cloud-Problem und Kritik an Microsofts Behandlung dieses Problems.
Was war passiert? Am 11.07.2023 gab Microsoft bekannt, dass eine US-Bundesbehörde entdeckt hatte, dass seit dem 15.05.2023 eine chinesische Hackergruppe Storm-0588 einen gültigen Signierschlüssel für Authentifikationstoken der Azure-Cloud – d.h. einen Generalschlüssel für den Zugriff auf quasi alle Microsoft Cloud-Dienste unter ihre Kontrolle bringen konnten. Das ging nur, weil eine ganze Folge von Best-Practice-Regeln ignoriert wurden.
Was genau die wohl staatlichen Angreifer mit ihrem Generalschlüssel alles gemacht haben, ist weiterhin unbekannt. Sie haben sich wohl zurückgehalten um nicht zu schnell aufzufallen. Man stelle sich mal vor, was sie in einem Konfliktfall in den IT-Systemen der 'westlichen Welt' hätten anrichten können. Hier der Microsoft-Bericht dazu: Results of Major Technical Investigations for Storm-0558 Key Acquisition.