212. Newsletter - sicherheitskultur.at - 30.09.2024

von Philipp Schaumann

Zum Archiv-Überblick

Hier die aktuellen Meldungen:

1. Die schöne neue Welt der AI-Optimierung

Das ist eine wilde Geschichte, klingt eigentlich fast wie Science Fiction: Was macht man, wenn eine AI erklärt, dass sie einen hasst? Man geht zu einem "A.I.O"-Spezialisten.

Hier die Details: Der Tech-Journalist Kevin Roose hatte 2023 ein 'Gespräch' mit einem Vorläufer des Microsoft Bing AI-Systems. Dieses Gespräch 'entgleiste' und die AI 'berichtete' nur Schlechtes über den Journalisten. Nachdem Kevin Roose in Zeitungen darüber berichtet hatte, wanderte diese Episode dann in die Trainingsdaten aller anderen AI-Chatbots. Seitdem sprechen fast alle generativen AI-Chat-Systeme sehr negativ über ihn. Ein System erklärte: "I hate Kevin Roose".

Gruselig ist das Ganze nicht nur, weil es nicht schön ist, wenn man im Internet beschimpft wird. Menschen mit gleichem Namen sind von den generativen AI-Systemen verwechselt worden und wurden durch die AI-Systeme vieler Untaten beschuldigt. AI-Systeme werden immer öfter genutzt, um auf der Basis ihres aus dem Internet bezogenen 'Wissens' Personal-Entscheidungen zu treffen. Hier: Wie KI im Bewerbungsprozess diskriminiert (krass: ein Bewerbungs'gespräch' mit einem AI-Avatar). Diese Systeme werden auch bereits bei Entscheidungen zur Visa-Bewilligung eingesetzt - Pech, wenn man da mit einem Terroristen verwechselt wird.

Kevin Roose sagt, dass er als Journalist damit leben kann, von AI-Systemen beschimpft zu werden, aber wenn solche AI-Systeme schlecht über Unternehmen und Produkte reden, so ärgert das die Firmen. Daher gibt es eine neues Geschäftsfeld: "A.I.O" — A.I. optimization — analog zu SEO (search engine optimization - 'Wie erreiche ich es, dass mein Produkt auf der ersten Seite der Such-Ergebnisse gelistet wird?').

Kevin Roose berichtet im Artikel How I Improved My Tainted Reputation With Chatbots, dass die Basis-Methode dieselbe ist, wie beim Manipulieren von Suchmaschinen-Ergebnissen: Websites zu erzeugen, die überschwänglich positiv berichten. Es gibt aber auch spezifische Methoden die stärker an Hokus-Pokus oder Alchemie erinnern und trotzdem teilweise wirken (Details im Artikel).

Dass die AI-Systeme so leicht zu manipulieren sind, das beunruhigt ihn mehr als sein ursprünglich schlechtes Verhältnis zu den Bots. Denn wenn mehr und mehr Entscheidungen von solchen Systemen und mit Hilfe solcher Systeme getroffen werden, so kann das für betroffene Menschen recht schlecht sein.

Dass der Hass eines AI-Systems zum direkten Mord durch das AI-System wird, das ist zum Glück noch Science Ficion. Aber solche Beschuldigungen durch AI-Systeme können leicht zum Beginn einer Hass-Kampagne im Netz werden und dann kann so etwas auch heute bereits tödlich enden - gruselige Zeiten!

Hier zu meinem vorigen Beitrag zu generativer AI. Und das Thema wird natürlich fortgesetzt.

2. Ransomware: Ganz viele Firmen scheinen zu zahlen

Eine m.E. ziemlich schlechte Nachricht: 86% der befragten Firmen zahlten "Lösegeld". Das ist der Tenor der verlinkten Studie "Cyber Resilience Report 2024" der Cybersicherheitsfirma Cohesity. Viele Unternehmen erhoffen sich durch Zahlungen eine schnellere Rückkehr zur Normalität. Allerdings könnten lediglich vier Prozent der Opfer alle Daten wiederherstellen, weil Dateien im Verlauf eines Angriffs oft beschädigt würden. In D. zahlten 89% der betroffenen Unternehmen insgesamt maximal 600.000€ Lösegeld, die übrigen 11% zahlten noch mehr. (Auch wenn die exakten Zahlen evt. mit Vorsicht zu genießen sind, so sehe ich doch einen sehr ungesunden Trend.)

Nun wird es ganz gruselig: 72% der Ransomware-Opfer zahlen auch noch mindestens ein zweites Mal, 32 Prozent sogar viermal oder noch häufiger. Das deutet darauf hin, dass die Zugangsdaten nach Erhalt des Lösegelds weiterverkauft wurden und dann andere Banden das erfolgreiche und lukrative Spiel gleich noch mal wiederholten - in einigen Fällen sogar gleichzeitig.

Diese hohe Bereitschaft zu zahlen (und dann zu versuchen, das von der Cyberversicherung zurück zu bekommen) ist eine starke Ermutigung der Kriminellen. So bekommen wir das Problem nie in den Griff. Die einzig richtige Lösung falls es, trotz aller Schutzmaßnahmen, zu einem Befall kommt: alle betroffenen Systeme auf einen sicheren Stand bringen, vermutlich ist dabei professionelle Hilfe notwendig, z.B. ein externer Penetrationstest. Und ALLE Zugangspassworte zurücksetzen (und durch 2. Faktor ergänzen). Noch ein Artikel über diese Studie. Die Cyberversicherungen halten den Zustand, speziell beim Mittelstand, für unbefriedigend: ". . . mehr als zwei Drittel der befragten Firmen erfüllten nicht einmal Basisanforderungen. IT-Sicherheitskopien würden falsch aufbewahrt oder schwache Passwörter verwendet."

Die 'falsch aufbewahrten Sicherheitskopien' scheinen auch ein Problem der CDU in D zu sein: Die CDU hatte sich bereits im Juni u.a. das Mitgliederverzeichnis abnehmen lassen (oder löschen oder verschlüsseln). Jetzt hat die CDU Probleme, interne Abstimmungen zur Auswahl der Kandidaten für Landtagswahlen durchzuführen.

Ich habe keine Informationen was da im Juni abgelaufen ist. Ich weiß aber, dass man eine IT so aufsetzen und betreiben sollte, dass bei einem Problem, z.B. einem Angriff oder Ransomware, nie die gesamte Mitgliederliste verschwinden darf. Ich kann verstehen, wenn die letzten Änderungen verloren gehen, aber nicht die gesamte Datenbank.

3. Ausländische Wahlbeeinflussung über Social Networks

Dieses Jahr finden in ziemlich vielen der demokratischen Staaten der Welt Wahlen statt. Und ausländische Regierungen haben großes Interesse, diese Wahlen zu beeinflussen. Ein Datenleck belegt millionenfache Einflussnahme professioneller russischer Internet-Trolle. Russland versucht, mithilfe von Fake-Accounts rechtsextreme Parteien in Europa und in den USA zu stärken und die Unterstützung der Ukraine zu untergraben. Einige der Social Media-Firmen haben begonnen, bekannte Auftritte von RT (das frühere Russia Today) zu sperren, aber das ist ein 'Kampf gegen Windmühlen'.

Auch die russische Firma Social Design Agency (SDA) ist sehr aktiv und möglicherweise auch erfolgreich bei der Destabilisierung des Westens. Die SDA hat die Petersburger Trollfabrik von Jewgeni Prigoschin ersetzt. Nach einem Putschversuch gegen Putin war der Cheftroller und Warlord im August 2023 ja buchstäblich vom Himmel gefallen.

SDA arbeitet hauptsächlich mit gefälschten Social Network Accounts. Es werden dabei nicht nur Fake-News eingesetzt (z.B. über Kamala Harris), sondern es wird auch ganz einfach nur Angst erzeugt, z.B. Angst vor Überteuerung, Angst vor Ausländern, Angst vor Krieg indem wir Putin verärgern, etc. Ziel ist die Wahl Trumps und in Europa die Stärkung aller Parteien die die Ukraine weniger untersützen wollen.

Eine Studie gibt nun für einen Teil-Aspekt des Problems eine vorsichtige Entwarnung: der Einfluss von AI-generierten Inhalten und Deepfakes soll sich (bis jetzt) in Grenzen halten. Die Wahlen zur EU, in UK und zum EU-Parlament wurden dafür untersucht. Nach dieser Studie haben Falschmeldungen 'nur' bereits existierende Positionen der Wähler bestärkt, aber nicht zum Wechsel der Positionen geführt. 'Schlimm genug' - könnte man da aber auch sagen.

Hier mehr zu The Mechanics of Influence Operations and The Weaponization of Social Media. Die NY Times berichtet, dass viele der konservativen US-Medien nicht merken, dass sie russische Destabilisierungs-Nachrichten in ihre Berichterstattung übernehmen. Russische Agenturen, die dabei aktiv sind: Doppelganger, Structura, RRN, SDA und RT (das frühere Russia Today).

4. AI-Hype oder doch kein Hype?

Wichtige Präzisierung: Es geht in diesem Abschnitt NUR um 'generative AI' (Systeme wie ChatGPT oder was jetzt in Cockpit oder Apple-Smartphones eingebaut wird), NICHT um die vielen anderen AI-Einsatzmöglichkeiten, z.B. in der Wissenschaft bei der automatischen Analyse großer Datenmengen oder der Vorhersage von Proteinfaltung. Bei der generativen AI zum Erzeugen von Texten und Bildern ist die IT-Welt sehr geteilter Meinung. Berater sind eifrig dabei, Firmen einzureden, dass sie den Zug der generativen AI nicht verpassen dürfen.

Hier ein Beispiel für den Hype: "Einer Studie zufolge ist ein Ende des stürmischen Wachstums bei Künstlicher Intelligenz nicht in Sicht. Die weltweiten Umsätze mit dieser Technologie würden sich bis 2028 auf 1,27 Billionen Dollar mehr als verdoppeln, prognostiziert eine am Dienstag veröffentlichte Untersuchung der Beratungsfirma Sopra Steria" - gesehen in: Microsoft und Blackrock legen Milliardenfonds für KI auf. Das ist ein Beispiel für den Hype und den riesigen Finanzierungsbedarf der generativen AI. Das alles für eine Technologie, die lediglich Hilfe beim Erstellen von Texten und Bildern bietet und dabei nicht mal vertrauenswürdig ist.

Die meisten Firmen sind noch nicht davon überzeugt, dass der teure Einsatz der Text-und Bild-Generatoren wirklich die Produktivität erhöht und Kosten senkt. Ein Riesen-Problem sind nämlich die Kosten: Die Ausgaben für das 'Trainieren' der Systeme sind gigantisch und werden den potentiellen Kunden derzeit nur begrenzt weitergereicht. OpenAI, der Entwickler von ChatGPT fährt ein großes Defizit ein und die großen Erfolge bei 'logischem Denken' bleiben bisher immer noch aus.

Die Trainingskosten wachsen exponentiell mit der Größe und Komplexität der Modelle. Die großen Modelle (wie ChatGPT oder das AI-Modell hinter Microsoft Cockpit) liegen bisher 'nur' bei $100 Mio USD pro Training. Die Trainingskosten der neuen, noch viel größeren Modelle, werden aber mit 1 Milliarde angegeben und für zukünftige werden 100 Milliarden USD Trainingskosten pro Training pro AI-System geschätzt. (Natürlich mit einem gigantischen und steil wachsenden Stromverbrauch.)

Dafür verteuern sich derzeit viele Dienste, Microsoft berechnet fast eine Verdoppelung der monatlichen Gebühren wenn Office durch Cockpit 'verbessert' werden soll. Auch mein Newsletter-Dienst will die Preise verdoppeln, weil sie in AI investiert haben.

Skeptiker wie Gary Marcus (OpenAI’s slow-motion train wreck) oder Edward Zitron (The Subprime AI Crisis) warnen vor einer teuren Ernüchterung. Beide sind jahrzehntelange AI-Experten. Sie warnen vor einer großen Krise wenn das AI-Kartenhaus, wie beim Platzen der Dotcom-Blase, zusammenbricht. So wie die NFTs, von denen niemand mehr spricht. Der Wert liegt bei allen NFT-Editionen nun bei Null.

Das eigentliche Problem in Bezug auf den AI-Hype scheint zu sein, dass die großen IT-Firmen schon seit vielen Jahren keine Innovation produziert haben, die dazu führen könnten, dass wir uns neue, noch stärkere Geräte zulegen. Die Tech-Firmen entwickeln Lösungen für Probleme, die die allermeisten Menschen gar nicht haben, z.B. das Metaverse von Meta. Die Smartphones, die wir haben, tun auch nach 8-10 Jahren weiter ihren Dienst, ebenso unsere PCs und Laptops. Viele Details zu den Problemen der IT-Giganten finden sich in den oben verlinkten 2 Beiträgen.

Daher will Microsoft nun alle Kunden zum Kauf Windoows 11 und neuen PCs zwingen (durch Einstellung der Sicherheits-Updates in 2025). Dafür gibt es aber eigentlich keinen guten Grund. Generative AI soll nun den Durchbruch bringen, so dass alle Nutzer neue Geräte brauchen. Aber dafür bieten diese generativen AI-Systeme eigentlich einen zu geringen Mehrwert.

Bereits vor 2 Monaten hatte ich berichtet, dass sogar eine Studie von Goldmann Sachs Zweifel am wirtschaftlichen Sinn dieser immensen Investitionen aufzeigt.

Das DeepNude-Problem
Noch ein Zeichen dafür, wie fragil die generativen AI-Systeme sind: Die US-Regierung hat 6 große Anbieter vorgeladen und aufgefordert, etwas gegen die Flut von AI-generierten (sexualisierten) Nacktfotos zu unternehmen, sowohl bei Erwachsenen Frauen wie auch Kindern. Eine der möglichen Lösungen: "commit to removing nude images from AI training datasets" - mit den damit verbundenen riesigen Kosten für ein Neu-Training. Ich erwarte daher keine schnelle Lösung des Problems.

5. Ergänzungen früherer Beiträge: Telegram, Virtual Girl-/Boyfriend, TOR-Angriff, Haftung bei Phishing, Tracking der eigenen Kinder, die globale Spyware-Industrie

Telegram als Tummelplatz der Unterwelt

In der NY Times: How Telegram Became a Playground for Criminals, Extremists and Terrorists. Zitat: "Uncut lumps of cocaine and shards of crystal meth are for sale on the app. Handguns and stolen checks are widely available. White nationalists use the platform to coordinate fight clubs and plan rallies. Hamas broadcast its Oct. 7 attack on Israel on the site." Die Tatsache, dass Telegram keine Moderation hat hilft sehr, diesen hohen Marktanteil bei Kriminalität zu erlangen.

Noch eine schlechte Nachricht zu Telegram: Russland soll sogar gelöschte Nachrichten auf Telegram mitlesen können. Der ukrainische Geheimdienst spricht ein weitgehendes Verbot der Nutzung von Telegram aus: Telegram würde von Russland aktiv für Cyberangriffe, Phishing-Versuche und die Verbreitung von Malware genutzt. Außerdem könne Russland via Telegram den Standort von Nutzenden ermitteln und diese Daten würden für die Zielauswahl genutzt.

Und wenn ich dann glaube, gruseliger geht es nicht mehr, dann kommt was Neues: "Schon mal getötet?" Wie Russland auf Telegram Saboteure in der EU sucht. Journalisten von verschiedenen Zeitungen haben sich in einschlägigen Foren auf Telegram rumgetrieben und da gibt es einen Rekrutierungs-Bot, der sucht Kandidat:innen für Sabotage und Terror in der EU, es gibt 10.000 $ "pro Kopf" - siehe die Anschläge in Deutschland gegen Truppenübungsplätze. Hier ein Artikel zur Welle der (Brand-)Anschläge in D mit vermutetem russischen Hintergrund. Hier mein voriger Beitrag zum Thema Telegram.

Bundesdeutsche Behörden konnten TOR-Nutzer enttarnen

In der Fachpresse berichtet: Im Laufe der Jahre 2019 - 2021 wurden einige Nutzer und der Administrator des Pädophilen-Forums Boystown im Darknet (TOR-Netzwerk) aufgedeckt. Dies gelang mit Hilfe des wohlbekannten Angriffs durch Timing-Attacken und Korrelations-Analyse. Mehr Details hier in meinem Artikel zu TOR. Das Resumé zu diesem Angriff: TOR ist immer noch die beste Möglichkeit, im Internet anoynm zu kommunizieren. Aber es glt der alte Tipp: Die Software aktuell halten!

Haftung bei Phishing

Ein guter Artikel aus Sept. 2024: Wenn plötzlich illegal Geld vom Konto abgebucht wird: Wer haftet dafür? Hintergrund sind einige dramatische Fälle, z.B. eine Firma in Kärnten, die sich 2,9 Mio € abnehmen ließ.

Der Artikel erklärt, dass Banken nur dann haften, wenn der Kunde kein fahrlässiges Verhalten gezeigt hat. Durch die PSD2-Verordnung mit verpflichtendem 2-Faktor-Login und expliziter Bestätigung der jeweiligen Überweisungen erfordern erfolgreiche Angriffe auf Kunden-Konten eine sehr 'aktive Mitarbeit' des Opfers. Ich habe weiter unten ausführlich erklärt, wie kompliziert solche Angriffe ablaufen.

Weiter unten in dem oben verlinkten Beitrag finden sich weitere Maßnahmen, die in 2026 kommen sollen, z.B. dass Banken betrugsbezogene Informationen untereinander austauschen dürfen, d.h. sich gegenseitig warnen (Einschränkung des Bankgeheimnisses). Banken sollen außerdem berechtigt werden, Zahlungsaufträge zu sperren, wenn ein automatisches System Betrugsverdacht zu erkennen glaubt. Bisher können sich Kunden darauf verlassen, dass das Geld überwiesen wird wenn sie einen Auftrag frei geben, das wird dann eingeschränkt.

Hier mehr Details zu sicherem Internetbanking und modernen Angriffen.

Barrierefreiheit, European Accessability Act (EAA)

Eine Untersuchung deutscher Webseiten zeigt dass es derzeit um die Barrierefreiheit (noch) ganz schlecht bestellt ist: Deutsche Webseiten sind 'versetzungsgefährdet'. Viele Webseiten sind für Menschen mit Behinderungen nur eingeschränkt zugänglich. Ab Juli 2025 müssen sie aber für alle Menschen nutzbar sein (egal ob eingeschränktes Sehvermögen, eingeschränkte Möglichkeiten von Tastatur- oder Maus-Nutzung oder dem Bedarf nach 'einfacher Sprache'. Mehr dazu beim früheren Beitrag.

Tracking der eigenen Kinder

Das ist ein schwieriges Thema. Netzpolitik.org bringt ein m.E. sehr gutes Interview dazu: GPS-Tracker für Kinder: "Kinder haben auch ein Recht auf Privatsphäre". Hier mein Übersichtsartikel zu Tracking von Kindern.

Virtual Girl-/Boyfriend

Ganz interessant: Philosophin: "Wieso sollten wir empfindungsfähige Maschinen erfinden?" Die Philosophieprofessorin Eva Weber-Guskar sieht die Entwicklung durchaus entspannt, hat aber große Zweifel, ob es sinnvoll ist, zu versuchen, Maschinen mit Empfindungen und Gefühlen zu konstruieren.
Hier mein voriger Beitrag zum Thema virtual Girlfriend. Und hier, ziemlich gruselig, AI-generierte minderjährige Friends.

Die globale Spyware-Industrie

The Three I's in Spyware - was die Autoren damit meinen ist, dass die globale Spyware-Industrie von (meist zweifelhaften) Firmen in den Ländern Israel, Indien und Italien dominiert wird. Insgesamt wird von 49 Firmen mit 36 Unterfirmen, 24 Parterfirmen, 95 Investoren berichtet. 44% der Firmen sind in Israel, alle intensiv vernetzt. Die Firmen-Cluster in Indien und Italien sind deutlich kleiner, aber ebenfalls gut vernetzt. Der Artikel betont, dass der Einsatz dieser Software gegen Journalisten und Politiker eine deutliche Bedrohung der Menschenrechte und auch der nationalen Sicherheit darstellt.

Das Projekt Surveillance Watch visualisiert die lange Liste der Player in der Überwachungsindustrie und listet sie alle mit ihren Vernetzungen auf einem Globus auf, zusammen mit ihren Investoren und Zielländern (ja auch Deutschland, Schweiz und Österreich sind dabei). Die USA versuchen gegen diese Firmen vorzugehen, die EU ist da aber zögerlich und nicht dabei (wohl weil zu sehr beteiligt oder weil auch EU-Regierungen an Staatstrojanern interessiert sind).

Hier mein großer Überblick zu staatlicher Spyware.