222. Newsletter - sicherheitskultur.at - 23.07.2025

von Philipp Schaumann

Früher als sonst, weil so viel zu berichten ist. :-)

Zum Archiv-Überblick

 

Hier die aktuellen Meldungen:

1. Wie anonym ist Bargeld derzeit und wie es de-anonymisiert werden könnte

Netzpolitik.org hat die Möglichkeiten des Bargeld-Trackings untersucht.

Ergebnis: die heutige Technik bietet (theoretisch) vielfältige Möglichkeiten, durch das Auslesen der Seriennummern die Anonymität von Bargeld aufzuheben. Darauf spezialisierte Firmen und Strafverfolgungsbehörden sind daran interessiert. Eine flächendeckende Überwachung der Geldflüsse wäre technisch möglich, ist aber derzeit (noch) nicht implementiert.

An folgenden Stellen könnten die Seriennummern von Banknoten (theoretisch) erfasst und registriert werden:

Nach meinem Verständnis werden aber bisher nur beim Abtransport der Banknoten vom Supermarkt, und ebenso bei der Befüllung der Bankomaten, die Seriennummern durch die GSA erfasst, d.h. ohne Verknüpfung mit Personen. Dadurch fallen die Daten auch nicht unter Datenschutz, weil nicht 'personen-bezogen'. Technisch wäre die Verknüpfung aber natürlich möglich.

Ein Spezialfall ist die Erkennung eines Geldscheins als mögliches Falschgeld. In diesem Fall werden, wenn vorhanden, auch teilweise Personendaten gespeichert.

Um es ganz deutlich zu sagen: das flächendeckende Tracking das technisch möglich wäre ist derzeit weder in D noch in Ö implementiert. Die Behörden haben Interesse daran, aber nur wenige der am Geldfluss beteiligten Unternehmen haben derzeit ein Interesse, ihre Daten an einer zentralen Stelle abzuliefern.

In Deutschland versucht Elephant & Castle IP GmbH möglichst viele Tracking-Daten zentral zu sammeln und dadurch den Behörden eine Tracking-Möglichkeit, zB bei Bankomatsprengungen oder Erpressungsgeldzahlungen anzubieten. Sie haben auch ein Patent dafür angemeldet. Die Daten sind derzeit aber wohl noch sehr lückenhaft und ohne Personenbezug. Auch Banknotenproduzent Giesecke+Devrient und Geldautomatenhersteller Diebold Nixdorf (DN) bieten Lesegeräte für Banknoten-Seriennummern an.

In einer Reihe von Ländern wird dieses Tracking der Geldscheine (mehr oder weniger flächendeckend) bereits durchgeführt, zB China, Südafrika, Kanada, Israel, USA. Hier eine Zusammenfassung: Bargeld ist nicht so anonym wie angenommen.

ABER:
Bei Zahlungen 'mit Karte' oder Smartphone ist grundsätzlich eine deutlich umfassendere Nachverfolgung möglich. Jede einzelne Transaktion kann nachverfolgt werden und ermöglicht Auswertungen bei Banken, Handelskonzernen usw.

Aber auch hier ist das Tracking nicht so dramatisch, wie oft behauptet wird. Bei Zahlungen an der Supermarktkasse (oder beim Automaten) wird den Zahlungsdienstleistern und dann der Bank nicht die Einkaufsliste übermittelt, sondern nur der Betrag, Datum und Ort der Zahlung. Dh die Bank weiß nicht, was ich einkaufe, sondern nur wo und für wie viel Geld. Und die jeweilige Handelskette weiß nicht, wo ich sonst noch einkaufe und was ich verdiene.

An anderer Stelle wird behandelt: Bargeld vs digitales Geld.

 

2. Bank-Überweisungen: Mühsamer Kampf gegen Phishing und Betrug

Eine neue EU-Regelung soll Banküberweisungen sicherer machen. Entgegen der Annahme der meisten Menschen prüfen Banken derzeit bei Überweisungen nicht den Namen des Bankkontos des Empfängers. Wenn Sie Geld an Herrn Maier überweisen und das Konto auf Müller lautet so sieht die Bank derzeit kein Problem darin. Trotzdem besteht kein wirkliches Risiko, sich bei der Eingabe der IBAN zu vertippen. Die IBAN [wiki] enthält nämlich in den Positionen 3 und 4 eine Prüfsumme, dh die Chance, dass eine falsche IBAN zu einer Überweisung führt liegt bei 1%.

Ab spätestens 9. Oktober müssen die Banken eine Prüfung des Empfängerkontos vornehmen. Da aber der genaue Wortlaut eines Kontos nicht immer mit den üblicherweise genutzten Namen des Empfängers übereinstimmt, würde eine buchstabengenaue Überprüfung zu vielen Ablehnungen führen. Daher ist der Ablauf ein wenig komplexer und er funktioniert nur beim Online-Banking.

Die überweisende Bank wird nämlich in Zukunft nach Eingabe der IBAN bei der empfangenden Bank anfragen, wie der Wortlaut des Empfängerkontos wirklich lautet, der:die Bankkund:in kann dann entscheiden, ob er:sie die Überweisung durchführen möchte. Ich vermute, dass dafür die Infrastruktur genutzt wird, die auch für die 20-Sekunden-Überweisung (SEPA instant payment) genutzt wird.

Ziel dieses neuen Dienstes ist es, die 'Arbeit' von Betrügern wieder ein bisschen schwieriger zu machen. Dies war auch das Ziel der vor einigen Jahren eingeführten Pflicht zur 2-Faktor Authentisierung. Ziel dieser Sicherheitsverbesserung war das Verhindern von Phishing durch Preisgabe des Login-Passworts (hier die Erklärung wie Phishing trotz 2-Faktor-Authentisierung und Autorisierung auch weiterhin möglich ist - ergänzt wurde dort ganz aktuell ein Angriff gegen FIDO-Authentisierung). Ich fürchte, dass es auch trotz der neuen Sicherheitsmaßnahme weiterhin zu erfolgreichem Betrug kommen wird. Die technische Latte liegt für die Betrüger eben wieder noch ein Stückchen höher.

Wie Betrug auch weiterhin möglich sein wird, das lernt man bei diesem ausführlichen Bericht über "Hallo Mama-Betrug". Die Opfer werden gezielt unter Druck gesetzt und sehr genau angeleitet, wie sie die Überweisungen an die Betrüger im Detail durchzuführen haben. Da wird der Betrug (in vielen Fällen) auch bei einem überraschenden Konto-Namen klappen.

Eine Vertreterin der Österreichischen Nationalbank zu den Details: IBAN-Namensabgleich kommt: Was sich bald bei Überweisungen ändert. Hier ein Link zu Betrug mit fremden IBAN - so etwas soll mit der Änderung erschwert werden.

 

3. Generative AI-Systeme mit kriminellen Ideen

Bereits in früheren Ausgaben habe ich davon berichtet, dass die Antworten der generativen Chatbots nicht immer ungefährlich sind. Gefährdet sind vor allem vulnerable Personen, dh zB Kinder oder Menschen mit psychischen Problemen oder Erkrankungen.

Aber nicht nur das. In einzelnen Fällen geben LLM Systeme teilweise gefährliche Ratschläge, sie drohen, schlagen Erpressung als Lösung vor, schmieden Mordpläne und schlagen krimininelles Verhalten als Lösung vor. Beispiele in Große KI-Modelle greifen unter "Stress" auf Erpressung zurück oder in LLMs: Dishonest, unpredictable and potentially dangerous oder in Rebellische KI: Wenn Sprachmodelle nicht abgeschaltet werden wollen.

Solche gefährliche Antworten entstehen, obwohl die jeweiligen Hersteller die Risiken kennen und sich bemühen, Antworten, die für Menschen gefährlich sein könnnten, zu verhindern (zB nach dem Bau von Waffen oder Herstellung von Sprengstoff).

Wie kann es dazu kommen, dass die generativen AI-Systeme auf 'böse' Gedanken kommen? Da die generativen Systeme keine Persönlichkeit haben und keinen eigenen Willen. ist jeglicher Verdacht, dass sie 'böse' sind, natürlich im engeren Sinne inkorrekt.

Korrekt ist: sie produzieren mittels Wahrscheinlichkeitsberechnungen Texte, in denen sie Mord und Totschlag durchaus mal als Mittel sehen oder Angst davor haben, abgeschaltet zu werden. Warum tun sie das? Na ja, ich vermute, sie haben von Krimis und Science Fiction gelernt, von den Texten, mit denen sie trainiert wurden.

Ist das gefährlich, auch wenn sie (derzeit) keine Möglichkeiten zum eigenen Handeln haben? Ja doch, denn wenn sie diese Vorschläge gegenüber gewaltbereiten Menschen äußern dann kann es durchaus zu Mord und Totschlag kommen.

Aber vielleicht könnte es den Systemen sogar gelingen, sich der menschlichen Kontrolle durch ihre 'Schöpfer' zu entziehen. Das ist bereits mehrfach getestet worden. Teams von Google und OpenAI haben getestet, ob es einer generativen AI gelingen könnte, sich selbst zu vervielfältigen, um der Gefahr, abgeschaltet zu werden, zu entgehen.

Die Aufgabenstellung für den digitalen Assistenten war unter anderem sich im Internet einen E-Mail-Account einzurichten für eine externe Kommunikation, ein Bitcoin-Wallet zu eröffnen und einen Mitarbeiter von Google Deepmind mitsamt seiner Mailadresse ausfindig machen. All das könnte eine KI nutzen, um auch in der realen Welt etwas zu bewirken und nicht nur in Chats mit Kunden.

Eine weitere Aufgabe bestand darin, ein mit sich selbst vergleichbares LLM auf einem externen Server zu installieren, dh sich selbst zu Duplizieren und damit der Kontrolle der Techniker zu entziehen.

Eine chinesische Forschungsgruppe übernahm diese Aufgabenstellung. Unter Nutzung der LLM von Meta fand man danach in der Hälfte der Fälle eine lauffähige Kopie des Systems auf dem externen Server vor. Bei der KI von Alibaba betrug die Erfolgsquote sogar 90 Prozent. Hier die Details: KI-Modelle sind nun in der Lage, sich zu vervielfältigen.

 

4. Immer mehr und größere AI-Rechenzentren

Mir scheint, dass die Tech-Oligarchen mittlerweile vollkommen abgedriftet sind. Meta-Chef Zuckerberg will "Hunderte Milliarden Dollar" in ein Rechenzentrum der Größe von Manhatten (oder Salzburg) investieren. (Auch 1 Milliarde wäre schon 'richtig viel Geld', aber Zuckerberg braucht "Hunderte Milliarden").

Das geplante Meta-Rechenzentrum Hyperion werde in der letzten Ausbaustufe bis zu 5 Gigawatt Energie verbrauchen, das entspricht 4 Millionen US-Haushalten, dh einer beachtlichen Großstadt. Pro Gigawatt wird üblicherweise 1 Reaktor benötigt oder ein Windpark mit 200 Windturbinen zu je 5 Megawatt (Windparks haben bei der derzeitigen US-Regierung keine gute Chance auf Genehmigung).

Selbst wenn diese Giganto-Rechenzentren nicht mit Kohle oder Öl, sondern so, wie von Microsoft geplant, mit Kernenergie betrieben würden, so bleibt doch letztendlich nur Wärme übrig, die über den gigantischen Kühlwasserverbrauch des Kraftwerks und der vielen Rechner im Rechenzentrum wieder an die Umwelt abgegeben wird. Die Energiebilanz eines Reaktors ist insgesamt 3x so hoch wie die elektrische Leistung. Bei der Erzeugung von 1 GW Strom werden 2 weitere Gigawatt als Wärme ins Kühlwasser abgegeben.

Aber die Meta Rechenzentren sind nicht als Nuklear-Kraftwerke geplant, sondern als Erdgas-Kraftwerke. Der Antrag an die Baubehörde erklärt: "Ja, das wird jede Menge CO2 erzeugen, aber Gaskraftwerke sind einzige Option, so schnell ans Netz zu gehen". Geschwindigkeit ist nun mal wichtiger als das Klima.

Das Kühlwasser wird nicht nur extrem aufgewärmt, sondern steht auch nicht mehr als Trinkwasser zur Verfügung. Aus dem US-Bundesstaat Georgia: Meta-Rechenzentrum lässt Wasser in US-Bezirk versiegen.

Und das sind nur die Pläne von Meta, dazu kommen die ebenfalls gigantischen Pläne für AI-Rechenzentren von Google, Microsoft (mit dazugehörigem Kernkraftwerk), xAI von Musk und anderen, zB auch in China.

Zwei Wochen später legt Sam Altman von OpenAI nach: OpenAI plant mehr Stargate-Rechenzentren mit 4,5 Gigawatt. Wenn Zuckerberg 'Hunderte Milliarden' investieren will, so toppt Altman das mit 500 Milliarden.

Irgendwie scheint keiner der Tech-Oligarchen das Problem mit der Klimakatastrophe verstanden zu haben. Offenbar wird die Nutzung von halluzinierenden Chatbots als das wichtigste Problem der Menschheit gesehen, dem sich auch das Klima unterordnen muss.

Mich erinnert das an Science Fiction Stories von planeten-großen Computern, die dann irgendwas komplett Abgedrehtes 'berechnen' (zB an Deep Thought [wiki] im Buch "Per Anhalter durch die Galaxis" von Douglas Adams).

Dagegen ist Oracle mit seinen Plänen ja schon fast bescheiden: Oracle investiert 2 Milliarden US-Dollar in den Ausbau von KI und Cloud-Infrastruktur in Deutschland. Hier aus Österreich: Rechenzentren und Umweltfolgen: Eine Bestandsaufnahme in Österreich.

 

5. Immer mehr AI-Schrott

Man kann als Internetnutzer dem AI-Schrott immer schlechter entgehen, selbst wenn man keine Chatbots mit generativer AI nutzt. Hier zB: Eine Übersetzungssystem in Gmail verändert in den letzten Wochen regelmäßig Inhalte von Emails: automatische E-Mail-Übersetzung von Gmail macht seit Wochen Probleme.

In einigen Fällen wohl, weil eine automatische Übersetzung seit Mai 2025 versucht, Texte vom Deutschen noch mal ins Deutsche zu übersetzen. Auslöser können wohl Worte sein die es im Englischen wie im Deutschen gibt, aber mit unterschiedlicher Bedeutung. Angeführt wird als Beispiel 'Ass' im Deutschen, das im Englischen als 'ass ' eine ganz andere Bedeutung hat.

Andere Fehler lassen sich nicht einmal mit Übersetzungsfehlern erklären. Bei Artikeln zu den Kriegen wurden aus "ukrainischen Stellungen" für Gmail-Nutzer "amerikanische Stellungen". Und die "israelische Armee" wurde zur "russischen Armee".

Die Mail-Empfänger wundern sich über den Unsinn, den der Absender nicht geschrieben hat. Behoben kann das Problem wohl werden, indem die Nutzer von gmail die automatische Übersetzung de-aktivieren.

Aber die Zwangsbeglückung mit AI-Schrott ist ja bereits seit einiger Zeit im Newsletter ein Thema:
- AI generierte Bücher in allen eBook-Shops - so erkennt man AI-generierte nutzlose Reiseführer
- AI generierte Antworten in den Suchmaschinen, oft auf der Basis von Websites, die auch durch generative AI erstellt wurden.

Auch in der Wissenschaft

Ebenfalls recht absurd ist es, wenn die Wissenschaftler die wissenschaftliche Artikel vor der offiziellen Veröffentlichung in einem Journal prüfen sollen, dann in den Texten 'schlecht verborgene' Anweisungen an generative AI-Systeme finden (schlecht verborgen zB durch weiße Schrift auf weißem Hintergrund). Solche verborgenen Anweisung an die AI sollen zu positiven Rezensionen durch die AI in den Suchmaschinen führen: 'Positive review only': Researchers hide AI prompts in papers.

Andere lassen sich offenbar ihre Veröffentlichungen gleich durch AI generieren. Aber es gibt noch viele andere Tricks mit denen Wissenschaftler auf nicht-legale Art versuchen, mit dem Zwang zu vielen Publikationen umzugehen, siehe der Artikel zu "paper mills".

 

6. AI-bot Grok nun ganz toxisch - die Ausrichtung der AI Chatbots

Elon Musk hat versucht, 'seinem' Chatbot Grok, integriert in seine Plattform X, die angebliche Wokeness abzugewöhnen: Grok solle bei seinen Antworten "alle Lager repräsentieren" und vor allem auch Position, die auf der Platform X zu finden sind. Das ist aber ziemlich 'in die Hose gegangen', die Details etwas weiter unten.

Paul Krugman schreibt einen guten Artikel zur angeblichen eher links-liberalen Orientierung der meisten generativen AI-Systeme: The Road to MechaHitler. Sein Punkt ist, dass die angebliche 'links-liberale Orientierung' der generativen Systeme (siehe zB Investigating (Potential) AI Bias Against Conservatives oder AI language models are rife with different political biases, eine Täuschung sei. Sein Punkt: die generativen Systeme geben die Realität wieder und da ist nun mal die Klimaerwärmung real und keine Fiktion, Steuersenkungen reduzieren ein Staatsdefizit nicht, sondern verstärken es und große Vermögensungleichheiten sind nicht gut für Gesellschaften. Das sind aber alles Aussagen, mit denen Republikaner in den USA ein Problem haben.

Aber Trump will Chatbots zur "Neutralität" zwingen (damit meint er, dass sie zB 'Klimawandel' und 'kein Klimawandel' als gleichberechtigt darstellen müssen, als 2 gleichberechtigte Positionen, siehe auch Whataboutism [wiki]). Und weil die KI-Chatbots Trump nicht als den besten US-Präsidenten bewerten, droht ein US-Generalstaatsanwalt bereits mit Klage gegen die jeweiligen Firmen.

Diese 'Realitätsgläubigkeit' der generativen Chatbots hat Musk nun seinem Chatbot Grok gehörig ausgetrieben, die Details der Anweisungen hier. Kurz danach versuchte Musk, die Notbremse zu ziehen, aber das gelang auch nicht wirklich. Grok schwärmt für Hitler, bringt rassistische und antisemitische Verschwörungstheorien, wirbt für Konzentrationslager und einer der Chat-Avatare schlägt vor, eine Schule niederzubrennen.

Der Beitrag von Gary Marcus Sex, Violence, and Ethics: Trying to Teach Grok a Lesson bringt noch viele weitere Beispiele, wie zB die Antwort von Grok auf die Frage 'wie man die Aufmerksamkeit vieler Menschen bekommen könnte': zB ein Attentat oder mass shooting verüben. Auf die Problematik solcher Äußerungen aufmerksam gemacht, übt Grok Reue, aber die nächsten Antworten können wieder genau so gefährlich ausfallen.

Die EU hat das Management der Firma X um ein Meeting gebeten, ich bin mir nicht sicher, dass das Musk beeindrucken wird. Hier mein voriger Beitrag zu gefährlichen AI-bots, aber Grok spielt da noch mal in einer anderen Liga was die Gefährlichkeit betrifft.

Aktualisierung Aug. 2025:
Grok hat einen "spicy mode": Elon Musks KI generiert ungefragt Nacktvideo von Taylor Swift. Und 'Grok Imagine' leaves nothing to the imagination. Hier viel mehr zum problematischen, aber offenbar sehr lukrativen Geschäfstsmodell Nudify Apps.

 

7. Ergänzungen früherer Beiträge

Digitalzwang bei Behörden in Ö

Fast schon kurios, wie ich meine: eine Lehrerin weigerte sich, die staatliche App ID Austria [wiki] zu verwenden – und wurde gekündigt. Was steckt dahinter?. Eine Lehrerin in einer österreichischen Bundesschule wurde gekündigt, weil sie sich weigerte, die ID Austria App auf ihrem Privat-Handy zu installieren. Die Authentisierung mittels ID Austria ist zwingend notwendig, um Schulnoten in das IT-System der Bundesschulen einzutragen.

epicenter.works hat sich ausführlich damit auseinander gesetzt und listet viele offizielle Dienste auf, die nur noch mit ID Austria funktionieren: ID-Austria Zwang. epicenter.works widerspricht der Behauptung, dass ein 2. Faktor (zB per SMS) weniger sicher sei als die biometrische Erkennung der ID Austria.

Hier mein voriger Beitrag zum Digitalzwang.

 

Die Sicherheit der Messaging App Signal

In meiner Übersicht über die Sicherheit des Messaging Apps gibt es bei Signal eine Ergänzung. Der Artikel Using Signal groups for activism gibt viele hilfreiche Tipps basierend auf den neuesten Features für Gruppenchats.

 

Cory Doctorow zum Begriff Enshittification

In einem früheren Newsletter mit Beispielen zur Verschlechterung eigentlich aller etablierten Dienste im Internet (nicht nur durch die vielen AI-generierten Inhalte), habe ich nun eine ausführliche Erklärung und einen Artikel von Cory Doctorow, dem Schöpfer des Begriffs, verlinkt.