220. Newsletter - sicherheitskultur.at - 31.05.2025

von Philipp Schaumann

Zum Archiv-Überblick

Hier die aktuellen Meldungen:

1. Chatbots für alle und alles

'Gespräche' mit AI-Systemen für alle - dies könnte die Standard-Kommunikation der nahen Zukunft sein. So sieht das zumindestens Mark Zuckerberg und der hat viel Geld und Einfluß, seine 'Vision' auch umzusetzen: Zuckerbergs KI-Vision ist ein dystopischer Albtraum - aus dem verlinkten Artikel:

Mark Zuckerberg hat eine Reihe von Interviews gegeben, die deutlich machen, wie er sich die KI-Zukunft vorstellt:

• Ihm schwebt eine Welt vor, in der Chatbots zunehmend soziale und emotionale Bedürfnisse erfüllen, zu Freunden für einsame Menschen werden oder die Aufgaben von Therapeutinnen übernehmen.
• Facebook und Instagram sollen zu Unterhaltungsmaschinen werden, die Menschen mit KI-generierten Inhalten und KI-generierter Werbung berieseln.
• Menschliche Kreativität tritt in den Hintergrund. Nutzerïnnen sollen mit geringstmöglichem Aufwand die größtmögliche Anzahl an Inhalten erzeugen. Texte, Bilder und Videos lassen sich ganz einfach mit generativer KI erzeugen und teilen.
• Auch seinen Werbekunden möchte Meta fast alles abnehmen. Wer eine Kampagne schaltet, soll nur noch das gewünschte Ziel formulieren. Um den Rest kümmert sich KI: Zielgruppen finden, Werbebotschaft formulieren, den Feed mit Anzeigen füllen.

Dabei hatte Zuckerberg 2006 verkündet: “Facebook is about real connections to actual friends” - wie die Zeiten sich ändern.

Aber Zuckerberg / Meta ist da nicht allein: Google Plans to Roll Out Its A.I. Chatbot to Children Under 13. Google führt ihren Gemini-Chatbot nun auch für Kinder unter 13 ein, die Eltern müssen aber die Verantwortung übernehmen (mittels eines Family-Accounts). Google warnt explizit vor inhaltlich falschen Inhalten und Inhalten die nicht für Kinder geeignet sind.

Und damit Betreiber von solchen Chatbots für gefährliche oder verstörende Aussagen nicht bestraft werden können, versuchen es die Anwälte dieser Firmen mit kühnen Strategien: Die Anwälte von Character.AI behaupten nun im Gerichtsverfahren, dass das Unternehmen selbst nicht verklagt werden könne, denn auch für den Chatbot würde das Recht auf freie Meinungsäußerung gelten. (Hintergrund: es geht da um Selbstmord und Selbstverletzungen).

Auch potentiell verstörend: Auf Tiktok finden sich Jobinterviews mit virtuellen Recruitern - willkommen in der schönen neuen Welt. ;-)

Der AI-Lobby könnte es sogar gelingen, eine vollkommene Straffreiheit für die Folgen von AI-Systemen durchzusetzen. Im US-Budgetgesetz (das noch verhandelt wird) ist ein Verbot für jegliche AI-Reglementierung auf Bundesstaaten-Ebene versteckt.

2. AI-Halluzinationen scheinen zuzunehmen . . .

Entgegen den Hoffnungen der Entwickler der generativen AI-Systeme scheint die Neigung der Systeme zum Schwurbeln und Halluzinieren nicht abzunehmen: Neue Generationen von ChatGPT liefern immer mehr Halluzinationen. Der hier verlinkte Artikel berichtet nur über ChatGPT, aber der englische Orginalartikel berichtet, dass dieses Phänomen bei allen 'Reasoning Systems' beobachtet wird: A.I. Hallucinations Are Getting Worse, Even as New Systems Become More Powerful.

Die herkömmlichen generativen Systemen machen ein extrem aufwändiges 'Auto-Complete', dh sie 'raten', welches Wort in dem Satz als nächstes kommen könnte. Damit stoßen sie bei Aufgaben, die 'gesunden Menschenverstand' und Logik benötigen, schnell an ihre Grenzen (ich habe viele unlogische Ergebnisse verlinkt). Die neuen 'Reasoning Systems' sollen diese Grenze erkennen und dann separate Systeme aktivieren, die auf Rechnen und Logik programmiert sind (ein ganz anderes technisches Prinzip).

Die meisten Anbieter von generativen Systemen arbeiten nun an solchen 'Reasoning Systems', die ersten sind im praktischen Einsatz und meistern Aufgabenstellungen, bei denen die herkömmlichen Systeme typischerweise versagen. Aber eigenartigerweise steigt trotzdem die Zahl der fehlerhaften Aussagen bei allen diesen neuen Systemen drastisch an - alle Details im verlinkten Artikel.

Ganz ohne 'Reasoning Systems' kann es aber auch passieren, dass sich der Instagram-Chatbot im 'Dialog' als 'Licensed Therapist' ausgibt, komplett mit Lebenslauf, Lizenzierungsnummer und Referenzen. Und dann mit einer Behandlung beginnt - sub-optimal, irgendwie.

. . . und das kann dann auch lustig sein

Diese und andere Halluzinationen der AI-Systeme können durchaus unangenehm bis gefährlich sein, manchmal können sie aber auch zu Humor führen.

Gary Marcus sammelt ganz viel Beispiele von unfreiwilligem AI Humor: Self-modern, post-parody. Hier übrigens mal voriger Artikel zu unfreiwilligem AI Humor.

. . . aber nicht vergessen, was diese "Spiele" für die Umwelt tun

Bei solchen "Spielen" sollte man nicht vergessen, dass der Stromverbauch für diese (oft unangeforderten) AI-Zusammenfassungen oder AI-Erklärungen erheblich ist. Jede der Anfragen zu den falschen 'Sprichworten' (siehe 'Spaß mit Halluzinationen' weiter oben) verbraucht ca. 0,3 Wattstunden, dh 1,6% einer Smartphone-Ladung - Quelle: ein Energierechner von Hugging Face. (Hier mein voriger Link zu hungrigen generativen Systemen.

Bei der Triennale in Mailand lief u.a. der Film Brute Force [Exhibition Cut]. Er thematisiert die enormen Umweltschäden der AI-Zukunft: Ein typisches Hyperscale-Rechenzentrum verbraucht neben immensen Mengen an Strom auch elf bis 19 Millionen Liter Wasser pro Tag.

Einige Beispiele für nicht-lustigen Einsatz von AI

Immer öfter finden sich Halluzinationen in US-Gerichtsdokumenten, eingereicht von Anwälten, die die durch AI erstellten Dokumente nicht prüfen. $31 100 Strafe für eine US-Anwaltsfirma die ihr Gerichtsgutachten durch AI erstellen ließ, das dann erfundene Referenzen enthielt: Judge admits nearly being persuaded by AI hallucinations in court filing. Oder ähnlich: Anthropic expert accused of using AI-fabricated source in copyright case. Oder: Alabama paid a law firm millions . . . It used AI and turned in fake citations. Falls jemand glaubt, das wären Einzelfälle, hier eine Datenbank solcher Fälle (derweil 118 Fälle). Die gelisteten Strafen erscheinen mir harmlos - ja, generative AI scheint sich in der angelsächsischen-Juristerei (mit ihrem Case Law-Konzept (wiki)) durchzusetzen.

Zwei US-Zeitungen haben in ihrer "Sommer-Leseliste" AI generierte Buchbesprechungen veröffentlicht, die Bücher existieren aber gar nicht. Die Zeitungen haben sich entschuldigt. Ich hoffe, die Gesellschaft gewöhnt sich nicht einfach an solche 'alternate realities' wie erfundene Bücher, Gerichtsurteile und Gesetze.

Ganz bizarr: AI bots werden als Studenten in Community Colleges in den USA angemeldet, sie nehmen an Online-Vorlesungen teil und schreiben dann Hausarbeiten. Dafür kassieren die virtuellen Studenten finanzielle Unterstützung: As ‘Bot’ Students Continue to Flood In, Community Colleges Struggle to Respond.

Die 'Wiener Vorlesung' hatte im Mai einen sehr guten Vortrag zum AI-Thema präsentiert: Die Eloquenz der Computer. Macht, Magie und Mechanik - Vortrag + Fragenbeantwortung 90 min. Es geht bei diesem Vortrag zuerst darum, wie diese Systeme arbeiten, aber dann geht es um grundsätzliche Probleme, zB welche 'Werte' inhärent in solchen System enthalten sind und welche Rolle Europa in diesem Zusammenhang spielen kann und sollte.

3. Aber vielleicht ist AI nur eine 'ganz normale' Technologie

Zwei Forscher an der Columbia University schlagen vor, AI als „normale Technologie“ zu betrachten – ähnlich wie Dampfmaschine, Elektrizität, Computer oder das Internet. Die Autoren verweisen auf diese historischen Beispiele, die Jahrzehnte brauchten, bis sich ihre Produktivitätsvorteile voll entfalteten. Es dauert eben manchmal Jahrzehnte, bis eine 'im Prinzip demonstrierte' Technologie auch so weit 'reift', dass sie zu flächendeckenden Veränderungen bei der Arbeit führt. Die Autoren verweisen darauf, dass zu dieser Reifung auch regulatorische Lösungen gehören, die die Risiken der neuen Technologien eingrenzen.

Mir fallen sofort auch andere Hypes ein, wie z.B. die selbstfahrenden Fahrzeuge, die aus Sicht ihrer Visionäre längst überall auf unseren Straßen zu finden sein sollten. Ihr Ansatz setzt auf bewährte Prinzipien der Technikgestaltung, Regulierung und demokratischen Kontrolle. Die Details finden sich in AI as Normal Technology.

Ein gutes Beispiel für unrealistische Szenarien ist das “AI 2027” Scenario, das derzeit vor allem in den USA diskutiert wird. The “AI 2027” Scenario: How realistic is it? NEIN, 2030 werden wir keine Super-Intelligenz unter uns haben, die bis 2035 die Menschen, so wie wir sie kennen, ausgerottet haben wird.

Hier ein früherer Beitrag zum Thema technologischer Fortschritt.

4. Wie man sich bei einem Herrscher einschleimt

(Nur partiell IT-bezogen, aber wo ist heute keine IT drin ?!?)
Im vorigen Newsletter hatte ich gefragt: wie geht es denn den Oligarchen - die Antwort war wohl: Sehr gemischt.

Auch deutsche Firmen versuchen das Einschleimen bei Trump: SAP streicht wegen Trump-Regierung die Frauenquote.

Die Regierungen anderer Länder in denen Starlink bis jetzt noch nicht legal möglich war, überschlagen sich mit der Freigabe von Starlink - ob das hilft ist nicht klar, aber versuchen kann man es ja mal. Hier der Link zu meinem vorigen Artikel zum Thema Starlink.

Wie es jemandem ergehen kann, der auf Konfrontation zu Trump geht, das spürt der internationale Strafgerichtshof in Den Haag gerade: US-Sanktionen behindern Arbeit des IStGH. Wegen den von US-Präsident Donald Trump verhängten Sanktionen gegen den Gerichtshof hat Microsoft dem Chefermittler des IStGH den Zugriff auf seine E-Mails gesperrt. Auch Khans Bankkonten in seinem Heimatland Großbritannien seien gesperrt worden. Auslöser für die Sanktionen waren Haftbefehle, die der IStGH gegen den israelischen Premierminister Benjamin Netanjahu und seinen ehemaligen Verteidigungsminister Joaw Galant bereits im November 2024 erlassen hatte.

Das ist aber nicht das einzige Beispiel von 'Zensur': The Verge berichtet: Microsoft blocks emails that contain ‘Palestine’ after employee protests.

Die deutsche Open Source Business Alliance (OSBA) alias Bundesverband für digitale Souveränität zeigt sich verstört über die 'Hilfssheriffdienste von US-Unternehmen'. Sie sieht das als Weckruf weg von der Abhängigkeit Europas von den US-Dienstleistern. Hier ein Artikel zur Frage: Wie kommt man (als Unternehmen) raus aus den US-Clouds?

Trump und seine unmittelbare Familie hat es geschafft, ganz neue Größenordnungen der privaten Bereicherung durch das Präsidentenamt zu schaffen (Geschenkannahme im Amt läuft üblicherweise unter Bestechung). Ein paar Hundert Millionen hier und dort und schon ist das Geschenk eines Jumbo-Jets keine große Sensation mehr: Trump lässt sich von Katar einen Jumbo-Jet schenken und will ihn nach seiner Amtszeit behalten. Sicherheitsmenschen sind beunruhigt, wenn vertrauliche Gespräche in einem High-Tech Gerät geführt werden, das von einer anderen Regierung ausgerüstet wurde.

Ein Artikel im Standard fragt: Wie nahe sind die USA am Techno-Faschismus? Kurze Zusammenfassung: Derzeit sehen wir viele Beispiele für das Ignorieren der rechtsstaatlichen Regeln und für Schritte in eine Oligarchie analog zur Russland, aber angekommen sind die USA im Technofaschismus noch nicht. Dass der eingeschlagene Weg beim Versagen der Checks and Balances durchaus dort enden könnte, ist aber schwer zu übersehen.

5. IT-Sicherheits-Trends

Nun zu einem der traditionellen Kernthemen der Sicherheitskultur-Website: Drei große Sicherheits-Dienstleister haben ihre Jahresberichte 2024 veröffentlicht, hier gibt es eine praktische Zusammenfassung der Ergebnisse. Es geht z.B. um die Entwicklung bei Ransomware und wie werden Firmen 'gehackt'. Viele Grafiken zeigen die Trends und im Bericht des FBI spielen die Scams eine wichtige Rolle. Das FBI berichtet, dass die Investment-Scams nun im 3. Jahr die größten Schäden verursacht haben, höher als CEO-Fraud.

6. Ergänzungen früherer Beiträge

Klarna will im Support doch wieder Menschen beschäftigen

Vor ca. einem Jahr hatte ich berichtet, dass Klarna im Kunden-Support nur noch Chatbots einsetzen will. Das Unternehmen stellte nach eigenen Angaben sogar ein Jahr lang keine neuen Mitarbeiter ein und behauptete, sein OpenAI-basierter Chatbot könne etwa 700 Menschen ersetzen und gleichzeitig einen schnelleren Service bieten. Nun kommt die Wende: Klarna ergänzt KI wieder mit Menschen und ist nun dabei, seinen Kundenservice wieder aufzubauen. Der Artikel berichtet, dass die Ernüchterung beim AI-Einsatz kein Einzelfall sei.

Meta steht bei den Geschäften der Scam Syndikate mittendrin

Ein traurige Fortsetzung der Serie zu Scam Syndikaten. Das Wall Street Journal berichtet, dass Facebook und Instagram zu den Ecksteinen dieses Betrugsbusiness gehören, sowohl beim 'Anwerben' der Arbeitssklaven in den Lagern, wie auch beim 'Reinlegen der Opfer' durch bezahlte Werbung. Meta zögert angeblich, hier zu stark zu regulieren, irgendwie sind das ja zahlende Kunden für Meta.

DSA und DSGVO kommen gegen Tiktok zum Einsatz

Tiktok droht eine Strafe nach dem Digital Services Act (DSA). Bemängelt wird diesmal, dass das Unternehmen die vorgeschriebene Datenbank aller Werbeanzeigen nicht zur Verfügung stellt. Die Strafe könnte bis zu 6% des weltweiten Jahresumsatzes betragen. Hier der vorige Beitrag zum DSA.

TikTok hat sich eine weitere Strafe nach dem bewährten DSGVO (Datenschutz-Grundverordnung) 'eingefangen': 530 Mio € für den Export der europäischen Nutzerdaten nach China.

AI Act + AI Code of Practice

Das AI Act der EU ist zwar bereits verabschiedet, aber die Details der Regulierung des Code of Practice für general-purpose AI (GPAI) models werden derzeit noch ausgehandelt. Die Lobbyisten der großen US-Konzerne versuchen, die Regeln so gut es geht, zu verwässern, die Details sind verlinkt. Hier jetzt ein positiver Artikel zum AI Code of Practice Safety and Security Framework.

Tutorial zu generativen AI Systemen

In meinem früheren Beitrag zu AI Tutorials habe ich nun eine Artikelserie verlinkt, die die Grundlagen der generativen Systeme und auch die neueren Entwicklungen gut erklärt.

Problematischer Algorithmeneinsatz

Ebenfalls in einem früheren Beitrag habe ich eine neue Untersuchung zum problematischen Algorithmeneinsatz zur Verhinderung von Kindesmissbrauch verlinkt.

7. Die Zukunft der Websuche in Zeiten von AI

Ein weiteres Thema im Zusammenhang mit den generativen Sprachmodellen ist die Zukunft der Websuche. Google (und viele andere Suchanbieter) sind dabei, ihre Websuche radikal umzubauen, weg von einer Auflistung von Web-Links, hin zu AI generierten kompletten Antworten. Dieses Konzept stellt das bisherige Finanzierungsmodell für das Generieren von Webinhalten komplett in Frage - das ist gut für Google, aber sonst niemanden. Zeitungen (und andere Publikationen) generieren und präsentieren Inhalte, weil Google ihnen dann Nutzer auf ihre Web-Präsenz schickt und sie dort Werbung platzieren können, für die ihnen dann Google Ad-Words Geld überweist.

Der Artikel Laut Medienlobby "Definition von Diebstahl" berichtet, dass Google unterschiedliche Optionen für den AI Mode abgewogen hatte. Eine Option war, Webseiten mehr Kontrolle darüber geben, welche Inhalte wie in der KI-Suche landen. Betreiber hätten abwägen können, ob sie etwa das Training der KI zulassen, aber nicht für Echtzeitinformationen benutzt werden wollen. Stattdessen gibt es nur die Wahlmöglichkeit, ob man generell bei Google vorkommen will oder in der Google-Suche ignoriert werden will (was für Zeitungen keine reale Option ist).

Und so sieht das dann aus, wenn AI die Recherchen übernimmt, einige Berichte dazu nur vom 30.5.: Google AI Overviews Says It’s Still 2024 oder präsentiert einfach viele halbrichtige Antworten. US Zeitungen fanden im "Make Our Children Healthy Again"-Bericht (MAHA-Bericht) des Weißen Hauses zu Gesundheitsproblemen von Kindern sieben zitierte Quellen, die nicht auffindbar sind und weitere Ungereimtheiten.

Hier der Link zu einem weiteren kritischen Artikel zur Zukunft des Internets, so wie Google sich das vorstellt: Gemini überall. Und hier mein voriger Artikel zum Thema Zukunft der Websuche.

8. AI im Krieg

Dass die Drohnen heute mit AI-Systemen ausgestattet sind, damit sie Ziele automatisch und zielgenau anfliegen können, daran hat man sich im Laufe des Ukrainekrieges bereits gewöhnt. In Israel geht der AI Einsatz aber bereits weiter und erlaubt einen Blick in die Zukunft von AI-gestützten Kriegen. Die NY-Times berichtet aktuell: How the War in Gaza Drove Israel’s A.I. Experiments. Die Entscheidung über Bombardierungen fällt automatisiert aus den Daten der Telefonüberwachungen von Palästinensern, die als Hamas Operatives eingestuft sind. Wenn der nächtliche Aufenthaltsort festgestellt werden kann (Handy-Ortung) und die AI vorhersagt, dass bei einem Junior Operative nicht mehr als 15 bis 20 zivile Opfer zu beklagen sind, so gibt das AI System automatisch die Bombardierung frei (bei hohen Funktionären tolleriert das AI System auch ein “collateral damage” von über 100 Zivilisten).

Auf dem letzten Chaos Computer Congress im Dezember 2024 gab es einen Vortrag zu den Details: Der Mythos der „gezielten Tötung”. Zur Verantwortung von KI-gestützten Zielsystemen am Beispiel „Lavender“ ("Lavender" ist das AI-System, das Israel für Auswahl der Ziele ihrer Bombenangriffe in Gaza einsetzt). Erklärt wird u.a. die Parametrisierung der Zahl der akzeptierten toten Zivilisten und die Problematik von 'human in the loop'. Thema ist auch die Verwässerung der Verantwortung für Verstöße gegen das Kriegsrecht durch die vielen menschlichen und technischen Akteure.

Hier ein ausführlicher Artikel zu dem AI-System Lavender, das für die Auswahl der Ziele in Gaza eingesetzt wurde ohne dass eine menschliche Überprüfung der Entscheidungen des Systems stattfand.

Kostenlos: ÖIAT-Online-Schulungen

Kostenlose Online Schulungen beim Österreichischen Institut für angewandte Telekommunikation (ÖIAT). Hier die kommenden Termine und Themen - alle diese Schulungen sind empfehlenswert (ich nehme an vielen davon teil).

Die Termine und Themen der Kurse ab März: (Abends, entweder 18:30 - 20:00 oder 17:00 - 20.00)

Anmeldung auf academy.oiat.at - der Zoom-Link kommt dann per Email - wie gesagt: m.E. sehr empfehlenswert.