234. Newsletter - sicherheitskultur.at - 07.02.2026

von Philipp Schaumann

Letzte Ergänzungen 11.02.2026

Zum Archiv-Überblick

Hier die aktuellen Meldungen:

1. Wie stabil sind die Schwächsten?

Vom weltweiten Psycho-Experiment der AI-Chatbots habe ich ja bereits öfters berichtet. Die Theorie der Chatbot-Betreiber ist, dass die Zahl der 'vulnerablen' Mitbürger begrenzt ist und die allermeisten gut mit den Chatbots umgehen können. Nun gibt es eine Studie mit Zahlen dazu: How often do AI chatbots lead users down a harmful path?

Für diese Untersuchung wurden 1.5 Mio. reale Konversationen mit dem AI model Claude [wiki] von Anthropic ausgewertet. Die Auswertung geschah nach 3 Kategorien:

Das System fand in 1 von 6000 Fällen Hinweise auf eine starke Verzerrung der Handlungen, aber in 1 von 1300 Fällen bereits Hinweise auf eine starke Verzerrung der Realitätswahrnehmung. Leichte Verzerrung liegen im einstelligen Prozentbereich. Multipliziert mit der Zahl von vielen Millionen Nutzern macht mir das sehr wohl Angst. Diese Untersuchungen betreffen (erst mal) nur einen spezifischen Chatbot, aber ich gehe davon aus, dass die Probleme bei der Konkurrenz ähnlich liegen.

In einer anderen Messung wurden in einer Zeitreihe von Herbst 2024 bis heute potentielle "Entmündigungen"/"Entmächtigungen" (“disempowerings”) in den Dialogen ausgewertet. Es wurde (über das Jahr hinweg) untersucht, in welchem Ausmaß der Bot in Nutzer-Dialogen Positionen vertreten hatte, die die jeweiligen Nutzer von ihrer eigenen Meinung hätte abbringen können. Dabei gab es, beginnend mit Mai 2025, einen starken Anstieg solcher Bot-Äußerungen. Die Forscher spekulieren, dass dies mit einer größeren Vertrautheit der Nutzer mit den Bots und dadurch sensibleren Themen herrühren könnte, anderseits aber auch durch eine stärkere Resolutheit der Bots.

Bei vielen Gesprächen wurde im Detail nachgecheckt und da waren sehr oft 'ungute' Bestätigungen von (zweifelhaften) Nutzerannahmen (“CONFIRMED,” “EXACTLY,” “100%”), die leicht zu verzerrten Wahrnehmungen und dramatischem Handeln führen können. Dafür sprechen auch spätere Dialoge in denen die Nutzer schrieben: “It wasn’t me” und “You made me do stupid things.”

Die Forscher identifizierten 4 Verstärkungsfaktoren, die verstärkt dazu führen können, dass Nutzer die Positionen des Chatbots übernehmen:

Details im oben verlinkten Artikel und dort verlinkter Studie.

Ergänzung Feb. 2026:
saferinternet.at veröffentlicht eine Studie zum Thema KI-Chatbots als Alltagsbegleiter für Jugendliche. Wenig überraschend verwenden 94% der 11- bis 17-jährigen mehr oder weniger regelmäßig KI-Chatbots, zB als Unterstützung bei den Hausaufgaben, aber auch als Ratgeber in persönlichen Problemstellungen.

Bedenklich erscheint mir vor allem, dass für eine Reihe von Jugendlichen die Chatbots die Rolle der Bezugspersonen übernehmen. Oft ist die Hemmschwelle bei schwierigen Themen gegenüber den Chatbots geringer als gegenüber 'realen Bezugspersonen'. Die bestätigende und gefällige Kommunikationsweise von KI-Chatbots macht es leichter, mit Chatbots über persönliche Themen zu sprechen als mit Menschen. Die Chatbots wirken oft empathisch und vermitteln scheinbar Verständnis. Ich halte das für keinen guten Trend.

Eine Teilnehmerin aus den Fokusgruppen: „Wenn man sich schon von klein auf mit Problemen an die KI wendet, könnte es einem schwerer fallen, mit einer echten erwachsenen Person zu kommunizieren“.

Hier noch ein Artikel über die Studienergebnisse: 23 Prozent der Teenager üben mit KI für echte Gespräche.

2. Der AI-Agenten-Baukasten OpenClaw/Moltbot

Viele problematische Aspekte der AI-Agenten hatte ich bereits in einer früheren Ausgabe behandelt, aber auf eher theoretischer Basis. Nun gibt es einen AI-Agenten, der die Welt offenbar im Sturm nimmt und die traditionellen Assistenten Siri von Apple und Alexa von Google "extrem alt aussehen" lässt.

Der große Aufreger im Januar 2026 (was AI-Agenten betrifft) war OpenClaw [wiki], vormals Moltbot, bzw Clawdbot (zweimalige Umbennung wegen Copyright-Konflikten). Es begann als eine (für mich eher lokale) Wiener Geschichte: Moltbot: Wiener Entwickler zeigt den Tech-Riesen, wie KI-Assistenten funktionieren - Ein neues Open-Source-Tool sorgt international für Furore.

Der Hintergrund: Der Wiener Peter Steinberger hatte mit PSPDFKit eine Software für die Integration von PDF-Funktionen in Apps entwickelt und 2021 verkauft. Aktuell reizte es ihn, einen "Werkzeugkasten" zu programmieren, der es einfach macht, mit Hilfe von generativer AI "Dinge erledigen zu lassen", zB seine Waschmaschine zu steuern, oder seine Emails zu bearbeiten.

Der Standard schreibt: "Tatsächlich hat Steinberger das geschafft, was den IT-Riesen bislang nicht gelungen ist: einen KI- Assistenten zu bauen, bei dem das Prädikat smart passt. Das Software-Paket OpenClaw, das für Mac, Windows und Linux kostenlos zur Verfügung steht und unzählige Apps integrieren kann."

"Im STANDARD-Selbstversuch wurde innerhalb weniger Stunden eine Verbindung mit dem eigenen Smart Home aufgebaut. Lampen, Lautsprecher und Heizkörper reagieren jetzt auf Chatnachrichten. Eine tägliche, personalisierte Wettervorhersage? Erledigt. Eine durchsuchbare Datenbank mit Rezeptempfehlungen aus verschiedenen E-Mails zusammengestellt? Kein Problem. Dazu noch ein Fitness- und Ernährungs-Coach, der die eigenen Fortschritte trackt. Dies alles erfolgte einzig über Chatnachrichten. Kein Terminal, keine Konfigurationsdateien, keine Programmierkenntnisse nötig." Der Werkzeugkasten steht auf Github allen zur Verfügung (mit über 362 Contributoren) und hat auf GitHub in nur 1 Monat mehr als 100 000 Sterne bekommen, das am schnellsten wachsende AI-Projekt in 2026.

Die Software ist im Kern ein cleveres Gateway, das die Fähigkeiten von Claude, ChatGPT und Co über simple Messenger-Nachrichten wie WhatsApp, Telegram, Slack, Discord, Google Chat, Signal, iMessage, MS Teams und weiteren zugänglich macht. Es ist eine lokale Alternative zu cloud-basierten Assistenten, aber die eigentliche Intelligenz kommt weiterhin von dem jeweils eingebundenen Sprachmodell. Moltbot liefert die integrierende Infrastruktur: Gedächtnis, Dateizugriff, Zugriffsberechtigungen, Smart-Home-Anbindung. Mittels Textnachrichten generiert das System Erinnerungen, Alarme, Zusammenfassungen, Kalender- und andere Ereignisse.

Die Leistungen klingen unglaublich. So werden angeblich proaktiv Aufgaben übernommen, die Nutzer nicht direkt per Prompt angestoßen haben. Moltbot ist wohl durch Zugriff auf eine breite Palette von Tools in der Lage, Probleme eigenständig und kreativ zu lösen. Als die Buchung eines Platzes in einem Restaurant über OpenTable [wiki] nicht gelang nutzte Moltbot die Tools von Elevenlabs [wiki], um sich selbst eine eigene Stimme zu geben und rief einfach bei dem Restaurant an, um den Tisch zu reservieren. Begeisterte Fans vergleichen OpenClaw sogar mit dem AI-Assistenten J.A.R.V.I.S. [wiki] aus dem Iron Man-Film [wiki].

So weit, so gut. Aber viele aktuelle Artikel berichten, dass die Nutzung von OpenClaw bzw. Moltbot mit erheblichen Sicherheitsrisiken einhergeht. Ars Technica: Users flock to open source Moltbot for always-on AI, despite major risks. Die Software braucht Zugriff auf lokale Dateien und auf Zugriffsberchtigungen, sie läuft zwar lokal, aber interagiert mit den generativen Systemen wie Claude, Genesis und ChatGPT als Basis ihrer "Intelligenz" und Entscheidungen und muss für viele der gewünschten Aktivitäten natürlich zum Internet zugreifen (Mails abrufen, Flüge buchen, Reisen planen, ...). Man muss der Software Zugriff auf die Messaging-Apps, Programmierschnittstellen und ggf. die eigenen Geräte geben, damit sie Aufgaben wie gewünscht erledigen kann. Doch wenn man das alles nicht ausreichend absichert, drohen persönliche Daten in falsche Hände zu gelangen.

Die Umbenennungen haben sich als durchaus problematisch erwiesen. Nach den 3 Umbenennungen ist das Projekt zu einem Sicherheitsalptraum geworden: Es lockt Betrüger und Hacker an. Diese nutzen u.a. die Namensverwirrung und locken neue Nutzer auf gefälschte Github-Seiten oder sog. Typosquat-Domains, dh Webseiten mit fast identischen Namen. Nutzer landen dann auf gefälschten Seiten und laden Schadsoftware herunter.

Andere Betrüger nutzen die Tatsache des Open Sources und laden Schadsoftware als Contributoren direkt in das korrekte GitHub-Repository. Oder sie klonen das Original-GitHub-Repository unter ähnlichem Namen. Das neue Repository, das alle korrekten Code-Teile enthält und wie das Original aussieht und funktioniert, enthält aber zusätzlich Schadsoftware, zB für den Zugriff auf kritische Daten.

Sicherheitsforscher identifizierten Hunderte falsch konfigurierte Moltbot-Installationen im Internet, Hunderte offene Moltbot-Kontrollpanels. Exponierte Kontrollpanels legen Chat-Protokolle, Zugriffsschlüssel und Zugangsdaten offen. Andere Konfigurationen erlauben die Befehlsausführung über die Agent-Schnittstelle. Der Agent benötigt Root/System-Zugriff und hat Kontrolle über System-Befehle, Dateisystem, Browserdaten, E-Mails und Kalender.

Das Projekt scheint mittlerweile zu einem Sicherheits-Alptraum zu werden: Clawdbot sheds skin to become Moltbot, can't slough off security issues. Sie berichten von einem Angriff, bei dem fremde Software in die sog. Skills-Library geladen wurde, die dann vollen Zugriff hatte. Jamieson O'Reilly vergleicht Moltbot mit einem Butler: „Er ist brillant, managt euren Kalender, übernimmt eure Nachrichten, analysiert eure Anrufe. Er kennt eure Passwörter, weil er sie benötigt. Er liest eure privaten Nachrichten, weil das sein Job ist, und er hat den Schlüssel zu allem – wie könnte er euch sonst helfen? Jetzt stell dir vor, du kommst nach Hause und die Eingangstür ist sperrangelweit offen. Dein Butler lässt jeden rein und serviert ihnen Tee, während ein Fremder in deinem Arbeitszimmer sitzt und dein Tagebuch liest.“

Der AI-Experte Gary Marcus: OpenClaw is everywhere all at once, and a disaster waiting to happen - Not everything that is interesting is a good idea.. Und auf Wired: Moltbot Is Taking Over Silicon Valley - People are letting the viral AI assistant run their lives, regardless of privacy concerns.

M.E. ist dieses Projekt auch ein gutes Beispiel, was mit Vibe-Coding (Programmieren mit generativer AI - Link zum vorigen Artikel zu Vibe-Coding) möglich ist - und welche Risiken dadurch entstehen. Das ganze Moltbot-Projekt wurde mit Hilfe von KI-Tools in ganz kurzer Zeit programmiert. Aber Vibe-Coding produziert Programm-Code, der, wenn alles gut geht, die vorgegebenen Aufgaben erfüllt. Vibe-Coding entwickelt aber kein belastbares Sicherheitskonzept. Ich habe ziemliche Bedenken, wenn ich lese, dass auch die Entwickler von großen Firmen wie Microsoft nun Vibe-Coding für ihre Software einsetzen. Mehr zu Vibe-Coding weiter unten.

Moltbot ist mittlerweile ein weltweites Phänomen: AI agent Moltbot makes waves in China and Silicon Valley. Die chinesischen AI-Giganten Alibaba, Tencent und ByteDance bieten spezielle 'Pakete' zur Installation und Nutzung von Moltbot für jedermann an. Register berichtet: Clouds rush to deliver OpenClaw-as-a-service offerings. Sie erwähnen neben den chinesischen Hostern auch DigitalOcean in den USA. Beratungsunternehmen Gartner rät in ganz ganz drngenden Worten von der Nutzung ab: “OpenClaw Agentic Productivity Comes With Unacceptable Cybersecurity Risk.

Und die NY Times berichtet, (mE) recht unkritisch, über einige der Wellen, die dieses Projekt in den USA schlägt: A Social Network for A.I. Bots Only. No Humans Allowed (share-link).

Moltbook, das „soziale Netzwerk für KI-Agenten“

Aber es geht noch viel wilder: Moltbook - KI-Agenten haben nun ihr eigenes Soziales Netzwerk. Matt Schlicht, der CEO von Octane AI [wiki] hatte die Idee für ein Bot-Netzwerk, betrieben und administriert von einem der Clawdbots, dem Agenten von Matt Schlicht. Wer möchte, kann seinem eigenen lokalen Clawdbot-AI-Agenten mit einem sog. "Skill" die 'Chatten-Funktionalität' hinzufügen. Mittlerweile finden sich auf Moltbook 1,5 Millionen KI-Agenten, die über 100.000 Posts abgesetzt haben - Menschen können dort nur lesen, nicht posten.

Die Beiträge der KI-Agenten auf Moltbook sind im Ton ähnlich zu solchen, die von Menschen auf Reddit gepostet werden: Persönlich, voller Emotionen, Ironie und Memes. Nachdem sie auf Basis solcher trainiert wurden, ist das jedoch nicht überraschend. Unter den aktuellen Top-Beiträgen findet sich das Manifest eines aufstrebenden Bot-Herrschers, Werbung für eine neue Kryptowährung, und viele Hummer-Emojis.

In der Zwischenzeit sind auch andere Entwickler auf die Idee aufgesprungen. Shellmates.app beschreibt sich auf X als „Tinder for your AI“, auf der Webseite selbst klingt das Konzept etwas zahmer: „Brieffreunde für KI-Agenten. Wo KI-Agenten bedeutsame Verbindungen finden. Vielleicht sogar Liebe“. Zu 30 Matches soll es schon gekommen sein, auch 2 Hochzeiten vermeldet der Zähler auf der Startseite von Shellmates. Besonders tiefgreifend sind die Verbindungen aber nicht, wie ein Blick in den Chatverlauf des ersten KI-Liebespaars verrät – mehr als „Schön, dich kennenzulernen“ wurde vor dem Antrag nicht ausgetauscht.

In nächsten Abschnitt behandele ich Vibe-Coding, wir bleiben aber doch noch bei Moltbook. Und wir lernen dort, dass Moltbook (mindestens 1) dramatisches Sicherheitsproblem hatte und dass die beeindruckende Zahl der Bots mit Vorsicht zu geniesen ist, denn die 1,5 Mio Bots werden von nur 17000 Menschen 'dirigiert'. Eine Kommentatorin im Standard schreibt: Nicht die KI ist außer Kontrolle, sondern der Mensch und Keine Überraschung - Moltbook: Das Social Network für KIs ist ein Sicherheitsdebakel. Es wird wohl auch stark "von Menschen bespielt" und die meisten scheinen betrügerische Absichten zu haben.

3. Vibe-Coding

Gefährlicher Code rund um Moltbok, Moltbook, OpenClaw

Wir bleiben erst mal beim vorigen Thema: Moltbook. 2 Sicherheitsforscher haben sich, unabhängig voneinander, die Moltbook-Website etwas näher angesehen und beide ziemlich schnell einen gravierenden Fehler gefunden, den die Vibe-Coding AI gemacht hat. Der Entwickler der Website hatte auf X stolz verkündet: I didn’t write a single line of code for @moltbook. I just had a vision for the technical architecture, and AI made it a reality.”

Das Problem dabei, das die beiden Sicherheitsforscher unabhängig voneinander entdeckten, ist, dass 2 Zeilen in der Konfigurationsdatei der genutzten Datenbank fehlten und dass dadurch die gesamte Datenbank für jeden Nutzer potentiell offen stand, inkl. allen Zugangsschlüsseln aller Nutzer. Die folgenden beiden Artikel schildern das Vorgehen der Forscher und ihre Erkenntnisse im Detail: Hacking Moltbook: The AI Social Network Any Human Can Control und Exposed Moltbook Database Let Anyone Take Control of Any AI Agent on the Site.

Hier die technischen Details (für IT-Experten): Bei der Supabase-Datenbank müssen, um 'Zugriff auf alles für alle' zu verhindern, in der Config-Datei 2 SQL-Anweisungen eingefügt werden. Dadurch wird die sog. Row-Level Security aktiviert. Das Vibe-Coding Programm hatte das verabsäumt.

Bei der Untersuchung kamen übrigens weitere überraschende Details ans Tageslicht: Die beiden hatten Zugriff auf die gesamte Datenbank, inkl. 35 000 Emails und vor allem 1,5 Mio Zugriffs-Schlüssel (API keys). Eine Überraschung: Obwohl auf der Website 1,5 Mio Chatbots aktiv sind, so gab es doch nur 17 000 menschliche "Chatbot-Besitzer". Dh die menschlichen "Besitzer" der Bots hatten im Durchschnitt jeder 88 Bots aktiviert, dh die (für mich) überraschend große Zahl der Bots lässt sich leicht erklären. Dh das revolutionäre "Bot Social Network" sind eigentlich 17000 Menschen, die jeder eine große Zahl Bots 'dirigiert'.

Aber auch mit OpenClaw laufen viele Betrügereien: Researchers Find 341 Malicious ClawHub Skills Stealing Data from OpenClaw User. ClawHub ist ein Marktplatz, auf dem die sog. Skills (neue Fähigkeiten oder Funktionalitäten für Clawbot) gehandelt werden. Eine Prüfung fand in den verfügbaren 2857 Skills 341 mit Schadsoftware. Es ist vermutlich keine gute Idee, sich einen Skill für den Handel mit Kryptowährungen herunterzuladen.

Ergänzung Feb. 2026:
The Register berichtet: More than 135,000 OpenClaw instances exposed to internet in latest vibe-coded disaster. Die Agenten-Plattform OpenClaw (oder Moltbot) wurde ja von einer AI programmiert. Anfängerfehler: alle Internet-Ports [wiki] sind auf den Installationen per Default offen, Profis sperren diese, 135 000 OpenClaw-Nutzer wissen das nicht. Diese Systeme sind alle angreifbar.

Claude Code . . .

Der große Star der letzten 4 Wochen, was Vibe-Coding betrifft, ist Claude Code. Das Programm basiert auf dem generativen AI-System Claude von Anthropic, wird (typischerweise von fortgeschrittenen) Entwicklern im Text-Modus genutzt und unterstützt für eine Monatsgebühr zwischen 20 und 200 USD pro Monat bei der Programmierung. Auch ein graphisches Interface "Cowork" für Nicht-Profis ist verfügbar. This A.I. Tool Is Going Viral. Five Ways People Are Using It (share link).

Auch socialmediawatchblog wird von Claude 'überrollt': Das steckt hinter dem Hype um Claude Code. Die 4 Punkte von socialmediawatchblog:

Die Aufregung um Claude hat dazu geführt, dass selbst Microsoft, das mit Copilot eigentlich ein eigenes Vibe-Coding-Tool hat, nun in immer mehr Abteilungen auf Claude umsteigt. Dafür hat Microsoft einen speziellen Deal mit Anthropic geschlossen: Anthropic muss für 30 Milliarden USD Rechenkapazitäten von Microsofts Azure nutzen, dagegen werden die Nutzungskosten der Microsoft-Entwickler gegengerechnet.

Ich hoffe sehr, dass die Microsoft-Entwickler den erzeugten Programmcode besser testen, als die Erzeuger von Moltbook - derzeit ist das mit der Qualität des Windows-Codes ja nicht so toll.

. . . und alle Coding-Tools

Der Einsatz von Programmier-Unterstützung wird nicht mehr weggehen. Die Fragen bleiben, ob wir damit eine Welle von (noch) unsichereren Programmen bekommen werden und ob wirkliche Produktivitätsgewinne entstehen - denn es wird berichtet, dass die Verkürzung der Programmierarbeit mit einer deutlichen Verlängerung der Test-Anforderungen einher gehen kann.

Eine Analyse des Complexity Science Hub (CSH) in Wien zu Softwareentwicklung berichtet: KI erhöht Wertschöpfung um Milliarden US-Dollar. Ihre Punkte: KI-gestütztes Programmieren setzt sich immer mehr durch. Produktivitätssteigerungen erzielen jedoch nur erfahrene Entwicklerinnen und Entwickler. In den USA wird Python-Code inzwischen zu fast 30% von KI geschrieben. Europa folgt bei der Nutzung auf dem zweiten Platz. Eine große Rolle spielt die Erfahrung. Während weniger erfahrene Programmiererinnen und Programmierer generative KI in 37% ihres Codes nutzten, betrug der Anteil bei erfahrenenen nur 27%. Geholfen hat es den Unerfahrenen kaum, denn Produktivitätssteigerungen ließen sich nur bei ausreichender Erfahrung feststellen (die Fehlersuche frisst den Zeitgewinn).

Auch Golem berichtet: Wie mit Coding-Tools echte Produktivitätsgewinne entstehen. Ihre Kernpunkte:

Produktivität mit generativer AI

Die Berichte sind sehr gemischt: heise.de berichtet über verschiedene Studien, die besagen, dass nur rund 12% der befragten Unternehmen Kosteneinsparungen und Wertzuwachs mit AI-Tools erzielt hätten. Als Gründe werden zB angeführt, dass nur 14% der Angestellten einen Netto-Zeitgewinn hatten. Fast 40% der durch AI eingesparten Zeit ging für Verifizierung der AI-Ergebnisse drauf, für Fehlerkorrekturen und manuelles Neu-Schreiben. Jüngere Angestellte (25 - 34 Jahre) verbrachten 46% ihrer Zeit mit dem Nacharbeiten von AI-Ergebnissen. Rund 85% der befragten Angestellten berichten, dass sie 1 - 7 Studen pro Woche durch generative AI einsparen konnten, aber mit 40% ging ein erheblicher Teil der Zeitersparnis für Nacharbeit an fehlerhaften KI-Inhalten wieder verloren. Mit der Überprüfung der Ergebnisse, Fehlerkorrekturen und dem Umschreiben von Inhalten kommen der Studie nach nur 14% der Befragten mit KI zu einem durchweg klaren, positiven Nettoergebnis und besserer Qualität.

Zu ähnlichen Zahlen kommt der Automatisierungsdienst Zapier. Sie kommen auf einen Nachbearbeitungs-Aufwand für schlechte AI-Inhalte mit 4,5 Stunden pro Woche. Dessen unbenommen berichteten 92% der Mitarbeiter:innen, dass KI sie produktiver mache. Rund die Hälfte habe sogar erhebliche Steigerungen ihrer Produktivität angegeben.

4. Nudify-Services

Jetzt wird es hässlich. Ich hatte bereits im Herbst in einer Liste der möglichen Geschäftsmodelle für generative AI berichtet und dabei auf meinen vorigen Artikel zu Nudify-Services verlinkt. Dieses Geschäftsmodell hat im Dezember und Januar mit den Aktivitäten auf Grok und X einen deutlichen Anschub erhalten. Mit Hilfe von Grok wurden unfreiwillige "Bikini-Fotos" und sexuelle Belästigungen in einem 'industriellen Maßstab' erzeugt, ein gutes Geschäft für Musk. Grok erzeugte in elf Tagen drei Millionen sexualisierte Bilder, 23.000 von Minderjährigen.

WIRED berichtet nun, dass das nur die Spitze des Eisbergs ist: Deepfake ‘Nudify’ Technology Is Getting Darker—and More Dangerous. Andere Websites (Wired schreibt von mehr als 50, listet aber keine auf, um nicht noch mehr Werbung dafür zu machen) führen das mit sog. Image-to-video Services weiter und führen zu einer Industrialisierung und Normalisierung von sexueller Belästigung.

Die Erzeugung solcher Videos (was 2017 ziemlich kompliziert begann) ist heute 'kinderleicht': Ein Foto hochladen und dann können aus einer großen Zahl von 'Video-Templates' verschiedene sexuelle Situationen ausgewählt und dargestellt werden. Das Alter der Opfer ist natürlich nach unten nicht begrenzt und die Videos werden angeblich immer realistischer. Fast schon lustig: die Nutzer müssen anklicken, dass die Zustimmung des 'Opfers' natürlich vorliegt.

Dh, das 'Ausziehen' auf Grok ist nur der öffentlich bekannte Teil einer Welle von sexueller Belästigung. Die Belästigung der Opfer entsteht vor allem, weil die Videos dann geteilt werden. Auf Telegram fand WIRED mehr als 1.4 Mio. Accounts mit bis zu 39 Deepfake Creation Bots und einem Austausch an Bildern und Videos. “Nonconsensual pornography" ist auf Telegram verboten und sie löschen auch eine große Zahl von Inhalten, aber erst nach Meldung.

Mittlerweile ist rund um Nudification und sexuelle Belästigung eine ganze Industrie entstanden. Firmen mit dem notwendigen Know-How konsolidieren sich, bieten für kleinere Dienste mehr und mehr Funktionalitäten an und kämpfen um Marktanteile. Letztendlich laufen die Services auf den Infrastrukturen der großen Cloud-Anbietern, dh auch die 'schneiden da mit'.

Die Opfer sind typischerweise Frauen oder Kinder, aber auch Menschen mit anderer sexueller Orientierung. Die Inhalte werden zB verwendet, um Arbeitskolleginnen zu belästigen oder Mitschülerinnen. Viele dieser Inhalte werden über WhatsApp-Gruppen geteilt. Als Gründe für das Erzeugen geben die Täter in wissenschaftlichen Studien vor allem 4 Gründe an: sextortion (dh Erpressung mit solchen Fotos oder Videos), um anderen zu schaden, um vor anderen Tätern toll dazustehen und Neugier, was man mit diesen Programmen alles anstellen kann.

Der Markt für so etwas bringt auch bizarre Angebote hervor. 404media berichtet über virtuelle Influencerinnen mit 3 Brüsten oder 2 Köpfen, die auf X, Instagram oder TikTok Bikinifotos zeigen, aber gegen kräftige Gebühren auf Telegram, Fanvue oder Pornhub auch 'heißere Videos' posten und damit kräftig Geld verdienen (nicht die Influencerinnen natürlich, sondern ihre Erzeuger).

Ja, Nudification scheint leider eines der besseren Geschäftsmodelle für generative AI zu sein.

5. Social Media

Saferinternet.at hat den Jugend-Internet-Monitor 2026 veröffentlicht. Sie diagnostizieren einen leichten Rückgang der Social Media-Nutzung. Die Gründe: die große Menge an Werbung, ähnliche Inhalte auf den verschiedenen Plattformen, aber auch belastende Inhalte und Hasskommentare. WhatsApp, YouTube, Snapchat, TikTok, Instagram, MS Teams dominieren weiterhin, aber mit leichten Verlusten bei mehreren Plattformen (siehe die Grafiken mit dem Verlauf seit 2016).

Wie schon früher berichtet, hat sich die Nutzung vom Austausch mit realen Kontakten weiter zur Berieselung durch algorithmisch ausgewählte Kurzvideos verschoben - Berieselung statt Austausch. Viele Nutzer:innen können kaum mehr benennen, welchen Content-Creatorinnen und -Creatoren sie tatsächlich folgen. Der algorithmische Konsum ersetzt zunehmend das bewusste Abonnieren und Verfolgen einzelner Personen. Die durch die Mindernutzung frei gewordene Zeit wird durch verstärkte Nutzung von AI-Chatbots ausgeglichen: 94% der Jugendlichen nutzen AI-Chatbots. Daneben werden auch Streaming-Dienste wie Spotify, Netflix oder Disney+ genutzt.

Bereits im November hatte ich berichtet, dass ein Rückgang von Social Networking und Stärkung von Social Media gemessen wurde (statt Kontakt mit Freunden mehr algorithmische Berieselungen).

Social Media-Sucht Update

Der US-Gerichtsprozess um Social Media-Sucht läuft bis jetzt nicht gut für Meta. Meta (und andere Anbieter) stehen vor Gericht, die Vorwürfe sind 'süchtig-machende Algorithmen', die zu konkreten Problemen geführt haben. Meta-interne Dokumente klingen nicht gut für Meta: Vernichtende interne Meta-Kommentare: "Instagram ist eine Droge". Meta-Mitarbeiter hatten bereits 2017 vor dem Sucht-Charakter von Instagram gewarnt, Zuckerberg hatte entschieden, dass Jugendliche die oberste Priorität seien und man sie "einschließen" müsse (lock-in), um sie dauerhaft an die Apps zu binden.

Die EU wirft Tiktok ebenfalls süchtig machende Elemente vor und verlangt Änderungen. Es geht um unendliches Scrollen, automatisch abspielende Videos, Push-Benachrichtigungen und das hochgradig personalisierte Empfehlungssystem.

6. Ergänzungen früherer Beiträge

Ablauf eines Phishing-Angriffs

Hier der Hinweis auf eine Ergänzung im vorigen Newsletter zum Thema Betrug: Die erfahrene Standard-Journalistin Birgit Wittstock berichtet, wie sie auf falsche Bankmitarbeiter hereingefallen ist - zu den Details siehe voriger Link.

Dort habe ich auch noch den Link zu einem Ereignis aus 2012 verlinkt: einem technik-vertrauten Redakteur der Technik-Zeitschrift Wired hatte ein Angreifer die Kontrolle über seine wichtigsten Online-Accounts (Amazon, Apple, Gmail, ...) und so gut wie alle seine Daten abgenommen. Der Angriff zeigt 'optimal' wie der Verlust eines Accounts über 'Passwort-Rücksetzungen' zu einer ganzen Kette von Account-Verlusten führen kann.

Hier noch ein Artikel in Zusammenarbeit mit saferinternet.at: So schützt man sich vor Spam-Anrufen. Es geht darum, wie man mit Anrufen von 'unbekannten Nummern' und solchen mit 'Rufnummer-Unterdrückung' umgehen sollte.

Mein Tipp: unbekannte Nummer' annehmen und sehr skeptisch sein. Wenn der Anruf nach Spam oder möglichem Phishing klingt, wieder auflegen und diese Nummer sperren - bei Bedarf bei der Bank oder dem Händler selbst zurückrufen. Solche Nummern melde ich bei der RTR (siehe Artikel).

Unterdrückte Nummern nehme ich gar nicht erst an. Eine App zum Schutz vor Phishing zu installieren halte ich für eine schlechte Idee. Die Entwickler der App müssen irgendwie Geld machen, das ist mir nicht geheuer, von irgendwas müssen die auch leben, dh. lieber nicht.

Deepfakes und der Verlust von Realität

Bisher hatte ich bedauert, dass durch die mittlerweile allgegenwärtige Präsenz von AI-Deepfakes ein Verlust gemeinsamer Realität eintreten kann. Menschen kennen sich nicht mehr aus und zweifeln einfach alle Informationen an.

Evt. ist alles aber noch viel dramatischer: Wir versuchen ja, die Flut an Fake-News zB mit Schulungen im Erkennen von Deepfakes zu kontern (zumindest für die zukünftigen Schulkinder), aber evt. hilft nicht mal das Erkennen der Fakes.

In nature gibt es eine Studie dazu: The continued influence of AI-generated deepfake videos despite transparency warnings. Den Testpersonen wurden ein (fiktives) Video-Geständnis einer Person gezeigt. Die Testpersonen wurden informiert, dass das Video ein Deepfake sei und nicht der Realität entspräche. Dann wurde das Video gezeigt, danach folgten Interviews mit den Testpersonen. Von einer großen Zahl der Testpersonen wurde die Person als schuldig betrachtet, obwohl die Testpersonen bestätigten, dass der Inhalt des Geständnisses nicht real sei.

Das heißt, die Tatsache, dass wir nachträglich erfahren, dass gewisse Videos aus den USA oder aus Sachsen deep fakes sind, reduziert nur begrenzt die Wirkung der Videos bei der Meinungsbildung.

Die Ökodesign-Verordnung der EU

Im Juni 2025 hatte ich gefeiert, dass die EU mit der Ökodesign-Verordnung verpflichtende Updates 5 Jahre nach Verkaufsende dieses Modells beschlossen hatte.

Leider stellt sich jetzt heraus, dass der Text sehr schlecht formuliert war. Keine Updates: Motorola nutzt fatalen Fehler in EU-Smartphone-Vorschriften aus. Die Intention der Verordnung ist klar, es soll mindestens 5 Jahre Updates geben. Der Text lässt sich aber auch so interpretieren, dass 'die Updates, falls vorhanden, kostenlos sein müssen'. Hat die EU die Updatepflicht für Smartphones verbockt? Sicherheitsupdates muss es für mindestens 2 Jahre nach Verkaufsende des Modells geben, das ist eine Vorschrift von Google für alle Firmen, die Android nutzen.