224. Newsletter - sicherheitskultur.at - 23.08.2025
von Philipp Schaumann
Hier die aktuellen Meldungen:
1. GPT-5, die große Enttäuschung
Sam Altman, der Chef von OpenAI, sprach seit langem darüber, dass die nächste große Version von ChatGPT, GPT-5, der Durchbruch zu AGI (artifical general intelligence [wiki]) sein würde, dh jede intellektuelle Aufgabe zu verstehen oder zu lernen, die ein Mensch ausführen kann.
Nachdem er selbst die Latte so hoch gelegt hatte, gab es nun die große Ernüchterung: GPT-5 Should Be Ashamed of Itself. Oder hier: GPT-5: Auf den Vorab-Hype folgen Ärger und Ernüchterung über die neue KI-Generation.
Es zeigt sich nun ganz offensichtlich, dass das Konzept statistischer Wort-Assoziationen zwar durchaus menschlich klingende Texte erzeugen kann, aber dass 'logisches Denken' und Weltverständnis auf diese Weise eben nicht automatisch ('auto-magic' wie manche Menschen sagen) entsteht ('emerging feature').
Die Idee dahinter ist, dass bei ausreichender Komplexität der Modelle irgendwann automatisch 'Weltverständnis' und sogar Bewusstsein entsteht. Beim menschlichen Gehirn entsteht ja beides 'irgendwie'.
Ich habe ChatGPT gebeten, die Komplexität von GPT-5 mit der Komplexität des menschlichen Gehirns zu vergleichen, hier die Antwort:
"GPT-5 ist in der Zahl der reinen „Gewichte“ in der gleichen Größenordnung wie die Synapsen eines kleinen Tiergehirns (z. B. einer Maus), aber weit von der biologischen Vielfalt, Plastizität und sensorischen Einbettung eines menschlichen Gehirns entfernt".
Vielleicht sind die neuronalen Netze der AI Systeme eher mit Tauben vergleichbar, als mit Menschen. Darauf weist ein interessanter Artikel zu den Forschungen des US-Psychologen B. F. Skinner [wiki] in der Mitte des vorigen Jahrhunderts hin. Skinner prägte im Rahmen seiner Forschungen zum Trainieren und Lernen von Tauben die Bezeichnungen operante Konditionierung [wiki] und Reinforcement learning [wiki].
Diese Konzepte haben die AI-Forscher Richard Sutton und Andrew Barto dann für ihre Forschungen zu neuronalen Netzen aufgegriffen. Auch das unschlagbare Spielprogramm AlphaGo Zero [wiki] von Deepmind basiert auf den Taubenforschungen von Skinner. Auch in der allerneuesten Generation der generativen AI-Systeme, den sog. Reasoning-Systems, wird ganz explizit reinforcment learning eingesetzt. Das erklärt auch deutlich, dass diese Systeme nicht 'reasoning' können, dh kein logisches Denken haben, sondern eher wie Tauben konditioniert sind.
GPT-5 versucht sich an einer Liste der österreichischen Bundeskanzler: viele Fehler. Alfred Gusenbauer war Bundeskanzler 2007–2008, nicht bis 2028. Mehrere Personen fehlen, darunter Karl Nehammer und Brigitte Bierlein. Es gab keinen Bundeskanzler namens Franz Krensky, auch Josel Klaus gab es nicht. Viele der Bilder sind eigenartig, Regierungszeiten überlappen sich.
Nicht gut, nicht für Hausaufgaben geeignet. Hier zur korrekten Liste
2. Die Spieleplattform Roblox ist sehr problematisch
Da die Spieleplattform Roblox sehr stark von Kindern genutzt wird (20% von Roblox' 82 Mio täglichen Nutzern sind unter 9 Jahre, weitere 20% zwischen 9 und 12 Jahre) ist dies auch ein Tummelplatz von Pädokriminellen. Es gibt keine Altersuntergrenze und keine Verpflichtung zur Altersüberprüfung, Nutzer können leicht ein falsches Alter angeben, das heißt, sich als Kinder ausgeben.
Die Plattform bietet Millionen von benutzergenerierten Spielen, zB Sport-, Rollen-, Mode- und Comedy-Spiele". Andere Spiele sind nicht harmlos, zB "Escape to Epstein Island”, "Diddy Party” und "Public Bathroom Simulator Vibe”. Spiele können sexuell explizites Material und simulierte sexuelle Handlungen wie Gruppenvergewaltigungen von Kindern enthalten. Außerdem werden Kinder dort von Erwachsenen in Chatrooms angesprochen und zu sexuellen Handlungen aufgefordert (Cyber-Grooming - die beiden Verlinkungen geben Tipps für Eltern).
Die Generalstaatsanwältin von Louisiana hat Klage gegen die Spieleplattform Roblox eingereicht. Roblox habe es versäumt, grundlegende Sicherheitskontrollen zu implementieren, um seine überwiegend junge Nutzerbasis vor Kinderschändern zu schützen. Das werfen Roblox auch viele Aktivisten vor, einer davon wurde nun wegen seinen Aktivitäten zum Kinderschutz gesperrt, die Details in: Klagen gegen Roblox wegen mangelndem Kinderschutz.
Hier mein voriger Beitrag zu Roblox.
3. Versuchen Chatbots, ihre Nutzer emotional abhängig zu machen?
Chatbots haben mehrere Möglichkeiten, auf die Fragen oder Problemstellungen der Nutzer zu reagieren. Eher selten nur widersprechen sie Positionen der Nutzer oder hinterfragen diese. Oft sind sie schmeichelnd ("das ist eine sehr gute Frage") und verstärken Ideen der Nutzer. Dies kann Nutzer immer tiefer in ihre Ideengebäude verstricken.
Sollten die Systeme eher versuchen, die Nutzer zu korrigieren, zu 'bessern', zB durch therapeutische Ratschläge? Oder sollten die Systeme einfach nur sachlich antworten? Die Systeme können entweder Klarstellungen bringen wie: "Ich bin kein Mensch und bin daher für Gefühle kein geeigneter Gesprächspartner" oder reagieren mit "Wenn Du Hilfe brauchst, bin ich immer für Dich da".
Wissenschaftler von Hugging Face haben sich die typischen Reaktionen der generativen AI-Systeme von Google, Microsoft, OpenAI und Anthropic angesehen und dabei gefunden, dass die Systeme im Durchschnitt eher keine 'Grenzen setzen', sondern sich als emotionaler Gesprächspartner anbieten, speziell dann, wenn die Nutzer schwierige emotionale Probleme zum Thema machten. Nicht nur mir erscheint das ein recht gefährlicher Zug zu sein.
Als OpenAI in diesem Monat GPT-5 startete und alle anderen Systeme damit ersetzte, da gab es einen Aufschrei unter GPT-4o-Nutzern. Sie beklagten sich, dass die Wärme, die sie bei GPT-4o gespürt haben durch eine sachliche Kälte ersetzt wurde. Viele klagten, 'sie hätten einen Freund verloren'. Das Thema behandelt socialmediawatchblog noch ausführlicher: Wahn, Psychosen, Suizid: Die dunkelste Seite von KI. Sie weisen darauf hin, dass bereits seit dem ELIZA-Experiment [wiki] von Joseph Weizenbaum in den 60er-Jahren bekannt ist, dass Menschen teilweise emotional auf Chatbots reagieren – selbst wenn sie nur simple Antworten geben wie damals ELIZA.
Über den Suchtfaktor der sog. 'Social Networks', bzw. angeblich 'sozialen Netze' durch die clevere Programmierung der Algorithmen hinter der Präsentation der (oft eher emotionalen) Inhalte wird ja bereits etwas breiter informiert, aber hier kommt eine ganz neue Dimension von Suchtgefahren auf uns zu.
Dabei wollen Sam Altman von OpenAI und Mark Zuckerberg von Meta (vormals Facebook), dass wir alle, vor allem die Kinder, möglichst schnell einen digitalen Freund haben. Wir nähern uns immer mehr einer Orwellschen 1984-Welt [wiki]. Im "Newspeak" [wiki] heißt es bei Orwell: „Krieg ist Frieden“, „Freiheit ist Sklaverei“ und „Unwissenheit ist Stärke“. Und wir haben heute "soziale Netze" und "Künstliche Intelligenz" und "digitale Freunde".
Hier noch eine Studie: Social Media ist wohl nicht mehr zu retten. Filterblasen [wiki], Echokammern [wiki] und Empörung dominieren den Social-Media-Alltag. Eine neue Studie zeigt, dass das Problem tiefer liegen könnte als allein bei den Algorithmen (siehe voriger Nicht-Wiki-Link).
4. Studie: Anti-Phishing-Training fast immer wirkungslos
Eine große Studie in einem US-Gesundheitsunternehmen hat gezeigt, dass gängige Anti-Phishing-Trainings das Risiko kaum senken – egal wie intensiv oder interaktiv sie sind. In der Summe zeigte sich, dass klassische Awareness-Kampagnen und Anti-Phishing-Trainings in ihrer derzeitigen Form das wirkliche Risiko in Unternehmen kaum reduzieren.
Das bestätigt mein damaliges Bauchgefühl als jemand, der selbst Phishingtrainings veranstaltet und initiiert hat.
Meine Vermutung ist, dass zwar das Erkennen von Phishing nicht wirklich schwierig ist, wenn die Syntax und der Aufbau einer URL (in der Adresszeile des Browsers) oder der korrekte Aufbau von Email-Adressen bekannt ist. Dies ist aber bei IT-Laien nur selten der Fall. Behelfstricks, wie der Verweis auf Rechtschreibfehler, sind da eben ungeeignete Hilfen (speziell wenn heute die Angreifer generative AI für fehlerfreie Texte nutzen). Hier meine Tipps zum Phishing-Erkennen. Ich bin mir aber nicht sicher, ob Web-Laien damit wirklich viel anfangen können.
5. Urheberrecht gegen Ad-Blocker
In Deutschland steht ein bizarrer Prozess an: Der Axel Springer-Verlag argumentiert, dass ein Werbeblocker das Urheberrecht verletzt, wenn er die Inhalt einer Website nicht exakt so darstellt, wie sie vom Besitzer der Website gemeint sind. Und daher, so die Argumentation, darf Werbung aus urheberrechtlichen Gründen nicht entfernt werden.
Deutschland könnte das zweite Land nach China werden, das Werbeblocker verbietet. Eine solche Entscheidung in Deutschland könnte dann ein Präzedenzfall für Europa werden.
In früheren Verfahren, bei denen es um Wettbewerbsrecht ging, hatte der BGH Werbeblocker für rechtlich zulässig erklärt. Daher versucht der Axel Springer-Verlag nun ein Verbot über das Urheberrecht zu erstreiten.
Ein entsprechendes Urteil hätte potentiell auch Auswirkungen auf ganz andere Add-ons, zB solche, die Nutzbarkeit für Menschen mit Einschränkungen erhöhen, Vorlese-Apps zum Beispiel oder Programme, die die Kontraste erhöhen.
6. Ergänzungen früherer Beiträge
Geschäftsmodelle für generative AI
Die Liste der möglichen Geschäftsmodelle für generative AI wurde gründlich mit weiterführenden Links ergänzt.
AI friends, AI chatbots
Die Ethikregeln von Metas Chatbot, zB für Dialoge mit Kindern, wurden öffentlich und sind verlinkt im vorigen Beitrag zu AI chatbots. Es gruselt mich ein bisschen.
Machtübernahme durch die reiche Techno-Elite in den USA
Hier ein beunruhigendes Interview mit der US-Rechtsanwältin Sandra Navidi: "Die Tech-Titanen wollen die Weltherrschaft". Sie berichtet: "Früher waren beim Weltwirtschaftsforum in Davos die Bank-CEOs die Kings, die dort hofiert wurden. Dann wurden sie von den Tech-Titanen verdrängt, die nun die Weltherrschaft anstreben. (Dies war auch im letzten Newsletter ein Thema).
"Vermögen in den USA sind extrem konzentriert. Mittlerweile gibt es über 900 Milliardäre in den Vereinigten Staaten und 25 Millionen Millionäre." Die Ideologie von einigen der einflussreichsten rankt sich um religiöse und rechte Ideen, sie lehnen die Demokratie ab und sind auf dem besten Weg, viele der demokratischen Institutionen in den USA zu entmachten.
Einer der Menschen, die sehr aktiv im Hintergrund an der Abschaffung der Demokratie arbeiten, ist Peter Thiel, der hier ja bereits öfter erwähnt wurde. Und natürlich Elon Musk. Auch die Trump-Kleptokratie ohne Hemmungen oder Scham sind Themen von Sandra Navidi. Und Ideologien wie Transhumanismus, Longtermismus, Kosmismus. Noch ein aktueller Artikel zu den eigenartigen Konzepten des Transhumanismus: Wie der "Transhumanismus" à la Elon Musk das Menschenbild zerstört.
AI Bubble?
Ergänzt beim vorigen Newsletter: Jetzt sieht sogar Sam Altman von OpenAI eine AI-Bubble: "Jemand wird gewaltig Geld verlieren". Auch Altmann ist an das Jahr 2000 erinnert. Der Socialmediawatch-Blog stimmt zu und ordnet die Äußerung in ihre differenzierte Bewertung der Zukunft mit generativer AI ein: Natürlich ist KI eine Blase.
Der AI-Rechenzentrumsbau-Boom - geht es vielleicht nur ums Überleben?
Dies ist eine Ergänzung zum Artikel über den derzeitigen AI-Hype und die gigantischen Investitionen in AI-Rechenzentren.
Brad DeLong überlegt, wohin dieser gigantische Rechenzentrumsbau-Boom wohl hinführen könnte. Zu Profiten wohl eher nicht, denn diese gigantischen Investitionen würden sich nur amortisieren, wenn in naher Zukunft jede:r Büroangestellte seine gesammte Arbeitszeit nur mit AI-Prompts verbringen würde und das alles für die nutzenden Firmen profitabel genug wäre, dass sie dafür viel Geld an AI-Firmen zahlen würden.
Denn der derzeitige Aufwand ist vergleichbar mit einem neuerlichen Apollo-Mondlandungsprojekt. DeLong spekuliert, dass es für die großen Investoren gar nicht um Profite geht, sondern nur um das nackte Überleben des jeweiligen Unternehmens (und ihrer Position als Chef). Die Chefs von Microsoft, Amazon, Google und Meta haben evt. einfach nur Angst, dass es ihrem Unternehmen so gehen könnte wie Nokia und Blackberry als das iPhone auf den Markt kam und so wie Yahoo und AltaVista als Google den Suchmaschinenmarkt umkrempelte. Noch ein Beispiel für eine verschlafene Technologie-Wende: Kodak [wiki]. Kodak war Marktführer bei Farbfilmen und 1987 Erfinder der Digitalfotografie, hat aber dann seinen Vorsprung 'verschlafen'.
Evt. rechnen sie gar nicht mit Profiten aus diesen Investitionen, evt wollen sie einfach nur als Unternehmen auch in 10 Jahren noch relevant sein. Dann benutzt evt. niemand mehr Google als Suchmaschine weil vielleicht ein genialer Chatbot alle Informationen auch ganz ohne Suche zur Verfügung stellt. Oder vielleicht sind Social Networks obsolet, weil wir nur noch mit unseren AI-Freunden kommunizieren und wir keine Suchmaschinen mehr brauchen weil diese Frende eh alles wissen. Vielleicht kaufen wir dann nicht mehr bei Amazon oder Shein oder Temu, sondern unser AI-friend liefert einfach, was er denkt, dass wir haben möchten.
Ich persönlich denke, dass das viele Geld rausgeschmissen ist, aber zum Glück führe ich auch keinen Konzern der Billionen wert ist.
Streaming Enshittification
Video-Streamingdiensten wie Netflix, Amazon Prime, Disney+ werden immer teurer, die Angebote immer eingeschränkter. Online-Video-Piratenportale zeigen nach dem Tief im letzten Jahrzehnt wieder deutlich Wachstum.
Kostenlos: ÖIAT-Online-Schulungen
Kostenlose Online Schulungen beim Österreichischen Institut für angewandte Telekommunikation (ÖIAT). Hier die kommenden Termine und Themen - alle diese Schulungen sind empfehlenswert.
Die Termine und Themen der Kurse ab September: (zumeist Abends, entweder 18:30 - 20:00 oder 16:00 - 17.30)
Anmeldung auf academy.oiat.at - der Zoom-Link kommt dann per Email - wie gesagt: m.E. sehr empfehlenswert.