195. Newsletter - sicherheitskultur.at - 30.04.2023

von Philipp Schaumann

Zum Archiv-Überblick

 

Hier die aktuellen Meldungen:

 

1. Begeisterung und Ängste in Bezug auf ChatGPT und andere generative AI-Systeme

Diese Themen werden uns wohl noch länger erhalten bleiben. Mein erstes Unterthema heute sind Beisterung vs Ängste. Die Ängste/Bedenken unterscheiden sich in kurzfristige und langfristige.

Zuerst zur Begeisterung: Nach GPT-3 ist nun GPT-4 in der Probephase. Einige Forscher machen mit GPT-4 sogenannte "Theory of Mind"-Tests, d.h. sie versuchen zu testen, ob das System 'denkt' (im Sinne von menschlichem Denken) und finden, was sie 'Ansätze von genereller Intelligenz' (AGI) nennen - diese Aussagen sind umstritten.

Einige weisen darauf hin, dass diese Systeme bereits konventionelle Tests für Menschen bestehen. Aber ich gehöre zu den Skeptikern, die sich auch nicht beeindrucken lassen, wenn solche Systeme alle möglichen Prüfungen bestehen, z.B. die Matura/Abitur-Aufgaben (recht und schlecht) erledigen kann oder die Prüfung zur US-Rechtsanwaltskammer. Die begeisterten Tester verdrängen meiner Meinung nach, dass das System mit solchen und ähnlichen Texten gefüttert wurde und diese wie ein Papagei bei Bedarf wieder aufsagen kann - das ist noch kein "Verständnis der Welt".

Andere Tester konzentrieren sich nicht auf mögliche Auswirkungen in der Zukunft, ihre Ängste betreffen kurzfristige Auswirkungen. Sie reproduzieren auch mit GPT-4 auch die Fehler und Probleme, die frühere Systeme gemacht haben (fehlerhafte Antworten, Missbrauchsmöglichkeiten).

Diese Experten befürchten, dass Social Networks und Chat-Gruppen mit falschen Informationen automatisiert überflutet werden (Fake News). Auch Deepfakes werden immer 'besser': KI-Stimmen lösen gefährliche Polizeieinsätze aus (auch in Deutschland wurden für Swatting (auch ohne AI-Hilfe) in 2022 über 13.000 Fälle gemeldet - ein Anstieg von neun Prozent im Vergleich zu 2021).

Oder Virtual Kidnapping: Eine Mutter wird von KI-Stimme ihrer Tochter getäuscht - Die Tochter war gar nicht entführt, aber die Stimme der Tochter war sehr gut imitiert (woher könnte jemand Ihre Stimme bekommen? Zum Beispiel vom Anrufbeantworter). Auch für CEO-Betrug gibt es 'tolle' Möglichkeiten. Außerdem gibt es den ersten Fall eines Selbstmords, bei dem ChatGPT wohl eine Rolle gespielt hat.

Experten mit Langzeitbefürchtungen haben Angst, dass wir irgendwann 'aufwachen', und es existiert dann eine AGI, die alle Denkaufgaben schneller und besser kann als die besten Menschen und die in Blitzeschnelle alle menschlichen Probleme löst (Fusionsreaktor, interstellare Reisen, alle Energieprobleme, aber auch ganz neue Waffenkonzepte) und dann die Weltherrschaft übernimmt. Ich halte das für derzeit unrealistisch, wie Gary Marcus sagt: I am not afraid of robots. I am afraid of people.

Wegen vielfältigen Bedenken (kurzfristig und langfristig) gibt es den Vorschlag für eine Pause von 6 Monaten bei der Weiterentwicklung neuer Systeme, siehe der (umstrittene) offene Brief von 26 000 Menschen, initiiert vom 'Future of Life Institute'. Die Forderung: Zunächst soll über die sozialen Auswirkungen der Technologie nachgedacht und Strategien zur Risikominimierung definiert werden.

Grundsätzliches zu Regulierungen

Für mehr Details zur Kontroverse und zu Beispielen

Eine weitere interessante Argumentation für eine Regulierung generativen AI Systemen von

Hier zu meinem vorigen Artikel zu ChatGPT (and friends) - hier die Fortsetzung.

 

2. Im praktischen Einsatz: LLMs in Schulen und Hochschulen

Ich war bei einer Diskussion bei der FH St. Pölten zum Einsatz von ChatGPT. Ich staunte, wie viele der Lehrenden und Lernenden bereits mit ChatGPT experimentiert hatten und das System als ein recht praktisches Werkzeug verstehen.

Update Mai 2023: Ein interessantes Buch mit vielen Überlegungen und Vorschlägen zum möglichen kommenden Einsatz von Large Language Models in vielen Situationen des Berufslebens behandelt in Kapitel 1 auch den Einsatz im Unterricht: Reid Hoffman - Amplifying Our Humanity Through AI. Hoffman ist ein Insider der Tech-Szene der USA, Unternehmer und Autor, Investor in viele bekannte Internet-Plattformen wie zB LinkedIn, Paypal, und OpenAI (aber trotzdem auch kritisch). Das PDF des Buchs ist kostenlos, die eBook-Versionen (auch bei Thalia) sehr erschwinglich.

2. Update Mai 2023:
Die FH St. Pölten hat ein m.E. sehr gutes Dokument als gemeinsamen Leitfaden für Lehrende und Studenten im Umgang mit ChatGPT herausgegeben: Umgang mit KI-Anwendungen, wie ChatGPT: Empfehlungen für Lehrende und Studierende. Ein Artikel aus den USA berichtet von einer immensen Verunsicherung viele Lehrenden. AI-Cheating' Is More Bewildering Than Professors Imagined. Der Artikel bezieht sich primär auf College, das entspricht ungefähr der Oberstufe unserer Gymnasien und etwas höher. Was tut ein Lehrerender, wenn eine andere AI-Software ('turnitin') sagt die Arbeit sei 100% AI-generated, aber kann dafür keine Belege bringen und der Student sagt, ja, eine Rechtschreibprüfung wäre genutzt worden aber sonst selbst geschrieben? Die Zukunft der schriftlichen Hausarbeit scheint mir in Oberstufen fraglich. Oder läuft das auf das Üben des geschickten 'Prompt-Generierens' hinaus, siehe mein nächster Newsletter.

 

3. AI-Systeme besser verstehen: Wie funktionieren die eigentlich, selbst testen und studieren

Die wie ich finde verständlichste Erklärung von Large Language Models: So funktioniert ChatGPT.
Update Nov. 2023:
Ein Künstler veranschaulicht die Konzepte der 'Vorhersage des nächsten Wortes': Generativer KI unter die Haube geschaut.
Update Mai 2023:
Auch für die Bildgeneratoren: So funktionieren KI-Bildgeneratoren. Der Artikel erklärt Konzepte wie Generative Adversarial Networks (GANs), Autoencoder und Diffusionsmodelle (der Kern von DALL·E 2 und Stable Diffusion). Dann wird es komplizierter mit Embeddings, Transformer (siehe der vorige Link) - insgesamt habe ich den Eindruck dass die Konzepte der Textmodelle noch verständlicher waren.

Wer es genauer und umfassender wissen will: Ein kostenloser Online-Kurs zu AI-Konzepten und -Systemen
Ein umfassender kostenloser Online-Kurs der Universität von Helsinki: The Elements of AI (Inhalt auf deutsch oder englisch).

 

Update Mai 2023: Einem ganz kleinen Language Model beim 'Lernen' zusehen

Ganz im Sinne von AI Is a Waste of Time (und, wie der Autor meint, ein sehr großer Teil aller anderen Erfindungen der Menschen dienen primär dem Vermeiden von Langeweile) gibt es in der NY Times recht interessante Übungen zum Selbstexperimentieren nicht mit einem Large Language Modell, sondern einem winzig kleinen (dh das System kann nicht, wie ChatGPT, in jedem Stil schreiben, sondern nur ganz spezfisch.

Das System wurde nicht am 'gesamten Internet' trainiert, sondern nur an Shakespeare oder Jane Austen oder Harry Potter oder Star Trek- Next Generation. Die Nutzer können eines der Modelle wählen und dann sehen, wie das Modell mit mehr Trainingsrunden immer bessere Texte schreibt: Watch an A.I. Learn to Write by Reading Nothing but Harry Potter.

Bei der graduelle Verbesserung der generierten Texte werde Konzepte wie Backpropagion, Dropout und Validation. Außerdem lernt man dabei, dass nicht die Trainingstexte übernommen werden, sondern 'analysiert' und frisch zusammengesetzt - was natürlich trotzdem Copyright-Fragen aufwirft (siehe etwas weiter unten).

 

Generative AI-Systeme selbst testen: Zuerst die Anleitung für ChatGPT

Zuerst noch ein ganz interessanter Motivationsartikel: Soll mein Kind ChatGPT, DALL·E & Co. verwenden? (kurze Zusammenfassung: Ja, denn die Systeme werden nicht weggehen und jede:r sollte sie, ihre Bedienung, ihre Möglichkeiten und Limitierungen, irgendwie kennen), dann die

Nun meine Tests von Bildgeneratoren

Hier erst mal ein Überblicksartikel: 16 kostenlos testbare online Bilder-KIs im Vergleich. Da muss man aber das 'kostenlos' mittlerweile mit Vorsicht genießen, siehe meine Beispiele jetzt gleich im Test.

Ich habe mich dann zuerst mal an Midjourney gewagt, Midjourney sei das derzeit beste der 16, sagen einige Kenner (zB geringste Zahl von Artefakten). Midjourney kostenlos hat bei mir aber nicht wirklich geklappt (es wird wohl nicht mehr kostenlos angeboten), aber ich bin bis zur Prompt-Eingabe gekommen und habe (da es in der Gaming Social Platform Discord gehostet wird) anderen beim Generieren zuschauen können, das ist ganz lustig.

Der zweite Test war dann DALL·E 2, das so wie ChatGPT von OpenAI erstellt wurde und ebenfalls nicht kostenlos ist. Ich fand es aber übersichtlicher und einfacher zu nutzen und für mich zum reinen Rumspielen absolut ausreichend und lustig (siehe Beispiele).

 

AI-Systeme und geistiges Eigentum

Wie ist das denn mit den Bild- und anderen Rechten an den Trainingsdaten und den Ergebnissen? Bei den Trainingsdaten wird ein bisschen getrickst, wie es scheint: KI und Kunst: Wenn die KI Bilder klaut und den Job vermiest .

Hier eine Fortsetzung zu AI und geistiges Eigentum.

 

An anderer Stelle behandele ich andere Themen zu Artificial Intelligence, z.B. müssen wir Angst haben vor der Machtübernahme durch eine Artificial Intelligence?, die 3 Robotergesetze von Asimov und warum sie nicht funktionieren, short History of Computing, AI and Robotics und ebenfalls primär historisch: Turing Test und andere Aspekte von Artificial Intelligence.

 

4. Regulierung von AI-Systemen und anderer IT

Dies ist ein Update zum letzten Bericht zur AI-Act und AI Liability Directive

EU AI-Act Entwurf (frühestes 'In Kraft treten' 2025)

Die EU-Regulatoren sind von der Konsumentenfreundlichkeit und Attraktivität von 'generativer AI' wie ChatGPT und den bildgebenden Systemen überrascht worden. Generative KI wird derzeit vom EU-Kommissionsvorschlag nur begrenzt abgedeckt, aber die Änderungen sind in Arbeit. Die Details, wie die EU derzeit versucht, generative Systeme zu regulieren, findet sich im AI Act Newsletter #28 und in den zukünftigen Ausgaben des AI Act Newsletters. Bis 2025 wird sich noch viel tun.

Aber nicht nur in der EU und den USA setzt ein Nachdenken ein - auch die Unesco fordert strenge ethische Regeln für künstliche Intelligenz (und China schreibt vor, dass (neben vernünftigen Regeln wie Schutz geistigen Eigentums und Privatsphäre, Nicht-Diskriminierung, etc. alle AI-Systeme auf Parteilinie liegen müssen: "reflect the core values of socialism.").

Produkthaftung für Software: Cyber Resilience Act

In einer Verallgemeinerung der AI Liability Directive der EU (in der ein erleichtertes Einklagen von Haftung für alle Produkte mit elektronischen Elementen geplant wird) kommt nun 'Produkthaftung für Software' auch im Cyber Resilience Act. Dieser soll umgesetzt werden in einer REGULATION on horizontal cybersecurity requirements for products with digital elements. Es geht darum, dass die Hersteller von 'Produkten mit IT-Komponenten' für die Sicherheit ihrer Produkte verantwortlich sind, dass sie zB verpflichtende Softwareaktualisierungen liefern müssen und für Schäden haften.

Zertifizierung von IT-Dingen ist ein altes Thema von mir, hier ein Vortrag aus 2014: Sorry State of IT-Security.

Meine Punkte: Wir wissen seit Jahrzehnten, wie man sichere Software entwickeln könnte, aber die finanziellen Anreize sprechen dafür, schnell billige Software auf den Markt zu werfen, auch wenn das später zu Problemen führt, aber die Probleme hat ja der Kunde.

Nun versuchen Regierungen und staatliche Behörden das umzudrehen. Hier ein Dokument der US-Behörde CISA zu Security by Design: Shifting the Balance of Cybersecurity Risk: Principles and Approaches for Security-by-Design and -Default. Hier die Prinzipien aus einer Zusammenfassung: The Cost of Unsafe Technology and What We Can Do About It.

Eine weitere US-Initiative mit ähnlicher Richtung: FACT SHEET: Biden-Harris Administration Announces National Cybersecurity Strategy.
Aktualisierung dazu August 2023: Es scheint, dass es da Widerstände gibt - die Haftung für Software-Probleme scheint wieder draußen zu sein - schade, das hätte was bringen können.

Auch in den USA: US-Verbraucherschutzbehörde will Facebook-Hersteller Meta zu besserem Datenschutz zwingen.

Mein voriger Beitrag zum EU Resilience Act und in den folgenden Newslettern geht es weiter mit Berichten zu EU Regulierungsbemühungen generell, hier im Juli wieder zum Cyber Resilience Act.

 

5. Analyse eines algorithmischen Verfahren zur Vorhersage von Sozialhilfebetrug

2017 wurde von der Stadtverwaltung von Rotterdam die Firma Accenture beauftragt, einen Algorithmus zu entwerfen der errechnet, bei welchen Bezieher:innen von Sozialhilfe mit größerer Wahrscheinlichkeit Unregelmäßigkeiten zu finden sind, dh einen Risk-Score für einzelne Personen zu erstellen. Als Trainingsdaten wurden die Ergebnisse von früheren Untersuchungen zu Sozialhilfe-Betrug und deren Ergebnisse herangezogen. 2021 wurde die Nutzung des Systems nach viel Kritik (u.a. von der Ethik-Komission der Regierung) wieder eingestellt.

Die Organisation Lighthouse Reports (eine Investigationskooperation von 100 Medienpartnern) bekam Gelegenheit, 2 Jahre die Modellierung, den Algorithmus und die Trainingsdaten zu analysieren.

Ein grundsätzlicher schwerwiegender Kritikpunkt an dem ganzen Verfahren ist, dass als Trainingsdaten nur Empfänger von Sozialhilfe genutzt wurden, die in der Vergangenheit verdächtigt wurden und daher untersucht wurden, nicht alle Sozialhilfe-Empfänger. Dh die Selektion der Trainingsdaten beruht bereits auf dem 'Bauchgefühl' der früheren Verdachtsmomente, dh der Algorithmus wurde bereits mit dem 'Bauchgefühl' der früheren Jahre 'trainiert'.

Bessere Ergebnisse (fairere) könnten sich evt. ergeben, wenn die Daten aller Sozialhilfe-Empfänger verwendet würden. Hier ist wieder der Effekt (der auch bei Predictive Policing auftritt), dass man dort etwas findet, wo man gezielt sucht - wo nicht gesucht wird, wird auch nichts gefunden.

Ein weiterer Kritikpunkt ist, dass ein hoher Risk Score nicht durch 'auffälliges Verhalten' entsteht, sondern auf Grund von Variablen an denen die Person oft nicht mal etwas ändern kann. Dh das System repliziert Vorurteile, die Forscher, die es untersuchten nannten es daher 'Suspicion Machine' - 'Verdächtigungsmaschine'. Das nächste problematische Beispiel im nächsten Newsletter, ebenfalls von Lighthouse Reports.

 

6. Ein winziges Symbol setzen: für sich selbst personalisierte Werbung auf Facebook + Instagram abdrehen

Die Organisation hinter Max Schrems, noyb, hat einen Erfolg gegen Meta/Facebook verbuchen können. Die Rechtsgrundlage auf der in Facebook und Instagram personalisierte Werbung geschaltet wird, hält juristisch nicht. Nutzer:innen können personalisierter Werbung widersprechen, es gibt ein Formular von noyb und eine einfache Anleitung der Futurezone zum Abdrehen der Facebook-Werbung.

 

7. Fast schon wieder lustig: CryptoGPT als allerneuster Hype bei Internetbetrügern

Crypto ist toll für Betrügereien aller Art, GPT ist der neuste Hype, wie gut muss dann CryptoGPT erst sein ?!? Auch dabei werden viele Menschen ihr Geld verlieren. :-(

Die EU versucht das nun, einzubremsen: Regeln für Bitcoin & Co.: EU-Parlament besiegelt Aus für anonyme Kryptozahlungen. ABER: "Beide Verordnungen müssen vom Rat noch förmlich gebilligt werden, bevor sie im Amtsblatt der EU veröffentlicht werden und 20 Tage später in Kraft treten. Nach anderthalbjährigen Umsetzungsfristen greifen die Vorschriften dann." Dh die Wildwest-Zeiten bleiben noch eine Weile erhalten.

Hier mein voriger Beitrag aus der Kryptowelt.

 

8. Kostenlos: ÖIAT-Online-Schulungen

Weitherhin kostenlose Online Schulungen beim Österreichischen Institut für angewandte Telekommunikation (ÖIAT). Hier die Termine und Themen für dieses Jahr - alle diese Schulungen sind empfehlenswert.

Die Termine und Themen: (jeweils 18:00 - 20:00 oder 18:30 - 20:00)

Anmeldung auf academy.oiat.at - der Zoom-Link kommt dann per Email - wie gesagt: m.E. sehr empfehlenswert.