Von der flächendeckenden Überwachung zur flächendeckenden Lenkung der Bürger - Manipulation durch Algorithmen

Das Geschäftsmodell des "Überwachungskapitalismus"

Viel mehr zum Geschäftsmodell dieser ganzen Überwachung, Lenkung und Steuerung gibt es unter Werden unsere Daten verkauft oder wie läuft das eigentlich?.

Autor: Philipp Schaumann. Letzte Aktualisierung: April 2023

An die (freiwillige) flächendeckende Überwachung durch die verschiedenen Dienstleister wie Google, Facebook, Apple, Microsoft, Twitter, WhatsApp, Skype und der vielfältigen Fitness-Tracker haben sich die meisten Nutzer anscheinend bereits gewöhnt. Die meisten wissen, dass bei Nutzung eines Smartphones mit den vielfältigen Apps viel Privates an die jeweiligen Dienstleister geliefert wird. Auch mit der Weitergabe dieser Daten an die 'Sicherheitsdienste' scheinen sich die meisten irgendwie abgefunden zu haben.

Unklar ist den meisten Nutzern aber, dass die Big Data Algorithmen daraus nicht nur benutzer-bezogene Werbung generieren, sondern dass diese (undurchsichtigen und fremdgesteuerten) Algorithmen Entscheidungen für und über die Nutzer treffen, ohne dass der Benutzer dies beeinflussen kann. Das reicht von der Werbung die wir sehen, über die Flüge die wir angeboten bekommen, die Nachrichten die uns gezeigt werden bis zu den Datingpartnern die uns vorgeschlagen werden.

Alle diese und weitere Beispiele bringt auch das "Digital-Manifest" einer Gruppe von Wissenschaftlern im Nov. 2015. (Der verlinkte Artikel fasst ihr längeres Manifest zusammen, hier das Original Digitale Demokratie statt Datendiktatur). Im zweiten Teil des Manifests schlagen sie dann Lösungsstrategien vor, wie wir uns trotz des großflächigen Manipulationsversuchs unsere Demokratie und das selbständige Denken erhalten können. Ich hoffe, dass die Strategie zum Ziel führt - aus Ende 2018 zurückblickend muss man aber leider sagen, dass es deutlich schlimmer geworden ist. Dieses Manifest wurde wurde VOR Brexit, Cambridge Analytica und der Trumpwahl geschrieben, Ereignisse die vielen Menschen aufgezeigt haben, welche Bedrohung die Manipulation durch Social Networks und ihre Algorithmen für die Gesellschaft darstellen).

Ein Beispiel für die kleinen Manipulationen die ständig in unser Leben eingreifen und uns ein klein wenig lenken ist der EdgeRank Algorithmus von Facebook, der darüber entscheidet, welche Postings aus dem "Freundeskreis", bzw. den Firmen die jemand "geliked" hat wirklich angezeigt werden. Mehr dazu in einem Kapitel weiter unten.

Aber es kann auch persönlicher werden: Wissenschaftler haben 2013 auf Facebook an 300 0000 unfreiwilligen Testpersonen demonstriert, wie eine selektive Nachrichtenauswahl die Stimmung von Zielpersonen beeinflusst werden kann. Sie haben dafür den oben erwähnten EdgeRank Algorithmus leicht modifiziert und damit den Anteil der negativen Nachrichten erhöht oder abgesenkt. Als Ergebnis haben diese Benutzer dann selbst entweder mehr positive oder mehr negative Nachrichten gepostet, d.h. Emotionen stecken an.

Dass Gefühle und Einstellungen manipulierbar sind, wird die Werbetreibenden nicht wirklich überraschen: Das ist der Kernpunkt der durch Werbung erreicht werden soll - eine Änderung der Einstellung zu einem Produkt. Und unsere Politik bewegt sich immer mehr in Richtung Nutzung von Marketing-Methoden. Die Spin-Doktoren aus der Werbung nutzen natürlich die gleichen "Tricks", d.h. die gleichen Methoden.

Verstehen wir die Algorithmen denn überhaupt noch?

Ein wichtiges Problem zur Problematik der Allgegenwart von Algorithmen ist, dass diese heute nicht (mehr) verstanden und dadurch auch nicht mehr wirklich kontrolliert werden können. Im Bereich Data Mining werden statistische Verfahren mit möglichst vielen Parametern eingesetzt, bei denen niemand weiß (und auch niemand wirklich interessiert) ob dahinter irgendeine Realität steckt, solange nur die Verkaufszahlen oder die Besucherzahlen oder die Zahl der Klicks stimmt.

Das führt dann schon mal zu kuriosen Ergebnissen, wie wenn eine Firma sich von einem Tag auf den anderen nur noch auf den hinteren Seiten der Google-Suche findet und dann lange kämpfen muss, um wieder gelistet zu werden. Oder wenn z.B. der Facebook Löschungsalgorithmus irgendwie entscheidet, dass die Postings von Zuckerberg nicht den Regeln entsprechen. Nicht OK ist es, wenn solche nicht-verstandenen Algorithmen dann irgendwie diskriminierend wirken, wie im Link beschrieben wird.

Noch viel undurchschaubarer ist es bei den AI-Algorithmen, die in naher Zukunft unsere Autos steuern werden und die mit neuronalen Netzen und ähnlichen Algorithmen arbeiten, die überhaupt keinen Einblick mehr erlauben. Wir wissen dann nicht mehr, warum das Auto auf den Mittelstreifen gefahren ist oder gegen den Lastwagen, wir können nur noch Theorien aufstellen. Mehr zum Nicht-Verstehen von Algorithmen auf meiner anderen Website.

Solche Techniken laufen heute unter dem Schlagwort "Nudging" oder "behavioral science". Dabei geht es darum, dass Menschen erhöhten Denkaufwand in der Regel vermeiden und z.B. die Grundeinstellungen (Defaults) mit einer höheren Wahrscheinlichkeit so lassen wie sie sind. Regierungen und Firmen können dies nutzen um uns zu "lenken". Natürlich kann es dabei zu Gegenreaktionen kommen ("jetzt erst recht!") aber in der Mehrheit der Fälle greifen solche kleinen Manipulationen durchaus. An anderer Stelle mehr zu Nudging.

Wir (die Nutzer der hilfreichen Tools die unsere Daten sammeln) nutzen diese "Helferchen" in einer Mischung aus Begeisterung dass wir einen kostenlosen "coolen" Service nutzen dürfen (Merke: Geiz ist geil), in Verbindung mit einem Schuss Neoliberalismus ("der Markt wird's schon richten") und einer Kapitulation gegenüber der Kombination der Privatisierung aller Dienste und dem Businessmodell, dass diese Dienste mit unseren Daten bezahlt werden müssen.

Die hilfreichen Apps (z.B. Fitness-Tracker oder Ernährungsberater oder Google Now oder . . . ) beginnen damit, "nur zu unserem Besten natürlich", mit ihren guten Tipps, Vorschlägen, Erinnerungen, . . . unser Leben ganz langsam aber sicher zu verändern.

Hier ein Vortrag von mir zu diesem Thema: Big Data Algorithmen als Lenkungswerkzeug.

Auch in meinem Text über DNA Analysen ist die Undurchschaubarkeit von Algorithmen eines der Probleme. Auf meiner anderen Website zu autonomen Fahrzeugen ist ein weiterer Artikel zum Thema Deep Learning Algorithmen sind nicht nachvollziehbar.

Und mehr Beispiele für Diskrimierung durch Algorithmen zeige ich in meinem Artikel zum Thema gläserner Mensch und Scoring von Menschen.

Ein wie ich denke drastisches Beispiel ist die Wahl des Lebenspartners auf Dating-Websites, die schon heute mittels Algorithmen welche Persönlichkeit und Beziehungsglück miteinander verknüpfen, bestimmen, mit wem die Nutzer der Website glücklich sein werden. (Die Details, wie OkCupid dem Benutzer eine enge Auswahl vorlegt, stehen in wired.com). Es liegt nahe, dass der Firma der kurzfristige Umsatz näher liegt als das langfristige Glück in den Beziehungen. D.h. es kommt der Verdacht auf, dass da durchaus im Sinne des Unternehmens optimiert werden könnte.

Cory Doctorow fasst 2016 die Problematik in einem Artikel zusammen: AI's blind spot: garbage in, garbage out. Er verlinkt auch auf die Studie des Obama White House zu "how AI could increase inequality, erode accountability". Jegliche künstliche Intelligenz orientiert sich an den Daten mit denen sie gefüttert wird, und da stecken alle Vorurteile bereits drin.

Auf meiner anderen Website gibt es noch viel mehr zu Problemen mit künstlicher Intelligenz.

 

 

 

Diskriminierung durch Algorithmen

Ganz unschön ist es, wenn die Algorithmen Personengruppen diskriminieren. Das tun Algorithmen natürlich nicht bewusst oder gezielt, sondern diese Möglichkeit liegt in ihrer Natur. Bei Big Data Auswertungen, z.B. wenn Amazon herausfinden will, welche Bücher ein Kunde mögen könnte, ist es komplett egal, warum bestimmte Vorschläge gemacht werden. Unsinnige Vorschläge für einzelne Personen führen auch zu keinerlei Nachteilen für die betroffene Person. Der Algorithmus sucht statistische Datenähnlichkeiten, Cluster genannt. Personen innerhalb eines Clusters haben statistisch eine höhere Wahrscheinlichkeit zu ähnlichem Verhalten. Warum das so ist und welche der Personen auf Grund einer Anomalität in ein Cluster gefallen sind, ist für den Verkaufserfolg nicht interessant. Wichtig ist nur, dass für eine ausreichende Zahl von Menschen die Vorschläge "passen".

Dadurch entsteht die Problematik, dass die lernenden Algorithmus einfach nur die Vergangenheit in die Zukunft projezieren. Dies ist bei Amazon zum Problem bei der Bewerberauswahl geworden. Dort wurde ein Algorithmus mit Hilfe der bisherigen Entscheidungen bei der Auswahl der Bewerber trainiert, dann stellte ich heraus dass bei gleicher Qualifikation von Männern und Frauen, die Frauen keine Chance auf ein Einstellungsgespräch haben. Amazon setzt den Algorithmus nun nicht mehr ein. Selbstlernende Algorithmen verhalten sich genau so, wie sie aus den Lerndaten lernen.

Hier eine gute Erklärung von Zeynep Tufekci wie diese Diskriminierung entsteht:

Die Ergebnisse der statistischen Analysen sind daher dann zumeist nicht im Detail nachvollziehbar. Wichtig ist für das Unternehmen aber nur, dass das Ergebnis mit einer hohen Wahrscheinlichkeit stimmt. Bei Büchern ist das ja OK - nicht OK ist es, wenn dadurch echte Benachteiligungen für konkrete Personen entstehen, siehe mein Artikel zur Bewertung von Arbeitslosen in Österreich, bei der Bewertung der Kreditwürdigkeit und im nächsten Kapitel zur Justiz.

An anderer Stelle berichte ich über die entdeckten Versuche von Werbetreibenden, Verhaltensveränderungen herbeizuführen.

Es gibt von mir auch einen Vortrag zu diesen Themen: Die letzte Generation vor der Singularität - Die Macht der Algorithmen.

Das Video zu dem Vortrag ist auf Youtube: "Von der flächendeckenden Überwachung zur flächendeckenden Manipulation - die Macht der Algorithmen".

Noch eine Leseempfehlung: Wolfie Christl: Durchleuchtet, analysiert und einsortiert. Eine ausführliche Studie belegt nicht nur an Hand von vielen Beispielen, wie wir analysiert und einsortiert werden, sondern auch, wie wir dadurch manipuliert und fremd-bestimmt werden.

Eine sehr interessante Folge von Artikeln zum Thema Algorithmen und ihre gesellschaftlichen Aspekte findet sich bei Jürgen Geuter: Machines Of Loving Grace. Jeder Artikel verlinkt am Ende auf einen weiteren.

 

Big Data in der Justiz - Systematische Benachteiligung

In den USA gibt es Programme, die Richtern die Länge der Strafe vorschlagen und auch, ob jemand auf nach Abbüßung einer Teilstrafe auf Bewährung entlassen werden sollte. Hier die Website der Sentence Advisory Commission von Missouri.

Eine Studie des US-Justizministeriums hat 2016 nachgerechnet und gefunden, dass diese Algorithmen, so neutral sie klingen mögen, Afroamerikaner systematisch benachteiligen und in ihren Prognosen trotz (oder wegen) Big Data Analysen des sozialen Hintergrunds des Betroffenen nicht wirklich gut sind. Es werden (korrekte) statistische Aussagen über eine Gruppe auf eine einzelne Person verallgemeinert, obwohl nicht alle Mitglieder der Gruppe gleich sind.

Sehr lesenwert der ausführliche Artikel von Propublica: What Algorithmic Injustice Looks Like in Real Life mit vielen konkreten Beispielen. Der Artikel zeigt, dass die Rückfallwahrscheinlichkeiten bei Schwarzen durch die Algorithemen systematisch höher eingeschätzt wird als bei Weißen und daher die Strafen bei vergleichbaren Vergehen deutlich höher ausfallen. Dies führt dann natürlich auch bei zukünftigen Kontakten mit der Polizei zu negativerer Bewertung.

Grund ist, dass der Algorithmus zwar den Einzelfall analysieren soll, aber aus Hintergrunddaten wie ethnische Zuordnung, Ausbildung, Familienverhältnisse in einer statistischen Analyse ganz automatisch alle Afro-Amerikaner in einen Topf wirft.

Und hier der Link zu einer 2016 Studie des (Obama-)White Houses zu Big Risks, Big Opportunities: the Intersection of Big Data and Civil Rights.

 

Big Data bei Bewerbungen und in der Arbeitswelt

Hier ist ein Artikel in dem ein Wirtschaftsinformatiker im Interview erklärt, warum er ein Bewerbungsgespräch mit einem Roboter für fairer hält. Aber auch er muss natürlich bestätigen, dass die künstliche Intelligenz alle Vorurteile die im Trainingsmaterial stecken übernehmen wird. Es entsteht lediglich der Anschein von Objektivität. Aber auf diesen Zug wird überall aufgesprungen: Wenn Algorithmen Bewerber und Stelle matchen oder die falsche Behauptung: "Der Algorithmus diskriminiert nicht". Was er dann gleich widerlegt mit: "Weitzel: Es kommt selbstverständlich darauf an, was man ihnen beibringt und wie sie lernen." D.h. ein Algorithmus, der wie das in diesem Fall üblich ist, einem menschlichen Recruiter über die Schulter schaut um zu lernen, der übernimmt alle seine Vorurteile - aber vom Algorithmus bekommt das dann den Augenschein von Objektivität.

Wie Big Data bei der Prüfung der Kreditwürdigkeit und beim österreichischen Arbeitsamt (AMS) eingesetzt wird, das gibt es an anderer Stelle.

Der Block rechts zu Big Five ist ein gutes (schlechtes) Beispiel für Scheinobjektivität auf der Basis von mehr oder weniger zufälligen Korrelationen die sich aus den Big Data Analysen irgendwie ergeben haben. Da wird aus Satzlänge und Wortlänge eine Einordnung in die Big Five Kategorien erstellt und der gewünschten Persönlichkeit für die Neu-Einstellung gegenübergestellt.

Der Artikel Auch künstliche Intelligenz kann Vorurteile entwickeln beschreibt und verlinkt konkrete Versuche die dazu gemacht wurden. Ähnlich wie bei den Assoziationstest mit denen unterschwellige Vorurteile bei Menschen aufgespürt werden, wurde dies auch mit einer AI-Implementierung gemacht. Und siehe, auch die künstliche Intelligenz hatte bereits aus den Vokabeln mit denen sie gefüttert werden musste damit sie kommunizieren kann bereits Kunst mit weiblich, aber Mathematik mit männlich assoziiert. Namen europäischer Herkunft wurden eher mit positiven Eigenschaften verbunden als afroamerikanische Namen. Wired bringt dazu ein Interview Was passiert, wenn KIs unsere schlechten Eigenschaften übernehmen?

Die Bertelsmann-Stiftung hat 2017 eine Studie zu derzeit bereits eingesetzten automatisierten Bewertungssystemen durchgeführt („algorithmic decision making - ADM): Wenn Maschinen Menschen bewerten - Internationale Fallbeispiele für Prozesse algorithmischer Entscheidungsfindung. Sie zeigen, dass der Einsatz durchaus nicht unproblematisch ist. Sie zeigen, dass 2017 bereits 70% der Bewerbungsunterlagen in UK und USA von Algorithmen (vor-)bewertet werden und dass Gerichte in neun US-Bundesstaaten Algorithemen für die Risikoprognosen der Angeklagten nutzen. Die Studie zeigt, dass zwar theoretisch algorithmische Verfahren zu weniger Diskriminierung führen könnten, aber dass zahlreiche Fehler bei der Implementierung der aktuell eingesetzten Algorithmen (bzw. die Vorurteile in den eingesetzten Daten) zu fehlerhaften und diskriminierenden Ergebnissen führen können. Die Autoren bemerken, dass das Kategorisieren von Menschen ohne große Debatte über Fairness, Erklärbarkeit, Überprüfbarkeit oder Korrigierbarkeit der Verfahren eingesetzt wird. Der Einsatz dieser Form von AI (artificial intelligence) löst offenbar nicht die gleichen Ängste aus wie die zielgerichteten Maschinen-Intelligenzen aus Filem, z.B. HAL 9000.

Algorithmen in der Arbeitswelt - Uber lebt es vor

Frank Pasquale schreibt einen ausführlichen, etwas beklemmenden Artikel über das Problem der Un-accountable Algorithms: "Digital star chamber - Judge, Jury and Executioner".

Er beginnt mit der Schilderung eines Uber-Fahrers als Beispiel für die mögliche zukünftige Arbeitswelt: "In a recent podcast series called Instaserfs, a former Uber driver named Mansour gave a chilling description of the new, computer-mediated workplace.

First, the company tried to persuade him to take a predatory loan to buy a new car. Apparently a number cruncher deemed him at high risk of defaulting.

Second, Uber would never respond in person to him - it just sent text messages and emails. This style of supervision was a series of take-it-or-leave-it ultimatums - a digital boss coded in advance.

And finally, what seemed most outrageous to Mansour: his job could be terminated without notice if a few passengers gave him one-star reviews, since that could drag his average below 4.7. According to him, Uber has no real appeal recourse or other due process in play for a rating system that can instantly put a driver out of work - it simply crunches the numbers."

 

"Self-Tracking" in der Arbeitswelt

In Europa ist der Einsatz von solchen bewertenden Algorithmen zum Glück derzeit (noch) eingeschränkt. So verlangen die Gesetze, dass es eine Einspruchsmöglichkeit gegen solche Entscheidungen geben muss und dass die Entscheidung erklärt werden muss (was z.B. Algorithmen auf der Basis von neuronalen Netzen nicht können). Diese Einspruchsmöglichkeit ist aber oft nur theoretisch, z.B. wenn Bewerbungsschreiben maschinell bewertet werden.

Und wenn wir den Job dann erst mal haben, dann geht die schöne neue Welt immer weiter: Soma Analytics verkauft z.B. eine App an Firmen, die "hilft, deine Angestellten besser kennenzulernen", den "Gemütszustand" eines Teams, das "Wohlbefinden" einer Abteilung und den individuellen Stresslevel durch Analyse vom Schlaf- und Beischlafverhalten zu analysieren. Die Firma hat dafür (wohl berechtigt) den Big Brother Award in D für 2018 gewonnen, außerdem auch 1,8 Mio Funding durch die EU. Soma Analytics: 'Es sieht so aus, als würden wir länger hier bleiben.'

Das ist aber keine Ausnahme: City firm monitors lawyers' calls in bid to combat stress. Das ist eigentlich in Europa nicht so ganz OK, aber mit Zustimmung der Angestellten stellt der Daten- und Arbeitnehmerschutz kein Problem dar, auch in Deutschland und Österreich. Hier noch Beispiele: Kelaa Mental Resilience, die App für deine Personalabteilung und Kontrolle im Unternehmen Wenn Daten den Wert eines Mitarbeiters bestimmen.

China prescht mit einem Helm der Gehirnaktivitäten misst noch weiter vor. Und mehr zum Thema Self-Tracking und was das für Privatsphäre bedeutet gibt es an anderer Stelle.

 

 

 

Die Nachrichtenauswahl durch unsere Social Networks und Suchmaschinen

Youtube, der große Radikalisierer?

(Bis 2022 war hinter der Überschrift kein Fragezeichen, aber Google hat wohl ab 2019 Verbesserungen durchgeführt, siehe etwas weiter unten. Hier erst mal der Bericht aus 2018.)

Unter der Überschrift YouTube, the Great Radicalizer fand sich Anfang 2018 ein interessanter Artikel in der NYT. Es geht darin um ein Selbstexperiment. Das fing ganz harmlos an: die Autorin hat sich vor der Wahl in den USA ein Video über Trump angesehen. Und dann jeweils auf nächste Video geklickt das dort empfohlen wurde. Nach einigen Weiterklicks war sie bei ultra-rechten Verschwörungen.

Dann hat sie den Test mit einem anderen Youtube-Account mit Clinton versucht, jeweils das nächste Video angeklickt, dann wieder das nächste, etc. Nach einigen Klicks war sie bei linken Verschwörungstheoretikern, z.B. 9/11-Theoretikern, etc.

Noch ein Beispiel 2019: Es geht um Videos für Kinder. Nach dem Klicken auf 10 weitere Empfehlungen kamen in 45% der Fälle verstörende Inhalte die nicht für Kinder geeignet waren.

Das geht auch außerhalb der Politik: Start mit Video zu vegetarischem Essen, das endet bei extremen Veganismus. Auch das Wallstreet Journal hat solche Tests gemacht: 2018 How YouTube Drives People to the Internet's Darkest Corners. Start mit einem Video über Impfungen und nach einigen Klicks endet man bei extremen Impfgegnern.

Was die Tester auch anschauen, sie enden immer bei möglichst extremen Positionen. Man könnte fast auf die Idee kommen, Google will möglichst viel Unruhe in die Welt bringen, aber vermutlich ist das alles viel simpler: Google will mit seinen Algorithmen und der Artificial Intelligence nur einfach möglichst viel Geld machen indem die Benutzer möglichst lange am Schirm gehalten werden. Und der Algorithmus glaubt, das ginge am besten durch möglichst extreme Positionen.

2018 ging der Empfehlungsalgorithmus so weit, dass er zu dem Schul-Shooting in Florida Videos empfiehlt, in denen die protestierenden Schüler als bezahlte Schauspieler diffamiert werden. Und das geht weiter bis zu Video-Empfehlungen, dass eine 2012 School-Shooting nur ein Hoax war.

Das ist eine sehr gefährliche Tendenz, wenn wir immer mehr Entscheidungen den Algorithmen überlassen die nur auf das Profit-Interesse ihrer Eigentümer optimieren.

Update 2022: Online-Radikalisierung: YouTube-Algorithmus wohl harmloser als gedacht. Die damaligen Artikel haben anscheinend doch was gebracht. Seite 2019 wurde das Empfehlungssystem überarbeitet und mittlerweile zeigen Studien, dass Nutzer:innen extremistische Videos zumeist sehen weil sie dem entsprechenden YouTube-Kanal direkt folgen oder sie auf externe Links klicken. Nur noch selten ließe sich beobachten, dass YouTube solche Kanäle anderen Nutzer:innen empfiehlt.

Das ist aber noch kein Grund zur Entwarnung gegen über Algorithmen, es gibt ja nicht nur Youtube. An anderer Stelle mehr zu Fake News. Hier noch ein Artikel über die Macht der Internetkonzerne.

Die Nachrichten, die wir alle jeden Tag sehen, werden seit es Zeitungen gibt, selektiv ausgewählt. Jede Redaktion wählt es der riesigen Menge von möglichen Themen diejenigen, die der jeweiligen Redaktion am wichtigsten erscheinen. Und die Leser wählen aus, ob sie lieber eine Boulevard-Zeitung oder lieber eine sog. Qualitätszeitung lesen möchten.

Der Facebook PageRank Algorithmus berücksichtigt z.B. ob der Nutzer auf die Posts von dieser Quelle nie oder oft reagiert (z.B. mit Like) oder ob der Benutzer oft auf die TimeLine des Posters geht. Das ist einleuchtend, aber dann gibt es noch überraschende Kriterien. Wenn in einem Beitrag der Name oder eine Marke eines Werbetreibenden vorkommt, so bekommt dieser Post eine höhere Priorität (egal ob der Beitrag positiv oder negativ ist - "I hate xxxxx" bekommt (derzeit) die gleiche Priorität wie "I love xxxxx" - Manche Benutzer nutzen das aus, indem sie willkürlich einen Markennamen im Post anhängen).

Social Networks haben die Problemstellung, dass die meisten Nutzer so große "Freundeskreise" haben, dass sie von Nachrichten überschwemmt werden würden, wenn alle diese Meldungen jeweils zu einem sog. Newsfeed führen würden (und die Aufmerksamkeit des Nutzer anfordern würden). Daher hat Facebook seinen PageRank Algorithmus, der entscheidet, welche der vielen Nachrichten der jeweilige Nutzer automatisch sehen wird (wenn der Nutzer auf die Timeline jedes Friends geht, so sieht er natürlich dort alle Postiings der Person, aber er wird eben nicht auf alle Posts aufmerksam gemacht). Twitter und Youtube und alle ähnlichen Dienste arbeiten sehr ähnlich, auch sie entscheiden für den Benutzer.

Nach der Veröffentlichung der Studie bei der Facebook Forscher durch gezielte Manipulation der Auswahl Forschung betreiben wollten ist dies zu einem Thema in der Öffentlichkeit geworden. Der Artikel The secret system controlling your Facebook News Feed beschreibt Reaktionen von Nutzern auf die Nachricht, dass sie nicht alles automatisch sehen, was die Friends posten. In dem Fall hatten 62% keine Ahnung von der Auswahl und waren ziemlich erzürnt, wenn die Posts von engen Freunden oder Familie nicht prominent dargestellt worden waren. Hier Details [und praktische Übungen] zum Algorithmus mit dem Facebook auswählt welche Nachrichten von "friends" und Werbefirmen in der Timeline gezeigt werden.

Durch die automatische Auswahl der Artikel in den Facebook Newsfeeds waren die Nachrichten rund um den Tod von Michael Brown in Ferguson 2014 lange Zeit kein Thema, Klatschgeschichten waren als "relevanter" eingestuft.

Wie dramatisch effektiv die Manipulation durch Unwahrheiten in den neuen Medien ist, das haben Brexit und die US-Wahl 2016 gut demonstriert. Disinformation, d.h. das Verteilen von Unwahrheit ist zur einem richtigen Geschäftszweig geworden. Google und Facebook versuchen nun, zurückzurudern und diese Welle einzudämmen.

Sept. 2014: Jetzt steigt auch Twitter ein: Twitter: Algorithmen sollen mehr Einfluss auf die Timeline bekommen. Zitat: "Dadurch sollen sie [die Benutzer] weniger Inhalte verpassen, die die Plattform für wichtig erachtet." Ich kann mir gut vorstellen, dass Werbe-Tweets von Twitter unter "die die Plattform für wichtig erachtet" fallen könnten. Der Artikel erwähnt auch: "Diese zentrale Funktionsweise der Timeline war außerdem durch die ohne viele Worte eingeführte Einschleusung fremder Tweets verändert worden. Eine Möglichkeit, sich ihr zu entziehen, ist nicht vorgesehen."

 

 

 

Buchempfehlung: Zero

titelbild von Marc Elsberg: Zero

Ich habe bei dem Krimi Zero - Sie wissen was du tust (Autor Marc Elsberg) mitgeholfen, der viele der hier in diesem Artikel behandelten Themen in Form eines Krimis noch einen Schritt weiter treibt. Das Buch wurde übrigens 2014 von Bild der Wissenschaft zum Wissensbuch des Jahres in der Kategorie Unterhaltung gekürt.

Das Buch untersucht, was passieren wird, wenn noch mehr Menschen noch mehr Daten mittels Apps ins Netz laden und sich dann von den Apps "helfen" lassen, natürlich nur zu ihrem Besten.

Die Geschichte zeigt deutlich, welche gigantischen Manipulationsmöglichkeiten so etwas bietet und wie es letztendlich in eine Zukunft führen kann, in der die Menschen von Algorithmen ganz subtil gelenkt werden und diese Algorithmen durch Menschen kontrolliert und manipuliert. Wenn jemand in der Lage ist, über Social Networks Wahlen zu manipulieren, so ist es nicht leicht, dieser Versuchung zu widerstehen. Demokratie wie wir sie kennen ist damit weitgehend erledigt.

Das Buch spielt in einer leider sehr nahen Zukunft. Auf der oben verlinkten Website gibt Hintergrundinformationen, ein Quiz und vieles mehr.

An anderer Stelle stelle ich Konzepte dar, wie wir ein Internet schaffen könnte, das weniger manipulativ ist.

Gefährdung von Demokratie durch Beeinflussung von Wahlen

Dieser Artikel hier behandelt Wahlbeeinflussungen durch Suchmaschinen und durch gezielte Motivation ausgewählter Wählergruppen.

Ein weiterer Artikel auf dieser Website diskutiert die Wahlbeeinflussungen durch Fake-News und bots, so wie wir das bei Brexit und der Trump-Wahl erlebt haben.

Ein dritter Artikel dreht sich um sog. "psychographic modeling techniques", Techniken auf der Basis der persönlichen Spuren jedes Einzelnen im Internet.

 

Beispiel Wahlmanipulation durch Page Ranking oder Nachrichten an ausgewählte Nutzergruppen

Für Wahlmanimpulationen gibt es viele Möglichkeiten. Für die Page Ranking Algorithmen der Suchmaschinen gibt es die Option der selektiven Auswahl des Lesestoffs. Das wurde bereits 2013 gezeigt: Manipulating Search Rankings Can Shift Voters' Preferences Substantially Without Their Awareness. In dem Experiment wurde den amerikanischen Testpersonen die Aufgabe gestellt, sich für einen von 2 australischen Politikern als Premierninister zu entscheiden. Grundlage waren Suchergebnisse, die für unterschiedliche Personen unterschiedlich manipuliert wurden. Auf diese Weise konnte, wenig überraschend, das Wahlergebnis gesteuert werden. Getestet wurde aber vor allen Dingen auch, ob die Testpersonen gemerkt haben, dass sie einseitige Ergebnisse geliefert bekamen. Durch geschicktes Ausbalancieren der Manipulation wurde erreicht, dass die Testpersonen nichts merkten.

Aber auch Facebook hatte bereits in 2010 erfolgreich mit Wahlmanipulation experimentiert. Ganz harmlos: sie haben ausgewählten Personen am Wahltag eine Aufforderung gezeigt, doch wählen zu gehen. Am effektivsten war jedoch, wenn den Nutzern gezeigt wurde, welche der "friends" bereits gewählt hatten. Den Erfolg haben die Facebook-Forscher gemessen, indem sie nachträglich in Wahlregistern geprüft haben, ob diese Personen verstärkt zur Wahl gegangen sind.

Der Google Page Rank Algorithmus

Welchen Einfluss der Google Page Rank Algorithmus auf das Überleben von Firmen hat, die davon abhängen dass sie in Suchmaschinen gefunden werden, das zeigt dieser Artikel A Gmail Rival Sent to Siberia by a Mysterious Google Glitch. Protonmail, eine sichere Schweizer Alternative zu Gmail, war von dem ersten Platz bei der Suche nach 'encrypted email' oder 'secure email' auf Seite 3 zurückgefallen, und es gab keine neuen Kunden mehr. Nach vielen Mühen und der Drohung mit Öffentlichkeit hat Google diesen Fehler im Page Rank Algorithmus behoben, Erklärung gibt es keine.

Die europäische Kommission hat 2017 Google nachgewiesen, dass der Google Preisvergleichsdienst andere Google-Dienste gegenüber Konkurrenzprodukten bevorzugt hat und eine Strafe von 2,4 Milliarden Euro verhängt.

Das klingt jetzt erst mal vergleichsweise harmlos, aber Facebook (und alle anderen sozialen Netze) wissen natürlich aus dem Beobachten des Surf-Verhaltens, wie eine Person mit hoher Wahrscheinlichkeit wählen wird. D.h. es ist sehr einfach, nur die Sympathisanten eines bestimmten Kandidatens zu den Urnen zu schicken. Und damit es nicht auffällt braucht das gar nicht flächendeckend zu sein. Oft fallen in einzelnen Wahlbezirken die Ergebnisse extrem knapp aus - es reicht, wenn sich die Manipulation auf Wahlbezirke konzentriert, bei denen ein knappes Ergebnis vorhergesagt wird (und das wissen die Statistiker der Social Networks sehr gut, auch aus ihren eigenen Beobachtungen der Benutzer). Auch die Zeitschrift Schweizermonat ist darüber beunruhigt: Wird Facebook bald Wahlen entscheiden?

Stand 2018: Eine Studie der University of Oxford: Challenging Truth and Trust: A Global Inventory of Organized Social Media Manipulation.
Hier die Zusammenfassung:

  • 2018 We have found evidence of formally organized social media manipulation campaigns in 48 countries, up from 28 countries last year (2017). In each country there is at least one political party or government agency using social media to manipulate public opinion domestically.
  • In a fifth of these 48 countries—mostly across the Global South—we found evidence of disinformation campaigns operating over chat applications such as WhatsApp, Telegram and WeChat.
  • Computational propaganda still involves social media account automation and online commentary teams, but is making increasing use of paid advertisements and search engine optimization on a widening array of Internet platforms. Social media manipulation is big business. Since 2010, political parties and governments have spent more than half a billion dollars on the research, development, and implementation of psychological operations and public opinion manipulation over social media. . . . in most countries this involves the spread junk news and misinformation during elections, military crises, and complex humanitarian disasters

Ziel der Forscher bei Facebook und den anderen ist die möglichst effektive und heimliche Manipulation des Verhaltens von Käufern, Wählern und Staatsbürgern. Hier noch einige Hintergründe zu den Forschungen bei Facebook: Facebook-Wissenschaftler hatten kaum Grenzen und Facebook experimentiert schon länger mit Nutzerdaten.

Siehe auch dieser Auszug aus dem neuen Buch von Bruce Schneier: Surveillance-based manipulation: How Facebook or Google could tilt elections.

Eine Studie aus 2018 untersucht den Search Engine Manipulation Effect (SEME): The Unprecedented Power of Digital Platforms to Control Opinions and Votes. Der Psychologe, der bereits 2013 diesen Effekt nachweisen konnte argumentiert heute, dass ca. ein Viertel aller Wahlen dadurch beeinflusst werden, wie und mit welchen Artikeln die Kandidaten in Google erscheinen. Bei seinen Untersuchungen wurden in 39 Ländern mit mehr als 10 000 Personen durchgeführt. Google kontrolliert weltweit ca. 90% aller Suchanfragen. Experimente zu Wahlen haben gezeigt, dass Menschen selbst extrem beeinflusste Rankings der Suchergebnisse als korrektes Abbild der Meinungen im Internet nehmen.

Wie können solche Manipulationen durch Suchmaschinen überhaupt entdeckt werden? Dies ist nicht einfach, aber hier ein Beispiel aus den USA: Could Google rankings skew an election? New group aims to find out. Die Antwort ist JA, Manipulationen von Suchergebnissen finden auch bei Wahlen statt. (Manipulationen von Suchergebnissen werden SEO genannt (Search Engine Optimization und sind ein wichtiger Wirtschaftszweig. Einige Firmen arbeiten mit ethischen und legalen Mitteln, z.B. Optimierung der Inhalte für Suchmaschinen, aber eine große Zahl nutzt illegale oder zumindest stark manipulative Mittel).

Aufgedeckt werden könnnen solche Manipulationen von Wählern mittels Browser-Plugins die regelmäßig Suchanfragen in den Browsern von realen Personen mit ihrer eigenen Suchhistorie machen. Solche Forschungen finden in den USA statt, aber auch in Deutschland vor der letzten Bundestagswahl 2017.

Hier ein Artikel von Robert Epstein, ein amerikanischer Psychologe der durch ein Monitoring System versucht, Wahlmanipulationen durch Suchmaschinen zu erkennen: Taming Big Tech: The Case for Monitoring.

 

 

 

umschlagbild von Corpus Delicti

Gefahr für die Demokratie

Mit dieser leichten Steuerbarkeit der Menschen ist aber auch unser demokratisches Gesellschaftssystem in Gefahr: Wenn sich eine ausreichende Zahl von Menschen durch die Dienste im Internet steuern und manipulieren lässt und gleichzeitig die Anonymität mehr oder weniger schleichend immer stärker abgebaut wird, so ist wirkliche Demokratie nicht mehr möglich.

Singulariät

Der Zeitpunkt, ab dem wir den Algorithmen die Parameter, nach denen sie uns bewerten, nicht mehr vorgeben, sondern wenn diese ihre Vorgaben selbst bestimmen. In dem Augenblick haben die Menschen die Kontrolle über ihre Zukunft abgegeben und die Zivilisation wird sich dramatisch verändern.

Dann ist auch die Frage beantwortet, ob die "autoritären" Gesellschaften wie die chinesische für ihre wachsende global vernetzte Mittelklasse mehr Demokratie einführen muss, längst beantwortet: Das "Problem der Demokratie" wird durch die Social Networks gerade gelöst. ;-)

Da bleibt nur die Frage offen, ob wir von den Kontrolleuren der Social Networks gesteuert werden, oder ob nicht diese auch irgendwann die Kontrolle verlieren und die Algorithmen so komplex werden, dass sie nicht mehr durchschaubar sind. Dann bleibt offen, ob wir die letzte Generation vor der (befürchteten oder erhofften) Singularität sind oder nicht vielleicht die erste Generation danach.

Aus dem Jahr 2012 eine sehr lesenswerte Serie von Robert Epstein: Why Google Should Be Regulated. Ebenso dieser Artikel US-Professor warnt: Google-Algorithmus kann Demokratie gefährden.

 

 

 

Roboter-Gesetze

Noch etwas weiter gehen die Überlegungen auf meiner anderen Website wo ich darüber schreibe, ob wir vor fortgeschrittenen künstlichen Intelligenzen Angst haben müssen und wie man die evt zähmen kann: Müssen wir Angst haben vor der Machtübernahme durch eine Artificial Intelligence? - Neue Ansätze zu besseren Robotergesetzen.

Deep Learning Algorithmen sind nachvollziehbar

Ebenfalls auf meiner anderen Website ein Text dazu, warum die modernen AI-Algorithmen nicht mehr verstanden werden könnnen und dadurch die häufige Forderung nach Offenlegung der Algorithmen an der Realität vorbei geht.

Weiterführende Informationen

Ein langer wissenschaftlicher Text von Tarleton Gillespie The Relevance of Algorithms beschreibt die 6 Dimensionen, die er bei der Untersuchung der Macht von Algorithmen erkennt.

  1. Patterns of inclusion: the choices behind what makes it into an index in the first place, what is excluded, and how data is made algorithm ready
  2. Cycles of anticipation: the implications of algorithm providers' attempts to thoroughly know and predict their users, and how the conclusions they draw can matter
  3. The evaluation of relevance: the criteria by which algorithms determine what is relevant, how those criteria are obscured from us, and how they enact political choices about appropriate and legitimate knowledge
  4. The promise of algorithmic objectivity: the way the technical character of the algorithm is positioned as an assurance of impartiality, and how that claim is maintained in the face of controversy
  5. Entanglement with practice: how users reshape their practices to suit the algorithms they depend on, and how they can turn algorithms into terrains for political contest, sometimes even to interrogate the politics of the algorithm itself
  6. The production of calculated publics: how the algorithmic presentation of publics back to themselves shape a public's sense of itself, and who is best positioned to benefit from that knowledge.

 



Philipp Schaumann, https://sicherheitskultur.at/


zeigende Hand als Hinweis auf Verlinkung zur HauptseiteHome

Copyright-Hinweis:
Das Copyright des Materials auf diesen Webseiten liegt, falls kein anderer Autor genannt wird, bei Philipp Schaumann. Creative Commons License Icon
Diese Texte sind lizensiert unter der Create Commons Attribution-Noncommercial-Share Alike 2.0 Austria Lizenz. Natrlich gelten auch die Regeln des Fair Use und ber Ausnahmen bzgl. der Lizenz kann jederzeit mit den Autoren gesprochen werden.