Home      Themenübersicht / Sitemap      Webmaster      

 

Von der flächendeckenden Überwachung zur flächendeckenden Lenkung der Bürger - Manipulation durch Algorithmen

Autor: Philipp Schaumann, Stand: Dez. 2018

An die (freiwillige) flächendeckende Überwachung durch die verschiedenen Dienstleister wie Google, Facebook, Apple, Microsoft, Twitter, WhatsApp, Skype und der vielfältigen Fitness-Tracker haben sich die meisten Nutzer anscheinend bereits gewöhnt. Die meisten wissen, dass bei Nutzung eines Smartphones mit den vielfältigen Apps viel Privates an die jeweiligen Dienstleister geliefert wird. Auch mit der Weitergabe dieser Daten an die „Sicherheitsdienste“ scheinen sich die meisten irgendwie abgefunden zu haben.

Link-Konventionen:
Fette Links öffnen ein fremde Seite in einem neuen Fenster
Blau hinterlegte Links bleiben auf der sicherheitskultur.at

Unklar ist den meisten Nutzern aber, dass die Big Data Algorithmen daraus nicht nur benutzer-bezogene Werbung generieren, sondern dass diese (undurchsichtigen und fremdgesteuerten) Algorithmen Entscheidungen für und über die Nutzer treffen, ohne dass der Benutzer dies beeinflussen kann. Das reicht von der Werbung die wir sehen, über die Flüge die wir angeboten bekommen, die Nachrichten die uns gezeigt werden bis zu den Datingpartnern die uns vorgeschlagen werden.

Alle diese und weitere Beispiele bringt auch das "Digital-Manifest" einer Gruppe von Wissenschaftlern im Nov. 2015. (Der Artikel fasst ihr längeres Manifest zusammen, hier das Original Digitale Demokratie statt Datendiktatur). Im zweiten Teil des Manifests schlagen sie dann Lösungsstrategien vor, wie wir uns trotz des großflächigen Manipulationsversuchs unsere Demokratie und das selbständige Denken erhalten können. Ich hoffe, dass die Strategie zum Ziel führt).

Ein Beispiel für die kleinen Manipulationen die ständig in unser Leben eingreifen und uns ein klein wenig lenken ist der EdgeRank Algorithmus von Facebook, der darüber entscheidet, welche Postings aus dem "Freundeskreis", bzw. den Firmen die jemand "geliked" hat wirklich angezeigt werden. Mehr dazu in einem Kapitel weiter unten.

Aber es kann auch persönlicher werden: Wissenschaftler haben 2013 auf Facebook an 300 0000 unfreiwilligen Testpersonen demonstriert, wie eine selektive Nachrichtenauswahl die Stimmung von Zielpersonen beeinflusst werden kann. Sie haben dafür den oben erwähnten EdgeRank Algorithmus leicht modifiziert und damit den Anteil der negativen Nachrichten erhöht oder abgesenkt. Als Ergebnis haben diese Benutzer dann selbst entweder mehr positive oder mehr negative Nachrichten gepostet, d.h. Emotionen stecken an.

Dass Gefühle und Einstellungen manipulierbar sind, wird die Werbetreibenden nicht wirklich überraschen: Das ist der Kernpunkt der durch Werbung erreicht werden soll - eine Änderung der Einstellung zu einem Produkt. Und unsere Politik bewegt sich immer mehr in Richtung Nutzung von Marketing-Methoden. Die Spin-Doktoren aus der Werbung nutzen natürlich die gleichen "Tricks", d.h. die gleichen Methoden.

Verstehen wir die Algorithmen denn überhaupt noch?

Ein wichtiges Problem zur Problematik der Allgegenwart von Algorithmen ist, dass diese heute nicht (mehr) verstanden und dadurch auch nicht mehr wirklich kontrolliert werden können. Im Bereich Data Mining werden statistische Verfahren mit möglichst vielen Parametern eingesetzt, bei denen niemand weiß (und auch niemand wirklich interessiert) ob dahinter irgendeine Realität steckt, solange nur die Verkaufszahlen oder die Besucherzahlen oder die Zahl der Klicks stimmt.

Das führt dann schon mal zu kuriosen Ergebnissen, wie wenn eine Firma sich von einem Tag auf den anderen nur noch auf den hinteren Seiten der Google-Suche findet und dann lange kämpfen muss, um wieder gelistet zu werden. Oder wenn z.B. der Facebook Löschungsalgorithmus irgendwie entscheidet, dass die Postings von Zuckerberg nicht den Regeln entsprechen. Nicht OK ist es, wenn solche nicht-verstandenen Algorithmen dann irgendwie diskriminierend wirken, wie im Link beschrieben wird.

Noch viel undurchschaubarer ist es bei den AI-Algorithmen, die in naher Zukunft unsere Autos steuern werden und die mit neuronalen Netzen und ähnlichen Algorithmen arbeiten, die überhaupt keinen Einblick mehr erlauben. Wir wissen dann nicht mehr, warum das Auto auf den Mittelstreifen gefahren ist oder gegen den Lastwagen, wir können nur noch Theorien aufstellen. Mehr zum Nicht-Verstehen von Algorithmen auf meiner anderen Website.

Solche Techniken laufen heute unter dem Schlagwort "Nudging" oder "behavioral science". Dabei geht es darum, dass Menschen erhöhten Denkaufwand in der Regel vermeiden und z.B. die Grundeinstellungen (Defaults) mit einer höheren Wahrscheinlichkeit so lassen wie sie sind. Regierungen und Firmen können dies nutzen um uns zu "lenken". Natürlich kann es dabei zu Gegenreaktionen kommen ("jetzt erst recht!") aber in der Mehrheit der Fälle greifen solche kleinen Manipulationen durchaus. An anderer Stelle mehr zu Nudging.

Wir (die Nutzer der hilfreichen Tools die unsere Daten sammeln) nutzen diese "Helferchen" in einer Mischung aus Begeisterung dass wir einen kostenlosen "coolen" Service nutzen dürfen (Merke: Geiz ist geil), in Verbindung mit einem Schuss Neoliberalismus ("der Markt wird's schon richten") und einer Kapitulation gegenüber der Kombination der Privatisierung aller Dienste und dem Businessmodell, dass diese Dienste mit unseren Daten bezahlt werden müssen.

Die hilfreichen Apps (z.B. Fitness-Tracker oder Ernährungsberater oder Google Now oder . . . ) beginnen damit, "nur zu unserem Besten natürlich", mit ihren guten Tipps, Vorschlägen, Erinnerungen, . . . unser Leben ganz langsam aber sicher zu verändern.

Hier ein Vortrag von mir zu diesem Thema: Big Data Algorithmen als Lenkungswerkzeug.

Auch in meinem Text über DNA Analysen ist die Undurchschaubarkeit von Algorithmen eines der Probleme. Auf meiner anderen Website zu autonomen Fahrzeugen ist ein weiterer Artikel zum Thema Deep Learning Algorithmen sind nicht nachvollziehbar. Und mehr Beispiele für Diskrimierung durch Algorithmen zeige ich in meinem Artikel zum Thema gläserner Mensch und Scoring von Menschen.

Ein wie ich denke drastisches Beispiel ist die Wahl des Lebenspartners auf Dating-Websites, die schon heute mittels Algorithmen welche Persönlichkeit und Beziehungsglück miteinander verknüpfen, bestimmen, mit wem die Nutzer der Website glücklich sein werden. (Die Details, wie OkCupid dem Benutzer eine enge Auswahl vorlegt, stehen in wired.com). Es liegt nahe, dass der Firma der kurzfristige Umsatz näher liegt als das langfristige Glück in den Beziehungen. D.h. es kommt der Verdacht auf, dass da durchaus im Sinne des Unternehmens optimiert werden könnte.

Cory Doctorow fasst 2016 die Problematik in einem Artikel zusammen: AI's blind spot: garbage in, garbage out. Er verlinkt auch auf die Studie des Obama White House zu "how AI could increase inequality, erode accountability". Jegliche künstliche Intelligenz orientiert sich an den Daten mit denen sie gefüttert wird, und da stecken alle Vorurteile bereits drin.

Auf meiner anderen Website gibt es noch viel mehr zu Problemen mit künstlicher Intelligenz.

 

 

 

Diskriminierung durch Algorithmen

Ganz unschön ist es, wenn die Algorithmen Personengruppen diskriminieren. Das tun Algorithmen natürlich nicht bewusst oder gezielt, sondern diese Möglichkeit liegt in ihrer Natur. Bei Big Data Auswertungen, z.B. wenn Amazon herausfinden will, welche Bücher ein Kunde mögen könnte, ist es komplett egal, warum bestimmte Vorschläge gemacht werden. Unsinnige Vorschläge für einzelne Personen führen auch zu keinerlei Nachteilen für die betroffene Person. Der Algorithmus sucht statistische Datenähnlichkeiten, Cluster genannt. Personen innerhalb eines Clusters haben statistisch eine höhere Wahrscheinlichkeit zu ähnlichem Verhalten. Warum das so ist und welche der Personen auf Grund einer Anomalität in ein Cluster gefallen sind, ist für den Verkaufserfolg nicht interessant. Wichtig ist nur, dass für eine ausreichende Zahl von Menschen die Vorschläge "passen".

Dadurch entsteht die Problematik, dass die lernenden Algorithmus einfach nur die Vergangenheit in die Zukunft projezieren. Dies ist bei Amazon zum Problem bei der Bewerberauswahl geworden. Dort wurde ein Algorithmus mit Hilfe der bisherigen Entscheidungen bei der Auswahl der Bewerber trainiert, dann stellte ich heraus dass bei gleicher Qualifikation von Männern und Frauen, die Frauen keine Chance auf ein Einstellungsgespräch haben. Amazon setzt den Algorithmus nun nicht mehr ein. Selbstlernende Algorithmen verhalten sich genau so, wie sie aus den Lerndaten lernen.

Hier eine gute Erklärung von Zeynep Tufekci wie diese Diskriminierung entsteht:

Die Ergebnisse der statistischen Analysen sind daher dann zumeist nicht im Detail nachvollziehbar. Wichtig ist für das Unternehmen aber nur, dass das Ergebnis mit einer hohen Wahrscheinlichkeit stimmt. Bei Büchern ist das ja OK - nicht OK ist es, wenn dadurch echte Benachteiligungen für konkrete Personen entstehen, siehe mein Artikel zur Bewertung von Arbeitslosen in Österreich, bei der Bewertung der Kreditwürdigkeit und im nächsten Kapitel zur Justiz.

An anderer Stelle berichte ich über die entdeckten Versuche von Werbetreibenden, Verhaltensveränderungen herbeizuführen.

Es gibt von mir auch einen Vortrag zu diesen Themen: Die letzte Generation vor der Singularität - Die Macht der Algorithmen.

Das Video zu dem Vortrag ist auf Youtube: "Von der flächendeckenden Überwachung zur flächendeckenden Manipulation - die Macht der Algorithmen".

Noch eine Leseempfehlung: Wolfie Christl: Durchleuchtet, analysiert und einsortiert. Eine ausführliche Studie belegt nicht nur an Hand von vielen Beispielen, wie wir analysiert und einsortiert werden, sondern auch, wie wir dadurch manipuliert und fremd-bestimmt werden.

Eine sehr interessante Folge von Artikeln zum Thema Algorithmen und ihre gesellschaftlichen Aspekte findet sich bei Jürgen Geuter: Machines Of Loving Grace. Jeder Artikel verlinkt am Ende auf einen weiteren.

 

Big Data in der Justiz - Systematische Benachteiligung

In den USA gibt es Programme, die Richtern die Länge der Strafe vorschlagen und auch, ob jemand auf nach Abbüßung einer Teilstrafe auf Bewährung entlassen werden sollte. Hier die Website der Sentence Advisory Commission von Missouri.

Eine Studie des US-Justizministeriums hat 2016 nachgerechnet und gefunden, dass diese Algorithmen, so neutral sie klingen mögen, Afroamerikaner systematisch benachteiligen und in ihren Prognosen trotz (oder wegen) Big Data Analysen des sozialen Hintergrunds des Betroffenen nicht wirklich gut sind. Es werden (korrekte) statistische Aussagen über eine Gruppe auf eine einzelne Person verallgemeinert, obwohl nicht alle Mitglieder der Gruppe gleich sind.

Sehr lesenwert der ausführliche Artikel von Propublica: What Algorithmic Injustice Looks Like in Real Life mit vielen konkreten Beispielen. Der Artikel zeigt, dass die Rückfallwahrscheinlichkeiten bei Schwarzen durch die Algorithemen systematisch höher eingeschätzt wird als bei Weißen und daher die Strafen bei vergleichbaren Vergehen deutlich höher ausfallen. Dies führt dann natürlich auch bei zukünftigen Kontakten mit der Polizei zu negativerer Bewertung.

Grund ist, dass der Algorithmus zwar den Einzelfall analysieren soll, aber aus Hintergrunddaten wie ethnische Zuordnung, Ausbildung, Familienverhältnisse in einer statistischen Analyse ganz automatisch alle Afro-Amerikaner in einen Topf wirft.

Und hier der Link zu einer 2016 Studie des (Obama-)White Houses zu Big Risks, Big Opportunities: the Intersection of Big Data and Civil Rights.

 

Big Data bei Bewerbungen und in der Arbeitswelt

Hier ist ein Artikel in dem ein Wirtschaftsinformatiker im Interview erklärt, warum er ein Bewerbungsgespräch mit einem Roboter für fairer hält. Aber auch er muss natürlich bestätigen, dass die künstliche Intelligenz alle Vorurteile die im Trainingsmaterial stecken übernehmen wird. Es entsteht lediglich der Anschein von Objektivität. Aber auf diesen Zug wird überall aufgesprungen: Wenn Algorithmen Bewerber und Stelle matchen oder die falsche Behauptung: "Der Algorithmus diskriminiert nicht". Was er dann gleich widerlegt mit: "Weitzel: Es kommt selbstverständlich darauf an, was man ihnen beibringt und wie sie lernen." D.h. ein Algorithmus, der wie das in diesem Fall üblich ist, einem menschlichen Recruiter über die Schulter schaut um zu lernen, der übernimmt alle seine Vorurteile - aber vom Algorithmus bekommt das dann den Augenschein von Objektivität.

Das Problem Big Five

2014 zeigt eine Studie über die Auswertung der Likes, dass die blose Auswertung der Tweets oder Facebook-Postings oder Facebook-Likes einer Person eine Persönlichkeitsanalyse gemacht werden kann, die treffsicherere Aussagen erlaubt als die von Familienangehörigen. Dafür wird zumeist Big Five verwendet, ein Persönlichkeitskonzept, bei dem für jede Person (i.d.Regel durch Fragebogen) das Ausmaß von folgenden Faktoren bestimmt wird: Neurotizismus, Extraversion, Offenheit für Erfahrungen, Gewissenhaftigkeit und Verträglichkeit. Die Kategorisierung erfolgt an Hand dieser 5 Skalen (=Dimensionen). Es konnte z.B. gezeigt werden, dass die „Treffer-Rate“ von Familienmitgliedern schlechter ist als die simple Auswertung der Likes.

Aber es geht noch viel bizarrer: Der wired Artikel status update language used to predict Facebook users' age, gender, personality beschreibt, dass sich (angeblich) bereits aus der Wortwahl, aber auch der Satzlänge und der Wortlänge eine recht gute Einordnung in die Big Five Kategorien erstellen lässt. Ob sich auf diese Weise wirklich die Persönlichkeit beschreiben lässt, das ist nicht so wichtig, die Methode wird leider trotzdem eingesetzt und erlaubt z.B. eine automatisierte Persönlichkeitsanalyse von Bewerbern deren Social Network Auftritte bekannt sind.

Hier wird behauptet, dass ein Algorithmus, der in Deutschland bereits eingesetzt wird, binnen weniger Minuten durch Sprachuntersuchungen Persönlichkeitsanalysen von Bewerbern erstellt. Die Ergebnisse kommen nach Konzernangaben zu über 90% an das heran, was Psychologen mit Tests in tagelanger Arbeit bei Assessment Centern herausfinden. Außerdem soll die Software Depressionen erkennen.

Meine Einschätzung: "too good to be true", aber da überall Personal eingespart wird kann die Versuchung für die Personalbüros sehr groß werden so was zu nutzen.

Solche Big Five Analysen spielen auch bei den US-Wahlen 2016 eine große Rolle, neben dem anderen Problem der Fake News.

Wie Big Data bei der Prüfung der Kreditwürdigkeit und beim österreichischen Arbeitsamt eingesetzt wird, das gibt es an anderer Stelle.

Der Block rechts zu Big Five ist ein gutes (schlechtes) Beispiel für Scheinobjektivität auf der Basis von mehr oder weniger zufälligen Korrelationen die sich aus den Big Data Analysen irgendwie ergeben haben. Da wird aus Satzlänge und Wortlänge eine Einordnung in die Big Five Kategorien erstellt und der gewünschten Persönlichkeit für die Neu-Einstellung gegenübergestellt.

Der Artikel Auch künstliche Intelligenz kann Vorurteile entwickeln beschreibt und verlinkt konkrete Versuche die dazu gemacht wurden. Ähnlich wie bei den Assoziationstest mit denen unterschwellige Vorurteile bei Menschen aufgespürt werden, wurde dies auch mit einer AI-Implementierung gemacht. Und siehe, auch die künstliche Intelligenz hatte bereits aus den Vokabeln mit denen sie gefüttert werden musste damit sie kommunizieren kann bereits Kunst mit weiblich, aber Mathematik mit männlich assoziiert. Namen europäischer Herkunft wurden eher mit positiven Eigenschaften verbunden als afroamerikanische Namen. Wired bringt dazu ein Interview Was passiert, wenn KIs unsere schlechten Eigenschaften übernehmen?

Die Bertelsmann-Stiftung hat 2017 eine Studie zu derzeit bereits eingesetzten automatisierten Bewertungssystemen durchgeführt („algorithmic decision making - ADM): Wenn Maschinen Menschen bewerten - Internationale Fallbeispiele für Prozesse algorithmischer Entscheidungsfindung. Sie zeigen, dass der Einsatz durchaus nicht unproblematisch ist. Sie zeigen, dass 2017 bereits 70% der Bewerbungsunterlagen in UK und USA von Algorithmen (vor-)bewertet werden und dass Gerichte in neun US-Bundesstaaten Algorithemen für die Risikoprognosen der Angeklagten nutzen. Die Studie zeigt, dass zwar theoretisch algorithmische Verfahren zu weniger Diskriminierung führen könnten, aber dass zahlreiche Fehler bei der Implementierung der aktuell eingesetzten Algorithmen (bzw. die Vorurteile in den eingesetzten Daten) zu fehlerhaften und diskriminierenden Ergebnissen führen können. Die Autoren bemerken, dass das Kategorisieren von Menschen ohne große Debatte über Fairness, Erklärbarkeit, Überprüfbarkeit oder Korrigierbarkeit der Verfahren eingesetzt wird. Der Einsatz dieser Form von AI (artificial intelligence) löst offenbar nicht die gleichen Ängste aus wie die zielgerichteten Maschinen-Intelligenzen aus Filem, z.B. HAL 9000.

Algorithmen in der Arbeitswelt - Uber lebt es vor

Frank Pasquale schreibt einen ausführlichen, etwas beklemmenden Artikel über das Problem der Un-accountable Algorithms: "Digital star chamber - Judge, Jury and Executioner".

Er beginnt mit der Schilderung eines Uber-Fahrers als Beispiel für die mögliche zukünftige Arbeitswelt: "In a recent podcast series called Instaserfs, a former Uber driver named Mansour gave a chilling description of the new, computer-mediated workplace.

First, the company tried to persuade him to take a predatory loan to buy a new car. Apparently a number cruncher deemed him at high risk of defaulting.

Second, Uber would never respond in person to him – it just sent text messages and emails. This style of supervision was a series of take-it-or-leave-it ultimatums – a digital boss coded in advance.

And finally, what seemed most outrageous to Mansour: his job could be terminated without notice if a few passengers gave him one-star reviews, since that could drag his average below 4.7. According to him, Uber has no real appeal recourse or other due process in play for a rating system that can instantly put a driver out of work – it simply crunches the numbers."

 

"Self-Tracking" in der Arbeitswelt

In Europa ist der Einsatz von solchen bewertenden Algorithmen zum Glück derzeit (noch) eingeschränkt. So verlangen die Gesetze, dass es eine Einspruchsmöglichkeit gegen solche Entscheidungen geben muss und dass die Entscheidung erklärt werden muss (was z.B. Algorithmen auf der Basis von neuronalen Netzen nicht können). Diese Einspruchsmöglichkeit ist aber oft nur theoretisch, z.B. wenn Bewerbungsschreiben maschinell bewertet werden.

Und wenn wir den Job dann erst mal haben, dann geht die schöne neue Welt immer weiter: Soma Analytics verkauft z.B. eine App an Firmen, die "hilft, deine Angestellten besser kennenzulernen”, den "Gemütszustand" eines Teams, das "Wohlbefinden" einer Abteilung und den individuellen Stresslevel durch Analyse vom Schlaf- und Beischlafverhalten zu analysieren. Die Firma hat dafür (wohl berechtigt) den Big Brother Award in D für 2018 gewonnen, außerdem auch 1,8 Mio Funding durch die EU. Soma Analytics: „Es sieht so aus, als würden wir länger hier bleiben.“

Das ist aber keine Ausnahme: City firm monitors lawyers’ calls in bid to combat stress. Das ist eigentlich in Europa nicht so ganz OK, aber mit Zustimmung der Angestellten stellt der Daten- und Arbeitnehmerschutz kein Problem dar, auch in Deutschland und Österreich. Hier noch Beispiele: Kelaa Mental Resilience, die App für deine Personalabteilung und Kontrolle im Unternehmen Wenn Daten den Wert eines Mitarbeiters bestimmen.

China prescht mit einem Helm der Gehirnaktivitäten misst noch weiter vor. Und mehr zum Thema Self-Tracking und was das für Privatsphäre bedeutet gibt es an anderer Stelle.

 

 

 

Die Nachrichtenauswahl durch unsere Social Networks und Suchmaschinen

Youtube, der große Radikalisierer

Unter dieser Überschrift findet sich Anfang 2018 ein interessanter Artikel in der NYT. Es geht darin um ein Selbstexperiment. Das fing ganz harmlos an: der Autor hat sich vor der Wahl in den USA ein Video über Trump angesehen. Und dann jeweils auf nächste Video geklickt das dort empfohlen wurde. Nach einigen Weiterklicks war er bei ultra-rechten Verschwörungen.

Dann hat er den Test mit einem anderen Youtube-Account mit Clinton versucht, jeweils das nächste Video angeklickt, dann wieder das nächste, etc. Nach einigen Klicks war er bei linken Verschwörungstheoretikern, z.B. 9/11-Theoretikern, etc.

Das geht auch außerhalb der Politik: Start mit Video zu vegetarischem Essen, das endet bei extremen Veganismus. Auch das Wallstreet Journal hat solche Tests gemacht: How YouTube Drives People to the Internet’s Darkest Corners. Start mit einem Video über Impfungen und nach einigen Klicks endet man bei extremen Impfgegnern.

Was die Tester auch anschauen, sie enden immer bei möglichst extremen Positionen. Man könnte fast auf die Idee kommen, Google will möglichst viel Unruhe in die Welt bringen, aber vermutlich ist das alles viel simpler: Google will mit seinen Algorithmen und der Artificial Intelligence nur einfach möglichst viel Geld machen indem die Benutzer möglichst lange am Schirm gehalten werden. Und der Algorithmus glaubt, das ginge am besten durch möglichst extreme Positionen.

2018 ging der Empfehlungsalgorithmus so weit, dass er zu dem Schul-Shooting in Florida Videos empfiehlt, in denen die protestierenden Schüler als bezahlte Schauspieler diffamiert werden. Und das geht weiter bis zu Video-Empfehlungen, dass eine 2012 School-Shooting nur ein Hoax war.

Das ist eine sehr gefährliche Tendenz, wenn wir immer mehr Entscheidungen den Algorithmen überlassen die nur auf das Profit-Interesse ihrer Eigentümer optimieren. An anderer Stelle mehr zu gefährlichen Algorithmen. Hier noch ein Artikel über die Macht der Internetkonzerne.

Die Nachrichten, die wir alle jeden Tag sehen, werden seit es Zeitungen gibt, selektiv ausgewählt. Jede Redaktion wählt es der riesigen Menge von möglichen Themen diejenigen, die der jeweiligen Redaktion am wichtigsten erscheinen. Und die Leser wählen aus, ob sie lieber eine Boulevard-Zeitung oder lieber eine sog. Qualitätszeitung lesen möchten.

Der Facebook PageRank Algorithmus berücksichtigt z.B. ob der Nutzer auf die Posts von dieser Quelle nie oder oft reagiert (z.B. mit Like) oder ob der Benutzer oft auf die TimeLine des Posters geht. Das ist einleuchtend, aber dann gibt es noch überraschende Kriterien. Wenn in einem Beitrag der Name oder eine Marke eines Werbetreibenden vorkommt, so bekommt dieser Post eine höhere Priorität (egal ob der Beitrag positiv oder negativ ist - "I hate xxxxx" bekommt (derzeit) die gleiche Priorität wie "I love xxxxx" - Manche Benutzer nutzen das aus, indem sie willkürlich einen Markennamen im Post anhängen).

Social Networks haben die Problemstellung, dass die meisten Nutzer so große "Freundeskreise" haben, dass sie von Nachrichten überschwemmt werden würden, wenn alle diese Meldungen jeweils zu einem sog. Newsfeed führen würden (und die Aufmerksamkeit des Nutzer anfordern würden). Daher hat Facebook seinen PageRank Algorithmus, der entscheidet, welche der vielen Nachrichten der jeweilige Nutzer automatisch sehen wird (wenn der Nutzer auf die Timeline jedes Friends geht, so sieht er natürlich dort alle Postiings der Person, aber er wird eben nicht auf alle Posts aufmerksam gemacht). Twitter und Youtube und alle ähnlichen Dienste arbeiten sehr ähnlich, auch sie entscheiden für den Benutzer.

Nach der Veröffentlichung der Studie bei der Facebook Forscher durch gezielte Manipulation der Auswahl Forschung betreiben wollten ist dies zu einem Thema in der Öffentlichkeit geworden. Der Artikel The secret system controlling your Facebook News Feed beschreibt Reaktionen von Nutzern auf die Nachricht, dass sie nicht alles automatisch sehen, was die Friends posten. In dem Fall hatten 62% keine Ahnung von der Auswahl und waren ziemlich erzürnt, wenn die Posts von engen Freunden oder Familie nicht prominent dargestellt worden waren. Hier Details [und praktische Übungen] zum Algorithmus mit dem Facebook auswählt welche Nachrichten von "friends" und Werbefirmen in der Timeline gezeigt werden.

Durch die automatische Auswahl der Artikel in den Facebook Newsfeeds waren die Nachrichten rund um den Tod von Michael Brown in Ferguson 2014 lange Zeit kein Thema, Klatschgeschichten waren als "relevanter" eingestuft.

Wie dramatisch effektiv die Manipulation durch Unwahrheiten in den neuen Medien ist, das haben Brexit und die US-Wahl 2016 gut demonstriert. Disinformation, d.h. das Verteilen von Unwahrheit ist zur einem richtigen Geschäftszweig geworden. Google und Facebook versuchen nun, zurückzurudern und diese Welle einzudämmen.

Sept. 2014: Jetzt steigt auch Twitter ein: Twitter: Algorithmen sollen mehr Einfluss auf die Timeline bekommen. Zitat: "Dadurch sollen sie [die Benutzer] weniger Inhalte verpassen, die die Plattform für wichtig erachtet." Ich kann mir gut vorstellen, dass Werbe-Tweets von Twitter unter "die die Plattform für wichtig erachtet" fallen könnten. Der Artikel erwähnt auch: "Diese zentrale Funktionsweise der Timeline war außerdem durch die ohne viele Worte eingeführte Einschleusung fremder Tweets verändert worden. Eine Möglichkeit, sich ihr zu entziehen, ist nicht vorgesehen."

 

 

 

Buchempfehlung

Ich habe bei dem Krimi Zero - Sie wissen was du tust (Autor Marc Elseberg) mitgeholfen, der viele der hier in diesem Artikel behandelten Themen in Form eines Krimis noch einen Schritt weiter treibt. Das Buch wurde übrigens 2014 von Bild der Wissenschaft zum Wissensbuch des Jahres in der Kategorie Unterhaltung gekürt.

Das Buch untersucht, was passieren wird, wenn noch mehr Menschen noch mehr Daten mittels Apps ins Netz laden und sich dann von den Apps "helfen" lassen, natürlich nur zu ihrem Besten.

Die Geschichte zeigt deutlich, welche gigantischen Manipulationsmöglichkeiten so etwas bietet und wie es letztendlich in eine Zukunft führen kann, in der die Menschen von Algorithmen ganz subtil gelenkt werden und diese Algorithmen durch Menschen kontrolliert und manipuliert. Wenn jemand in der Lage ist, über Social Networks Wahlen zu manipulieren, so ist es nicht leicht, dieser Versuchung zu widerstehen. Demokratie wie wir sie kennen ist damit weitgehend erledigt.

Das Buch spielt in einer leider sehr nahen Zukunft. Auf der verlinkten Website gibt Hintergrundinformationen, ein Quiz und vieles mehr.

An anderer Stelle stelle ich Konzepte dar, wie wir ein Internet schaffen könnte, das weniger manipulativ ist.

Gefährdung von Demokratie durch Beeinflussung von Wahlen

Dieser Artikel hier behandelt Wahlbeeinflussungen durch Suchmaschinen und durch gezielte Motivation ausgewählter Wählergruppen.

Ein weiterer Artikel diskutiert die Wahlbeeinflussungen durch Fake-News und bots, so wie wir das bei Brexit und der Trump-Wahl erlebt haben.

 

Beispiel Wahlmanipulation durch Page Ranking oder Nachrichten an ausgewählte Nutzer

Für Wahlmanimpulationen gibt es viele Möglichkeiten. Für die Page Ranking Algorithmen der Suchmaschinen gibt es die Option der selektiven Auswahl des Lesestoffs. Das wurde bereits 2013 gezeigt: Manipulating Search Rankings Can Shift Voters’ Preferences Substantially Without Their Awareness. In dem Experiment wurde den amerikanischen Testpersonen die Aufgabe gestellt, sich für einen von 2 australischen Politikern als Premierninister zu entscheiden. Grundlage waren Suchergebnisse, die für unterschiedliche Personen unterschiedlich manipuliert wurden. Auf diese Weise konnte, wenig überraschend, das Wahlergebnis gesteuert werden. Getestet wurde aber vor allen Dingen auch, ob die Testpersonen gemerkt haben, dass sie einseitige Ergebnisse geliefert bekamen. Durch geschicktes Ausbalancieren der Manipulation wurde erreicht, dass die Testpersonen nichts merkten.

Welchen Einfluss der Google Page Rank Algorithmus auf das Überleben von Firmen hat, die davon abhängen dass sie in Suchmaschinen gefunden werden, das zeigt dieser Artikel A Gmail Rival Sent to Siberia by a Mysterious Google Glitch. Protonmail, eine sichere Schweizer Alternative zu Gmail, war von dem ersten Platz bei der Suche nach “encrypted email” oder “secure email” auf Seite 3 zurückgefallen, und es gab keine neuen Kunden mehr. Nach vielen Mühen und der Drohung mit Öffentlichkeit hat Google diesen Fehler im Page Rank Algorithmus behoben, Erklärung gibt es keine.

Aber auch Facebook hatte bereits in 2010 erfolgreich mit Wahlmanipulation experimentiert. Ganz harmlos: sie haben ausgewählten Personen am Wahltag eine Aufforderung gezeigt, doch wählen zu gehen. Am effektivsten war jedoch, wenn den Nutzern gezeigt wurde, welche der "friends" bereits gewählt hatten. Den Erfolg haben die Facebook-Forscher gemessen, indem sie nachträglich in Wahlregistern geprüft haben, ob diese Personen verstärkt zur Wahl gegangen sind.

Das klingt jetzt erst mal vergleichsweise harmlos, aber Facebook (und alle anderen sozialen Netze) wissen natürlich aus dem Beobachten des Surf-Verhaltens, wie eine Person mit hoher Wahrscheinlichkeit wählen wird. D.h. es ist sehr einfach, nur die Sympathisanten eines bestimmten Kandidatens zu den Urnen zu schicken. Und damit es nicht auffällt braucht das gar nicht flächendeckend zu sein. Oft fallen in einzelnen Wahlbezirken die Ergebnisse extrem knapp aus - es reicht, wenn sich die Manipulation auf Wahlbezirke konzentriert, bei denen ein knappes Ergebnis vorhergesagt wird (und das wissen die Statistiker der Social Networks sehr gut, auch aus ihren eigenen Beobachtungen der Benutzer). Auch die Zeitschrift Schweizermonat ist darüber beunruhigt: Wird Facebook bald Wahlen entscheiden?

Die US-Wahlen 2016

Klarstellung: es gibt derzeit noch keine belegbaren Hinweise, dass Wahlen gezielt in eine Richtung beeinflusst worden sind. Aber allein die Möglichkeit der Beeinflussung stellt eine Bedrohung der Demokratie dar. Außerdem wäre es extrem schwer, eine solche Beeinflussung nachzuweisen.

Aber welche dramatischen Auswirkungen die vollkommene Transparenz der meisten Menschen in den USA hat, zeigt der Artikel Wahlkampf der Datenbanken in den USA in detaillierter Form auf.

In wieweit die in diesem Schweizer Artikel aufgezeigten Manipulationen dann letztendlich den Sieg für Trump gebracht haben oder ob einfach nur die Firma Cambridge Analytica die Gunst der Stunde für ihre Werbung nutzt ist umstritten. Das Youtube Video The Power of Big Data and Psychographics zeigt jedoch, welche Manipulationsziele diese Big Data Forscher haben, auch wenn andere sagen "So einfach ist das nicht".

Mehr zu den US-Wahlen auch beim Thema Fake News.

Ziel der Forscher bei Facebook und den anderen Internetdiensten ist, sicherzustellen, dass unser Verhalten für die Dienste und deren Anzeigenkunden optimal ist. Hier noch einige Hintergründe zu den Forschern bei Facebook: Facebook-Wissenschaftler hatten kaum Grenzen und Facebook experimentiert schon länger mit Nutzerdaten.

Siehe auch dieser Auszug aus dem neuen Buch von Bruce Schneier: Surveillance-based manipulation: How Facebook or Google could tilt elections.

Eine Studie aus 2018 untersucht den Search Engine Manipulation Effect (SEME): The Unprecedented Power of Digital Platforms to Control Opinions and Votes. Der Psychologe, der bereits 2013 diesen Effekt nachweisen konnte argumentiert heute, dass ca. ein Viertel aller Wahlen dadurch beeinflusst werden, wie und mit welchen Artikeln die Kandidaten in Google erscheinen. Bei seinen Untersuchungen wurden in 39 Ländern mit mehr als 10 000 Personen durchgeführt. Google kontrolliert weltweit ca. 90% aller Suchanfragen.

Genauso wie das europäische Kommission in 2017 Google nachgewiesen hat, dass sein eigener Shopping Service gegenüber Konkurrenzprodukten bevorzugt wurde, so weisen die Forscher ähnliche Effekte bei politischen Wahlen nach. Die Forscher haben bei der Trump vs. Clinton Wahl für viele Gruppen eine deutliche Pro-Clinton Linie nachzuweisen ist. Experimente haben gezeigt, dass Menschen selbst extrem beeinflusste Rankings der Suchergebnisse als korrektes Abbild der Meinungen im Internet nehmen.

 

 

 

Julia Zeh: „Corpus Delicti“

Sie beschreibt eine Welt, in der alle Menschen Fitness-Tracker tragen müssen.

Einige Zitate aus einem Interview mit Julia Zeh (sie wird befragt zur Idee der Versicherungen, die Fitness der Kunden zu messen und zu belohnen/bestrafen):

. . . Menschen ändern automatisch ihr Verhalten, wenn sie überwacht werden. Jeder kann das an sich selbst beobachten. Es reicht, wenn ein Auto anzeigt, wie viel Sprit es gerade verbraucht - schon fahren wir schonender. . . . . Der Mensch ist ein Sozialtier, und soziale Ordnungen beruhen immer auf Hierarchien, also Rankings. Je mehr wir "vermessen" werden, desto mehr werden wir verglichen. . . . . Totalitäre Strukturen kleiden sich heute ins Gewand von Serviceangeboten.

Gefahr für die Demokratie

Mit dieser leichten Steuerbarkeit der Menschen ist aber auch unser demokratisches Gesellschaftssystem in Gefahr: Wenn sich eine ausreichende Zahl von Menschen durch die Dienste im Internet steuern und manipulieren lässt und gleichzeitig die Anonymität mehr oder weniger schleichend immer stärker abgebaut wird, so ist wirkliche Demokratie nicht mehr möglich.

Singulariät

Der Zeitpunkt, ab dem wir den Algorithmen die Parameter, nach denen sie uns bewerten, nicht mehr vorgeben, sondern wenn diese ihre Vorgaben selbst bestimmen. In dem Augenblick haben die Menschen die Kontrolle über ihre Zukunft abgegeben und die Zivilisation wird sich dramatisch verändern.

Dann ist auch die Frage beantwortet, ob die "autoritären" Gesellschaften wie die chinesische für ihre wachsende global vernetzte Mittelklasse mehr Demokratie einführen muss, längst beantwortet: Das "Problem der Demokratie" wird durch die Social Networks gerade gelöst. ;-)

Da bleibt nur die Frage offen, ob wir von den Kontrolleuren der Social Networks gesteuert werden, oder ob nicht diese auch irgendwann die Kontrolle verlieren und die Algorithmen so komplex werden, dass sie nicht mehr durchschaubar sind. Dann bleibt offen, ob wir die letzte Generation vor der (befürchteten oder erhofften) Singularität sind oder nicht vielleicht die erste Generation danach.

Aus dem Jahr 2012 eine sehr lesenswerte Serie von Robert Epstein: Why Google Should Be Regulated. Ebenso dieser Artikel US-Professor warnt: Google-Algorithmus kann Demokratie gefährden.

 

 

 

Roboter-Gesetze

Noch etwas weiter gehen die Überlegungen auf meiner anderen Website wo ich darüber schreibe, ob wir vor fortgeschrittenen künstlichen Intelligenzen Angst haben müssen und wie man die evt zähmen kann: Müssen wir Angst haben vor der Machtübernahme durch eine Artificial Intelligence? - Neue Ansätze zu besseren Robotergesetzen

Deep Learning Algorithmen sind nachvollziehbar

Ebenfalls auf meiner anderen Website ein Text dazu, warum die modernen AI-Algorithmen nicht mehr verstanden werden könnnen und dadurch die häufige Forderung nach Offenlegung der Algorithmen an der Realität vorbei geht.

Weiterführende Informationen

Ein langer wissenschaftlicher Text von Tarleton Gillespie The Relevance of Algorithms beschreibt die 6 Dimensionen, die er bei der Untersuchung der Macht durch und von Algorithmen erkennt.

  1. Patterns of inclusion: the choices behind what makes it into an index in the first place, what is excluded, and how data is made algorithm ready
  2. Cycles of anticipation: the implications of algorithm providers' attempts to thoroughly know and predict their users, and how the conclusions they draw can matter
  3. The evaluation of relevance: the criteria by which algorithms determine what is relevant, how those criteria are obscured from us, and how they enact political choices about appropriate and legitimate knowledge
  4. The promise of algorithmic objectivity: the way the technical character of the algorithm is positioned as an assurance of impartiality, and how that claim is maintained in the face of controversy
  5. Entanglement with practice: how users reshape their practices to suit the algorithms they depend on, and how they can turn algorithms into terrains for political contest, sometimes even to interrogate the politics of the algorithm itself
  6. The production of calculated publics: how the algorithmic presentation of publics back to themselves shape a public's sense of itself, and who is best positioned to benefit from that knowledge.

 



Autor: Philipp Schaumann, http://sicherheitskultur.at/

Home

Copyright-Hinweis:
Das Copyright des Materials auf diesen Webseiten liegt, falls kein anderer Autor genannt wird, bei Philipp Schaumann. Creative Commons License
Diese Texte sind lizensiert unter der Create Commons Attribution-Noncommercial-Share Alike 2.0 Austria Lizenz. Natürlich gelten auch die Regeln des Fair Use und über Ausnahmen bzgl. der Lizenz kann jederzeit mit den Autoren gesprochen werden.