Wie YouTube eine Radikalisierungsmaschine für die Rechtsextremen gebaut hat

Technik


Wie YouTube eine Radikalisierungsmaschine für die Rechtsextremen gebaut hat

Für David Sherratt begann die Radikalisierung der Rechtsextremen, wie so viele Teenager, mit Videospiel-Tutorials auf YouTube. Er war 15 Jahre alt und locker liberal, hauptsächlich interessierte er sich für „Call of Duty“-Clips. Dann führten ihn die Empfehlungen von YouTube woanders hin.

'Während ich weiter zusah, sah ich Dinge wie die atheistische Online-Community', sagte Sherratt, 'die dann zu einem Tor zum Bürgerkrieg der atheistischen Gemeinschaft über den Feminismus wurde.' Aufgrund einer großen Subkultur von YouTube-Atheisten, die sich dem Feminismus widersetzten, 'Ich glaube, ich bin viel schneller in diesen Kaninchenbau gefallen', sagte er.


Während dieser vierjährigen Reise durch den Kaninchenbau machte der Teenager Schlagzeilen mit seinem Engagement in der Männerrechtsbewegung, einer Randideologie, die glaubt, dass Männer von Frauen unterdrückt werden, und die er nicht mehr unterstützt. Er hat Videos mit einem prominenten YouTuber gemacht, der jetzt von der rechten Seite geliebt wird.

Er besuchte eine Vorführung eines Dokumentarfilms über die 'Männerrechtsbewegung' und hing danach mit anderen YouTubern ab, wo er einen jungen Mann traf, der 'ein bisschen abseits' schien, sagte Sherratt. Trotzdem hielt er sich nicht viel dabei und posierte schließlich für ein Gruppenfoto mit dem Mann und anderen YouTubern. Einige von Sherratts Freunden haben danach sogar online eine Beziehung zu dem Mann aufgenommen, was Sherratt dazu veranlasste, seinen YouTube-Kanal zu besuchen.

Was er fand, belastete seinen Blick auf die Dokumentarfilmvorführung. Der Kanal des jungen Mannes war voll von Inhalten zur Leugnung des Holocaust.

'Ich hatte einen Neonazi getroffen und wusste es nicht einmal', sagte Sherratt


Die Begegnung war Teil seiner Ernüchterung gegenüber der rechtsextremen politischen Welt, in die er am Ende seiner Kindheit langsam eingetreten war.

„Ich denke, eines der wirklichen Dinge, die es so schwierig gemacht haben, rauszukommen und zu erkennen, wie radikalisiert ich in bestimmten Bereichen geworden war, war die Tatsache, dass sich Rechtsextreme in vielerlei Hinsicht weniger rechtsextrem klingen lassen; eher gemäßigt oder eher links“, sagte Sherratt.

Sherratt war nicht allein. YouTube hat sich in den letzten Jahren zu einem stillen Kraftpaket der politischen Radikalisierung entwickelt, das von einem Algorithmus angetrieben wird, von dem ein ehemaliger Mitarbeiter sagt, dass er zunehmend randständige Inhalte vorschlägt. Und rechtsextreme YouTuber haben gelernt, diesen Algorithmus auszunutzen und ihre Videos weit oben in den Empfehlungen für weniger extreme Videos zu platzieren. The Daily Beast sprach mit drei Männern, deren YouTube-Gewohnheiten sie auf einen rechtsextremen Weg getrieben haben und die sich seitdem aus Hass abgemeldet haben.

Fransen nach Design

YouTube hat mit fast 2 Milliarden täglichen Nutzern, von denen viele jung sind, eine enorme Zuschauerzahl. Die Seite ist bei Teenagern beliebter als Facebook und Twitter. Eine Pew-Studie aus dem Jahr 2018 fanden heraus, dass 85 Prozent der US-Teenager YouTube nutzten, was es mit Abstand zur beliebtesten Online-Plattform für die unter 20-Jährigen macht. (Facebook und Twitter, die wegen extremistischer Inhalte mit Regulierungsgewalt konfrontiert wurden, sind bei 51 bzw. 32 Prozent der Jugendlichen beliebt.)


YouTube wurde 2005 gestartet und schnell von Google übernommen. Der Technologieriese versuchte, seine Gewinne zu maximieren, indem er die Benutzer dazu brachte, Videos anzusehen. Das Unternehmen stellte Ingenieure ein, um einen Algorithmus zu entwickeln, der neue Videos empfiehlt, bevor ein Benutzer sein aktuelles Video beendet hat.

Der ehemalige YouTube-Ingenieur Guillaume Chaslot wurde 2010 in ein Team eingestellt, das den Algorithmus entwickelt hat.

„Die Leute denken, dass es das Relevanteste vorschlägt, dieses Ding, das für Sie sehr spezialisiert ist. Das ist nicht der Fall“, sagte Chaslot gegenüber The Daily Beast und fügte hinzu, dass der Algorithmus „für die Wiedergabezeit optimiert“ und nicht für die Relevanz.

„Das Ziel des Algorithmus ist es, Sie am längsten in der Schlange zu halten“, sagte er.


„Das Ziel des Algorithmus ist wirklich, Sie am längsten in der Schlange zu halten.“ – ehemaliger YouTube-Ingenieur Guillaume Chaslot

Diese Fixierung auf die Wiedergabezeit kann banal oder gefährlich sein, sagte Becca Lewis, Forscherin bei der gemeinnützigen Technologieforschungsorganisation Data & Society. „In Bezug auf das Geschäftsmodell von YouTube und die Versuche, die Nutzer mit ihren Inhalten zu beschäftigen, ist es sinnvoll, was die Algorithmen tun“, sagte Lewis. „Dieses algorithmische Verhalten ist großartig, wenn Sie nach Maskenbildnern suchen und sich die Inhalte einer Person ansehen und die Ratschläge anderer Leute zum Auftragen Ihres Lidschattens wünschen. Aber es wird viel problematischer, wenn es um politische und extremistische Inhalte geht.“

Chaslot sagte, es sei ihm damals klar gewesen, dass der Algorithmus helfen könnte, Randglaubenssätze zu stärken.

„Mir wurde sehr schnell klar, dass die Empfehlung von YouTube darin besteht, die Leute in Filterblasen zu stecken“, sagte Chaslot. „Es gab keinen Ausweg. Wenn eine Person auf Flat Earth-Verschwörungen stand, war es schlecht für die Wiedergabezeit, Anti-Flat-Earth-Videos zu empfehlen, also wird sie sie nicht einmal empfehlen.“

Lewis und andere Forscher haben festgestellt, dass empfohlene Videos oft in den Randbereich geraten. Schreiben für Die New York Times Die Soziologin Zeynep Tufekci beobachtete, dass Videos von Donald Trump Videos empfahlen, 'die weiße Rassisten-Gerede, Holocaust-Leugnungen und andere beunruhigende Inhalte enthielten'.

Matt, ein ehemaliger Rechtsextremer, der darum bat, seinen Namen zurückzuhalten, war persönlich in einer solchen Filterblase gefangen.

Zum Beispiel beschrieb er, dass er ein Video von Bill Maher und Ben Affleck gesehen habe, in dem sie über den Islam diskutieren, und dass er ein extremeres Video über den Islam von Infowars-Mitarbeiter und Verschwörungstheoretiker Paul Joseph Watson empfohlen habe. Dieses Video führte zum nächsten Video und zum nächsten.

„Gehen Sie in [Watsons] Kanal ein und beginnen Sie, seine Anti-Einwanderungs-Sachen zu finden, die oft wiederum dazu führen, dass die Leute der ethno-nationalistischen Politik mehr Sympathie entgegenbringen“, sagte Matt.

„Dies hat mich indirekt auf den Weg gebracht, politisch weit nach rechts zu rücken, da ich andere Menschen mit ähnlichen rechtsextremen Ansichten entdeckt habe.“

Inzwischen 20, hat Matt die Ideologie verlassen und eine anonyme Internetpräsenz aufgebaut, in der er mit seinen Ex-Brüdern rechts argumentiert.

'Ich denke, YouTube hat sicherlich eine Rolle bei meinem Rechtsruck gespielt, denn durch die Empfehlungen, die ich erhielt', sagte er, 'hatte ich andere Inhalte entdeckt, die sehr rechts von der Mitte waren, und dies wurde mit der Zeit immer schlimmer. was mich dazu brachte, noch mehr düstere Inhalte zu entdecken.“

Diese Opposition gegen Feminismus und Rassengleichheitsbewegungen ist Teil einer YouTube-Bewegung, die sich selbst als „asoziale Gerechtigkeit“ bezeichnet.

„Ich denke, das Anti-SJW-Zeug spricht junge Weiße an, die das Gefühl haben, ihren Status zu verlieren, weil es keinen besseren Begriff gibt.“ – Andrew, ein ehemaliger weißer Rassist

Andrew, der auch darum bat, seinen Nachnamen zurückzuhalten, ist ein ehemaliger weißer Rassist, der sich seitdem der Bewegung widersetzt hat. Heutzutage bloggt er über Themen, die von der extremen Rechten als ein Gräuel angesehen werden: Rassengerechtigkeit, Geschlechtergerechtigkeit und, eine seiner persönlichen Leidenschaften, die pelzige Community. Aber sein Interesse an Videospielen und der Online-Kultur war während seines letzten Jahrzehnts der ideologischen Entwicklung eine Konstante. Als Andrew 20 Jahre alt war, habe er Sympathie für den weißen Nationalismus entwickelt, nachdem er die Diskussionspunkte der Bewegung in einem unabhängigen Forum aufgenommen hatte.

Die Gaming-Kultur auf YouTube hat ihn weiter auf den rechten Weg gebracht. Im Jahr 2014 startete eine Koalition aus Trollen und Rechten Gamergate, eine Belästigungskampagne gegen Menschen, die ihrer Meinung nach versuchten, feministische oder „soziale Gerechtigkeit“ in Videospielen voranzutreiben. Die Bewegung hatte eine große Präsenz auf YouTube, wo sie einige Spieler (insbesondere junge Männer) davon überzeugte, dass ihre Videospiele angegriffen wurden.

'Es stellte eine Bedrohung für etwas her, auf das die Leute einen übermäßigen Wert legen', sagte Andrew. „‚SJWs‘ [Krieger der sozialen Gerechtigkeit] waren nie eine Bedrohung für Videospiele. Aber wenn man die Leute glauben lassen konnte, dass sie es waren“, dann waren sie anfällig für weitere, wildere Behauptungen über diese neuen Feinde auf der Linken.

Matt beschrieb die von YouTube gespeisten Verlustgefühle als Mittel zur Radikalisierung junger Männer.

„Ich denke, das Anti-SJW-Zeug spricht junge Weiße an, die das Gefühl haben, ihren Status zu verlieren, weil es keinen besseren Begriff gibt“, sagte er. 'Sie sehen, dass Minderheiten für ihre eigenen Rechte eintreten, und das macht sie unwohl, also versuchen sie, dagegen anzukämpfen.'

Während seiner Zeit in der rechtsextremen Community sah Andrew antifeministische Inhalte als Tor zu extremeren Videos.

„Die falsche Vorstellung, dass soziale Gerechtigkeitsursachen einen schändlichen Hintergedanken haben, dass sie die Wahrheit irgendwie verzerren“, kann den Zuschauern helfen, extremere Ursachen zu erkennen, sagte er. „Wenn man erst einmal jemanden dazu gebracht hat, das zu glauben, kann man ziemlich schnell bis zur weißen Vorherrschaft gelangen.“

Lewis identifizierte die Community als einen von mehreren Radikalisierungspfaden, „die von einer konservativen Mainstream-Perspektive ausgehen können: nicht offen rassistisch oder sexistisch, sondern konzentriert sich auf die Kritik des Feminismus und konzentriert sich auf die Kritik an Black Lives Matter. Von dort aus ist es wirklich einfach, auf Inhalte zuzugreifen, die offen rassistisch und offen sexistisch sind.“

Chaslot, der ehemalige YouTube-Ingenieur, sagte, er habe dem Unternehmen vorgeschlagen, den Benutzern die Möglichkeit zu geben, sich vom Empfehlungsalgorithmus abzumelden, behauptet jedoch, Google sei nicht daran interessiert.

Der Chief Executive Officer von Google, Sundar Pichai, legte letzte Woche während einer Anhörung vor dem Kongress ein Lippenbekenntnis zu dem Problem ab. Auf die Frage nach einer besonders schädlichen Verschwörungstheorie über Hillary Clinton, die bei Suchanfragen nach nicht verwandten Videos hoch auftaucht, gab der CEO kein Versprechen ab, zu handeln.

„Wir erkennen in diesem Bereich an, dass noch viel zu tun ist, und das werden wir auf jeden Fall weiter tun“, sagte Pichai. „Aber ich möchte anerkennen, dass es noch mehr zu tun gibt. Mit unserem Wachstum geht mehr Verantwortung einher. Und wir sind bestrebt, es besser zu machen, wenn wir mehr in diesen Bereich investieren.“

Aber während YouTube über eine Lösung nachdenkt, werden Menschen verletzt.

Harte Rechtskurve

Am 4. Dezember 2016 feuerte Edgar Welch ein AR-15-Gewehr in einem beliebten Pizzarestaurant in Washington, D.C. ab. Welch glaubte, dass die Demokraten im Keller der Pizzeria Kinderhandel betreiben, eine Verschwörungstheorie namens „Pizzagate“.

Wie viele moderne Verschwörungstheorien verbreitete sich Pizzagate auf YouTube und diese Videos schienen Welch zu beeinflussen, der sie an andere schickte. Drei Tage vor der Schießerei schrieb Welch einem Freund eine SMS über die Verschwörung. „Sieh dir ‚PIZZAGATE: The Larger Picture‘ auf YouTube an.“ er schrieb .

Andere von YouTube gespeiste Verschwörungstheorien haben in ähnlicher Weise zu Drohungen mit Waffengewalt geführt. Ein Mann, der stark in Verschwörungstheorie-Communitys auf YouTube involviert war soll angeblich mit einem Massaker im YouTube-Hauptquartier gedroht haben diesen Sommer, nachdem er an eine andere Verschwörungstheorie über die Videozensur geglaubt hatte. Ein anderer Mann, der glaubte, dass die von YouTube angetriebene QAnon-Theorie eine bewaffnete Pattsituation am Hoover Dam im Juni. Ein Neonazi wurde letzte Woche mit einem Waffenschatz festgenommen betreibe einen YouTube-Kanal wo er davon sprach, jüdische Menschen zu töten.

„Junge Menschen sind anfälliger für die Gestaltung ihrer politischen Ideale. Das ist die Zeit in Ihrem Leben, in der Sie herausfinden, wer Sie sind und was Ihre Politik ist.“ – Technologieforscherin Becca Lewis

Auch religiöse Extremisten haben auf YouTube ein Zuhause gefunden. Von März bis Juni 2018 haben Menschen 1.348 ISIS-Videos auf die Plattform hochgeladen, so eine Studie der Projekt zur Extremismusbekämpfung . YouTube löschte 76 Prozent dieser Videos innerhalb von zwei Stunden nach dem Hochladen, aber die meisten Konten blieben weiterhin online. Der radikaler muslimisch-amerikanischer Geistlicher Anwar al-Awlaki radikalisierte mehrere Möchtegern-Terroristen und seine Predigten waren auf YouTube beliebt.

Auch weniger explizit gewalttätige Akteure können Zuschauer radikalisieren, indem sie den Algorithmus von YouTube ausnutzen.

„YouTuber sind extrem versiert in informellem SEO [Suchmaschinenoptimierung]“, sagte Lewis von Data & Society. „Sie werden ihren Inhalt mit bestimmten Schlüsselwörtern versehen, nach denen sie vermutlich suchen.“

Chaslot beschrieb ein beliebtes YouTube-Titelformat, das sowohl mit dem Algorithmus als auch mit den Emotionen der Zuschauer gut spielt. „Schlüsselwörter wie ‚A zerstört B‘ oder ‚A demütigt B‘“ können „den Algorithmus und menschliche Schwachstellen ausnutzen“. Konservative Videos, wie die mit der rechtsextremen Persönlichkeit Ben Shapiro oder dem Gründer von Proud Boys, Gavin McInnes, verwenden oft dieses Format.

Einige Randbenutzer versuchen, ihre Ansichten zu verbreiten, indem sie sie in den Suchergebnissen für weniger extreme Videos erscheinen lassen.

'Ein gemäßigter Benutzer wird bestimmte Gesprächsthemen haben', sagte Sherratt. „Aber die Radikalen, weil sie immer versuchen, sich zu infiltrieren und Abonnenten und Zuschauer von diesen gemäßigteren Positionen zu rauben, werden alle genau die gleichen Tags einfügen, aber mit ein paar mehr. Es wird also nicht nur „Migrationskrise“ und „Islam“ sein, sondern „Migrationskrise“, „Islam“ und „Tod des Westens“.

„Sie könnten sich die gemäßigteren Videos ansehen und die extremen Videos werden in diesem [Empfehlungs]-Feld erscheinen, weil es im Bereich der antisozialen Gerechtigkeit kein Konzept gibt, das die extreme Rechte nicht als Werkzeug zur Zusammenarbeit verwenden möchte -wähle diese Sphäre.“

Gefährdete Zuschauerzahlen

Junge Menschen, insbesondere solche ohne ausgeprägte politische Überzeugungen, können leicht durch extreme Videos beeinflusst werden, die in ihren Empfehlungen erscheinen. „YouTube spricht eine so junge Bevölkerungsgruppe an“, sagte Lewis. „Junge Menschen sind anfälliger für die Gestaltung ihrer politischen Ideale. Das ist die Zeit in Ihrem Leben, in der Sie herausfinden, wer Sie sind und was Ihre Politik ist.“

Aber YouTube hat nicht die gleiche Aufmerksamkeit erhalten wie Facebook und Twitter, die bei Erwachsenen beliebter sind. Während Pichais Zeugenaussage vor dem Kongress am Dienstag fanden die Kongressmitglieder Zeit den Google-CEO nach iPhones fragen (ein Produkt, das Google nicht herstellt), stellte jedoch einige Fragen zu extremistischen Inhalten.

Pichais Aussage kam zwei Tage nach PewDiePie , YouTubes beliebtester Nutzer, empfahl einen Kanal, der weiße nationalistische und antisemitische Videos postet. PewDiePie (richtiger Name Felix Kjellberg) hat mehr als 75 Millionen Abonnenten, darunter viele junge Leute. Kjellberg wurde zuvor Bigotterie vorgeworfen, nachdem er mindestens neun Videos mit antisemitischen oder nationalsozialistischen Bildern veröffentlicht hatte. In einem Stunt im Januar 2017 heuerte er Leute an, um ein Schild mit der Aufschrift „Tod allen Juden“ vor die Kamera zu halten.

Einige beliebte YouTuber in der weniger extremen Community gegen soziale Gerechtigkeit wurden Ende 2016 und Anfang 2017 offener sexistisch und rassistisch, ein Trend, den einige Zuschauer möglicherweise nicht bemerken.

'Die Rhetorik begann sich weiter nach rechts zu verschieben und das Overton-Fenster bewegte sich', sagte Sherratt. „In einer Minute war es ‚Wir sind Liberale und wir denken einfach, dass diese Typen sozialer Gerechtigkeit zu extrem sind oder in ihrer Taktik zu weit gehen‘, und sechs Monate später wurde es zu ‚Progressivismus ist eine böse Ideologie‘.“

Einer von Matts Lieblings-YouTube-Kanälen 'begann als Tech-Kanal, der keine Feministinnen mochte und jetzt macht er Videos, in denen fast alles für ihn eine marxistische Verschwörung ist', sagte er.

„Du kannst immer wieder verbieten, aber sie werden den Diskurs verändern.“ – Chaslot, der ehemalige YouTube-Ingenieur

In einigen Fällen können YouTube-Videos die früheren Informationsquellen einer Person ersetzen. Verschwörungs-YouTuber halten Zuschauer oft davon ab, andere Nachrichtenquellen anzusehen oder zu lesen. Chaslot hat zuvor bemerkt . Der Trend ist gut für Verschwörungstheoretiker und das Endergebnis von YouTube; Zuschauer werden mehr von Verschwörungstheorien überzeugt und konsumieren mehr Werbung auf YouTube.

Das Problem erstreckt sich auch auf junge YouTube-Zuschauer, die ihrem Lieblingskanal vielleicht religiös folgen, aber keine konventionelleren Nachrichtenquellen lesen.

'Hier erhalten die Leute ihre Informationen über die Welt und die Politik', sagte Lewis. „Manchmal schauen sich die Leute, anstatt zu traditionellen Nachrichtenquellen zu gehen, nur den Inhalt eines Influencers an, den sie mögen, der zufällig bestimmte politische Meinungen hat. Kinder machen möglicherweise eine ganz andere Erfahrung mit YouTube, als ihre Eltern erwarten, ob es nun extremistisch ist oder nicht. Ich denke, YouTube hat die Macht, die Ideologien der Leute mehr zu prägen, als die Leute ihr zutrauen.“

Einige Aktivisten haben auf YouTube dazu aufgerufen, extreme Videos zu verbieten. Das Unternehmen kontert oft, dass es schwierig sei, die gemeldeten 300 Stunden Video, das jede Minute hochgeladen wird, zu überprüfen. Sogar Chaslot sagte, er sei skeptisch gegenüber der Effizienz von Verboten.

„Man kann immer wieder verbieten, aber sie werden den Diskurs verändern. Sie sind sehr gut darin, unter der Grenze des Akzeptablen zu bleiben“, sagte er. Er verwies auf Videos, die den demokratischen Spender George Soros und andere prominente Demokraten auffordern, ''die ersten in die Hölle herabgesenkt' zu sein. “, umgeht also die Regeln gegen gewalttätige Inhalte.

Gleichzeitig „führt es zu einer Art terroristischer Mentalität“ und zeigt sich in Empfehlungen.

„Wo auch immer Sie die Grenze ziehen, die Leute werden einen Weg finden, auf der anderen Seite zu sein“, sagte Chaslot.

„Es ist kein Problem der Inhaltsmoderation, es ist ein Algorithmusproblem.“