Habt ihr schon mal Videos gesehen, wie Katzenbabys kaltblütig erstickt werden? Solche Videos werden auf Facebook & Co hochgeladen, aber wir sehen sie nie. In diesem Artikel werfen wir einen Blick hinter die Kulissen der Social-Media-Plattformen, wo sich Menschen täglich mit verstörenden Inhalten auseinandersetzen. Content-Moderatoren haben einen der härtesten Jobs in der digitalen Welt. Ihre Arbeit ist es, die sozialen Plattformen sauber zu halten. Lese weiter, um zu erfahren, wie die Moderatoren mit dieser emotionalen Belastung umgehen und welche Auswirkungen sie auf ihr Leben haben kann.

Triggerwarnung: In diesem Artikel geht es um Themen, wie Suizid, Tierquälerei und Kindesmissbrauch.

Künstliche Intelligenz oder menschliches Urteilsvermögen?

Soziale Medien sind bekannt für schöne und unterhaltsame Inhalte. Nicht umsonst können wir stundenlang durch unseren Instagram-Feed scrollen. Hier ein Selfie, da eine hergerichtete Breakfast-Bowl. Die Plattformen strotzen vor Perfektion und Schönheit.
Dabei gibt es aber auch eine ganz andere – dunkle und verstörende – Seite. Hundewelpen, die bei lebendigem Leibe gekocht werden. Menschen, die enthauptet werden. Kinder, die sexuell missbraucht werden. Neben der nahezu perfekten Welt landen auch solche Videos auf YouTube, Facebook und Instagram. Wie schaffen es die Plattformen uns vor solchen Inhalten zu schützen?

Zum einen spielen Algorithmen eine Rolle, die Inhalte basierend auf unseren sozialen Kontakten, unseren Interessen und unserer politischen Einstellung auswählen. Uns wird also nur gezeigt, was wir auch wirklich sehen möchten. Zum anderen müssen verbotene Inhalte, die gegen die Richtlinien verstoßen, gelöscht werden. Durch den heutigen Stand der Technik können Bilder und Videos per Algorithmus analysiert und eingestuft werden. Oder?

Könntet ihr ohne Kontext den Unterschied zwischen diesen beiden Bildern erkennen?

Auf dem rechten Bild erkennen Mensch sofort, dass ein Kind in einer unnatürlichen Position liegt. Es zeigt den ertrunkenen Alan Kurdi an der türkischen Mittelmeerküste. Sein Bild ging im September 2015 um die Welt und sorgte für weltweites Aufsehen in der Flüchtlingskrise. Das linke Bild zeigt den Künstler Ai WeiWei. Im Zeichen seines Mitgefühls postete er ein nachgestelltes Bild der Situation.

Das Problem für die Algorithmen: Die Elemente der Bilder unterscheiden sich nur minimal. Eine künstliche Intelligenz kann nicht unterscheiden, welches der beiden Fotos einen toten Menschen zeigt. Aus diesem Grund bedarf es trotz technischer Fortschritte des menschlichen Urteilsvermögens. Hier kommen die Content-Moderatoren ins Spiel.

„Wunderschöne“ digitale Welt

Die Berufsbezeichnung des Content-Moderators wird als einer dieser trendigen, neuen Jobs für junge Leute betrachtet – der Job-Titel hat einen gewissem Coolness-Faktor. Die Wahrheit hinter dem Beruf ist aber eine andere.

Als Content-Moderator ist man verantwortlich, Medieninhalte in Sozialen Netzwerken, Internetforen, Cloud-Diensten und Content-Management-Systemen zu überwachen. TikTok, YouTube, Facebook – sie alle brauchen diese Moderatoren. Hinter den Kulissen der scheinbar makellosen Social Media Welt arbeiten sie hart daran, schockierende Inhalte zu entfernen. Ihr Job ist es, diese Inhalte zu identifizieren und zu entfernen, bevor sie Millionen Nutzern schaden können. Sie sind die Reinigungskräfte, die den Dreck aus dem Internet fegen. Dabei werden sie ständig mit verstörenden Inhalten wie (sexueller) Gewalt, Hassreden, extremistischen Inhalten oder Selbstmord konfrontiert.

Das Entfernen von Horror-Inhalten auf Social-Media-Plattformen ist keine einfache Aufgabe. Content-Moderatoren arbeiten oft unter schwierigen Bedingungen und werden täglich mit traumatischen Inhalten konfrontiert. Viele von ihnen leiden unter psychischen Problemen.

Deutsche Content Moderatoren im Interview

Betroffene Personen wenden sich selten an die Öffentlichkeit. Denn Content-Moderatoren müssen Geheimhaltungsvereinbarungen mit Facebook & Co. unterzeichnen. Sie dürfen nicht über ihre Arbeit sprechen, dürfen sich nicht mit Freunden oder Familie austauschen, was ihre psychische Gesundheit weiter beeinträchtigen kann.

Eine aktuell angestellte Moderatorin sagt in einer Reportage des YouTube-Kanals STRG_F: „Ich darf gar nichts erzählen. Also ich darf weder Dir was erzählen noch meinen Eltern, meiner Familie, engen Freunden.”

Nach der WDR-Dokumentation “The Cleaners” aus dem Jahr 2018 konnte STRG_F auch eine deutsche Content-Moderatorin zu einem Interview überzeugen. „Du siehst diese Bilder, du gehst schlafen, du träumst von diesen Bildern“, spricht eine unkenntlich gemachte Frau in die Kamera. In der Reportage wird sie Laura genannt. Als sie gefragt wird, was sie sich täglich anschauen muss, antwortet sie abgeklärt:

„Alles Eklige, was ein Mensch machen kann: Kinderpornografie. Tierquälerei. Ich hab‘ Kinder gesehen, die Hühner vergewaltigen.“

Ehemalige Contentmoderatorin im Interview von STRG_F

Viele dieser Moderatoren arbeiten für Drittanbieter-Unternehmen, die von den großen Social-Media-Plattformen beauftragt werden, Inhalte zu moderieren. Unternehmen wie Accenture, Cognizant, Appen, TaskUs, Open Access BPO und Genpact bieten ihre Dienste im Bereich der Content-Moderation an. Diese Unternehmen sind auf Business Process Outsourcing (BPO) spezialisiert und können daher passende Dienstleistungen wie die Verarbeitung großer Datenmengen anbieten.

Business Outsourcing Firmen sind oft in Billiglohnländern ansässig, wo die Arbeitsbedingungen meist schlecht sind und die Moderatoren unter hohem Druck arbeiten müssen. Ohne ausreichende Schulung und Unterstützung werden sie mit einer Vielzahl von Horror-Inhalten konfrontiert.

Im Interview mit STRG_F schildert Laura:

„Ich darf nicht skippen. Also man kann zwar weggehen, kurz entspannen. Aber wenn du das jeden Tag machst, wirst du gefeuert.”

Ehemalige Contentmoderatorin im Interview von STRG_F

Diese Arbeitsbedingungen können zu einer schweren psychischen Belastung führen. Die Auswirkungen können Posttraumatischen Belastungsstörungen (PTBS), Depressionen, Angstzustände und sogar Suizidgedanken sein.

Mittlerweile gibt es Bemühungen, die Arbeitsbedingungen für Content-Moderatoren zu verbessern. Einige Unternehmen haben begonnen, Psychologen einzustellen, um Moderatoren zu unterstützen.

In Lauras Fall kam diese Unterstützung zu spät. Sie wurde krank. „Ich wusste, ich kann nicht mehr. Ich will nicht mehr leben, ich hasse mein Leben, ich möchte sterben.“ Sie schildert, sie habe ihre Suizidgedanken zunächst nicht auf ihren Job zurückgeführt. „Aber ich hatte sie. Dann war ich krank und wurde gefeuert.“

Ihre Diagnose: Burnout. Heute wisse sie, dass sie unter einem Trauma leidet, das sie aufarbeiten muss. Um ihre Gesundheit zu retten, müsse sie nun nette Menschen treffen. Denn sie habe „viele gesehen, die böse sind“. Den Tränen nahe sagt sie:

„Ich habe euch geschützt und mich kaputt gemacht.“

Ehemalige Contentmoderatorin im Interview von STRG_F

Das Beispiel von Laura zeigt: Die Arbeit von Content-Moderatoren ist eine der schwierigsten und belastendsten der digitalen Welt. Sie müssen täglich verstörende Inhalte durchgehen und Entscheidungen über die Zulässigkeit dieser Inhalte treffen, während sie unter hohem Zeitdruck stehen. Die damit verbundenen emotionalen Belastungen können schwerwiegende Auswirkungen auf ihre psychische Gesundheit haben. Medienunternehmen tragen die Verantwortung, eine gesunde Arbeitsumgebung sicherzustellen. Das Verheimlichen dieses Jobs und dessen Auswirkungen ist der falsche Weg. Es ist wichtig zu wissen, dass die scheinbar perfekte Welt der sozialen Medien auch eine dunkle Seite hat.