Moderation von Inhalten in Ende-zu-Ende verschlüsselten Systemen

Das Center for Democracy and Technology (CDT) in Washington DC/USA hat eine Recherche und Empfehlungen über die Moderation von Inhalten in Ende-zu-Ende verschlüsselten (E2EE) Systemen veröffentlicht. Wir benutzen E2EE Systeme täglich, zum Beispiel wenn wir Chat-Applikationen mit Verschlüsselung benutzen, wie Signal, Wire oder WhatsApp. Die Inhalte, die über diese Plattformen verschickt werden, sind verschlüsselt und die Plattformen können betrügerische Inhalte, Spam und Fake News deshalb nicht einfach moderieren und benötigen spezifische Technologien, um das zu tun, ohne dabei die Privatsphäre der Nutzer:innen zu verletzen. Mallory Knodel von CDT hat die Recherche auf der Usenix Konferenz vorgestellt. Um die Präsentation verständlicher und ästhetischer zu machen, habe ich eine Serie von aquarell-basierten Illustrationen erstellt. Die Texte unter den hier gezeigten Illustrationen sind nicht Teil der Präsentation, sondern wurden von mir für diese Website erstellt, um Kontext zum Verständnis zu geben.

Das Problem mit dieser Art von Moderationstechniken ist immer dasselbe: Wer definiert, was "betrügerische Inhalte" sind? Die meisten der unten beschriebenen Techniken könnten ebensogut zur Überwachung unliebsamer Inhalte und zur Zensur derselben benutzt werden. Deshalb müssen wir diese Techniken genau studieren, um sicherzustellen, dass diese, im besten Falle, keinen Eingang in Plattformen oder gar Gesetze finden.

Für: Center for Democracy and Technology, Washington/USA
Jahr: 2021

Ein Roboter zeigt auf 6 Bildschirme mit den Worten: Definition, Erkennung, Bewertung, Information, Aufruf und Aufklärung.

Phasen der Moderation von Inhalten. Bei der Moderation von Inhalten in Ende-zu-Ende-verschlüsselten Systemen gibt es mehrere Phasen: Plattformbetreiber müssen die zu moderierenden Inhalte definieren, dann diese Art von Inhalten erkennen, ihre Ergebnisse auswerten, dann die Benutzer:innen über die moderierten Inhalte informieren, den Benutzer:innen Einspruch gegen die Entscheidung einräumen, und die Nutzer:innen informieren und bilden.

Eine Kugel mit drei Achsen: aktiv/proaktiv, vorher/nachher, Inhalt/Metadaten

Erkennungsphase der Inhaltsmoderation. Die Erkennung von zu moderierenden Inhalten findet in einem Raum von Möglichkeiten statt: Sie kann vor oder nach dem Versenden von Nachrichten erfolgen. Inhalte können aktiv oder proaktiv moderiert werden. Die Erkennung betrügerischer Nachrichten kann anhand von Inhalten oder Metadaten erfolgen.

Nachrichten-Frankierschema. Eine Frau mit blauen Haaren, Alice, die Absenderin, schickt über eine Plattform eine Nachricht an eine Katze namens Catnip, ihre Nachricht hat einen roten runden Frankierungsstempel, der sich Frank nennt, die kryptografische Signatur. Die Nachricht ist sichtbar verschlüsselt. Die Nachricht wird durch eine Plattform gesendet, dargestellt durch einen grauen Block, auf dessen Kopf Gras wächst. Die Augen der Plattform sind geschlossen, um zu zeigen, dass der Nachrichteninhalt, der zwischen Sender und Empfänger weitergeleitet wird, von der Plattform nicht sehen kann. Der Absender hat seine Nachricht signiert, der Empfänger kann die Nachricht mithilfe der des Public-Key-Verschlüsselungsverfahrens verifizieren. Der Empfänger kann die Nachricht auch einem unabhängigen Moderator signalisieren, der anhand des Public-Key-Verschlüsselungsverfahrens beurteilen kann, ob die Nachricht betrügerisch ist.

1- Meldung durch Nutzer:innen. Diese Technik wird als message franking (Nachrichtenfrankierung) oder genauer: asymmetrische Nachrichtenfrankierung bezeichnet. Sie funktioniert auch auf dezentralen Messaging-Systemen. Benutzer können betrügerische Nachrichten einem Moderierenden melden, welcher die gemeldete Nachricht, den Absender und den Empfänger mithilfe einer kryptografischen Signatur und des Public-Key-Verschlüsselungsverfahrens transparent verifizieren kann. (Moderationsraum: aktiv, nach Versand)

Auf dem Bild sieht man einen Umschlag mit einem Schloss. Es wurde von einer Frau mit blauen Haaren gesendet, die ein Smartphone in ihren Händen hält. Um die Nachricht herum sehen wir Blasen aus Metadaten: die Größe der Nachricht, die Zeit, zu der sie gesendet wurde, den Empfänger, den Absender und die Sendehäufigkeit.

2- Metadaten Analyse. Auch verschlüsselte Nachrichten hinterlassen Spuren. Metadaten sind „Daten über Daten“. Die mit einer Nachricht verknüpften Metadaten sind im Allgemeinen nicht verschlüsselt und können verwendet werden, um betrügerische Nachrichten zu erkennen. (Moderationsraum: aktiv oder proaktiv, nach Absenden)

Ein Roboter auf Rädern mit einem roten Alarmsignal auf dem Kopf durchsucht einen großen Aktenschrank.

3- Rückverfolgbarkeit. Inhaltsmoderationssysteme können auch Informationen über gesendete Nachrichten speichern. Wir können uns diese Speicherung wie einen riesigen Aktenschrank vorstellen. Der Speicher kann dann verwendet werden, um betrügerische Nachrichten, die neu gemeldet werden, mit schon gespeicherten Nachrichten zu vergleichen. Diese Technik kann auch zusätzlich zur Frankierung von Nachrichten (message franking) benutzt werden, um so weitergeleitete Nachrichten, wie zum Beispiel die Verbreitung von gefälschten Nachrichten aka Fake News, leichter aufzudecken. Facebooks erste Implementierung der Frankierung von Nachrichten basierte auf der Rückverfolgbarkeit. (Moderationsraum: aktiv, nach Absenden)

Auf der rechten Seite befinden sich drei Bilder von Katzen in provokativen Posen, denen jeweils ein Hash zugeordnet ist. Auf der linken Seite befindet sich ein provokantes Katzenbild. Ein Pfeil verbindet es mit einem der drei bekannten und gehashten Bilder.

4- Perceptual hashing. Diese Technik besteht darin, gewisse Inhalte, z.B. sexuelle Gewalt gegen Minderjährige, in einer Datenbank zu speichern, wobei für jeden Inhalt ein eindeutiger Hash verwendet wird. Nun können Inhalte, die gesendet werden, mit Inhalten verglichen werden, die schon in der Datenbank gespeichert sind und zuvor als problematisch identifiziert wurden. Das ist die Technik, die Apple für die Cloud-Dienste nutzen wollte, aber unter dem Druck der Zivilgesellschaft Abstand von diesem Projekt genommen hat, da nicht sichergestellt werden kann, dass die Technik wirklich nur Fotos sexueller Gewalt moderiert, oder ob nicht auch andere Bilder gemeldet werden könnten. Nun möchte die Europäische Union die Technik für die sogenannte Chatkontrolle benutzen. Diese Technik umgeht die Ende-zu-Ende Verschlüsselung dahingehend, das Inhalte vor dem Versenden durchleuchtet werden (Moderationsraum: proaktiv, vor dem Versand)

Auf der linken Seite sehen wir drei Rechtecke, von denen zwei provokative Katzenbilder enthalten, und eines das Wort „Katze“. Ein Pfeil zeigt auf den Kopf eines Roboters, der eine Katze in aufreizender Pose zeichnet.

5- Predictive modeling. Diese Technik besteht darin, einem Algorithmus beizubringen, wie betrügerische Nachrichten oder Bilder aussehen. Der Algorithmus kann dann vorhersagend modellieren, wie zukünftige betrügerische Nachrichten oder Bilder aussehen, und signalisieren, welche Nachrichten moderiert werden müssen. (Moderationsraum: proaktiv oder aktiv, vor oder nach dem Senden)