Diskriminierung 2.0: Algorithmen sind binär, Menschen nicht

Menschen aus der LGBTIQ-Community werden von algorithmischen Systemen oftmals nicht erkannt, geblockt oder gar ausgeschlossen. Zum Auftakt des Pride-Months 2024 zeigen AlgorithmWatch CH, humanrights.ch, LOS, Pink Cross und TGNS, wie Algorithmen LGBTIQ-Personen diskriminieren können.

Sie begegnen uns heute fast täglich: Online-Formulare, die uns nach unserem Geschlecht und anderen sensiblen Daten fragen. Auszuwählen gibt es hierbei meist nur zwei Attribute: männlich oder weiblich. Die Mehrzahl dieser Formulare sind noch immer binär gestaltet. Der Ausschluss von intergeschlechtlichen, trans und genderfluiden Personen ist bei einer solch binären Dateneingabe wortwörtlich vorprogrammiert. Die Diskriminierung von Algorithmen und sogenannter Künstlicher Intelligenz gegenüber Mitgliedern der LGBTIQ-Community können aber noch viel weiter gehen.

Beispiel 1: Automatisiertes Misgendering

Während Formulare oftmals nur eine eingeschränkte Gender-Auswahl zur Verfügung stellen, urteilen gewisse KI-Systeme gleich selbst über die vermuteten Gender-Merkmale ihrer Nutzer*innen. Sie lassen Menschen somit nicht einmal die Chance, ihre Geschlechtsidentität selbst zu definieren. Sogenannte «Automated Gender Recognition» Systeme (AGR) nutzen dabei diverse Daten und analysieren beispielsweise Kinnpartie und Wangenknochen, Gangart und Körpergrösse, ob Make-Up getragen wird oder nicht und – falls vorhanden –  den offiziellen Namen der Person. Die meisten der dahinterliegenden Software-Designs gehen von einem binären, unveränderlichen und physiologischen Geschlechter-Verständnis aus: Solche algorithmischen Modelle lassen Transgender-Personen grundlegend ausser Acht und schliessen ihre Anliegen, Bedürfnisse und Existenzen sowohl im Design als auch in der Forschung aus – zu diesem Schluss kommt auch eine Analyse von Os Keyes. Im Einsatz sind sogenannte AGR-Systeme unter anderem in Bodyscannern an Flughäfen. Nicht zuletzt deshalb können Flugreisen für Trans- und nicht binäre Personen häufig sehr belastend und stressig sein: Aufgrund der binären Geschlechtserkennung von Bodyscannern müssen sie manchmal zusätzliche, teils invasive und entwürdigende Kontrollen über sich ergehen lassen.

 

Beispiel 2: Shadow-Banning und Zensur von LGBTIQ-Inhalten

Mit dem steigenden öffentlichen und politischen Druck, Hass, Gewalt und Hetze sowie Desinformation auf Social Media zu bekämpfen, haben Plattformen viel in den Einsatz von KI und maschinellem Lernen investiert, um «unangemessene» Inhalte weitläufig zu erkennen und zu blockieren. Massnahmen, um Social-Media-Plattformen zu einem sicheren Ort für alle zu machen, sind enorm wichtig und unumgänglich. Die automatisierte Content Moderation bringt aber auch Schattenseiten zutage: Zensur und das sogenannte «Shadow-Banning», welches die Sichtbarkeit und Reichweite von Inhalten oftmals schleichend und unbemerkt einschränkt. So berichten beispielsweise queere Aktivist*innen, die Inhalte über Sexualität und Aufklärung kreieren, dass sie vom Instagram-Mutterkonzern Meta die Meldung erhalten, ihre Inhalte seien «nicht empfehlenswert» oder sie werden gar direkt geblockt. Ähnliche Inhalte für ein mehrheitlich heterosexuelles Publikum bleiben indes uneingeschränkt zugänglich. Ebenso scheinen algorithmische Content-Moderations-Systeme Mühe mit der Einordnung sprachlicher Kontexte zu haben. Im Jahr 2019 hatte die Bewegung «SEO Lesbian» versucht, ein Facebook-Konto mit dem Wort «Lesbe» zu erstellen. Der Facebook-Algorithmus unterband die Verwendung der Bezeichnung von vornherein. Erst nach einer schriftlichen Anfrage genehmigte Facebook den gewünschten Namen der Seite und änderte den zwischenzeitlich verwendeten Begriff «lezbienne» zu «lesbienne». Ebenso wurden Konten von LGBTIQ-Aktivist*innen bisweilen vorübergehend oder gar ganz gesperrt, wenn sie beispielsweise in ihrem Profil ihre sexuelle Orientierung erwähnten. So setzten KI-Systeme Schlüsselwörter wie «Lesbe» oder «Gay» mit hasserfüllten oder pornografischen Inhalten gleich und sperrten sie, ohne ihren Kontext in Betracht zu ziehen.

Wenn queere Menschen und Inhalte aus intransparenten Moderationsgründen blockiert werden, schränkt das die Meinungs- und Informationsfreiheit unverhältnismässig ein. Dies marginalisiert die LGBTIQ-Community und entzieht ihr wichtige Sichtbarkeit im öffentlichen Diskurs, der ohnehin schon hart umkämpft ist.

Algorithmische Diskriminierung in der Schweiz: Der bestehende Diskriminierungsschutz in der Schweiz bietet keinen wirksamen Schutz vor Diskriminierung durch algorithmische Systeme und muss verstärkt werden. In diesem Positionspapier schildern wir die Herausforderungen, die algorithmische Diskriminierung mit sich bringt, und beschreiben, wie der Diskriminierungsschutz verbessert werden kann.


Die Beispiele zeigen: Binäre Algorithmen werden unseren vielseitigen Gender-Realitäten in vielen Kontexten nicht gerecht. Intransparente Social-Media-Algorithmen können ohne menschliche Steuerung zu drastischen Diskriminierungen von gesamten Bevölkerungsgruppen wie etwa der LGBTIQ-Community führen. Algorithmische Systeme diskriminieren darüber hinaus viele weitere Bevölkerungsgruppen. In der Serie «Diskriminierung 2.0: Wie Algorithmen diskriminieren» beleuchten AlgorithmWatch CH und humanrights.ch zusammen mit weiteren Organisationen deshalb unterschiedlichste Fälle von algorithmischer Diskriminierung.