Kann Künstliche Intelligenz bald unsere Geschlechtsidentität oder sexuelle Orientierung ermitteln? Das weltweit erste KI-Gesetz der EU geht Menschenrechtsorganisationen wie All Out nicht weit genug.

Überwachungskameras sind im öffentlichen Raum allgegenwärtig. Stell dir nun vor: Sie identifizieren dich automatisch aufgrund deines Gesichts und verfolgen dich auf Schritt und Tritt. Ein elektronisches Dossier mit deinem Namen gibt Auskunft darüber, wo du dich an welchem Tag zu welcher Zeit aufgehalten hast. In welchem Geschäft du deine Einkäufe erledigst. In welche Clubs du gehst. Ob du ein Mann oder eine Frau, hetero oder queer bist.

So quasi Big Brother auf Stereoiden. Das ist glücklicherweise nur ein Gedankenspiel. Und doch: Die automatisierte Gesichtserkennung im öffentlichen Raum ist möglich. Die Frage ist nur, wo sie bereits eingesetzt wird. Und ob sie verboten werden soll.

Freund und Helfer der Polizei Die künstliche Intelligenz (KI) identifiziert Menschen nicht erst seit gestern. Die Passkontrolle am Flughafen tut es. Dein Smartphone tut es, um deinen Bildschirm zu entsperren. Überhaupt haben Menschen ihre Maschinen schon längst an ihre Identität gekoppelt. Wir wickeln Zahlungen mit unserem Fingerabdruck ab und nutzen unsere Stimme für Befehle, die das Licht ausschalten oder bestimmte Lieder abspielen.

Wie jede andere KI soll die automatisierte Gesichtserkennung unser Leben einfacher machen. Und sicherer. Nachdem sie im Fussballstadion Allianz Parque in São Paulo eingeführt worden war, konnte die Polizei während vier Spielen 28 Kriminelle festnehmen und 258 (!) als vermisst gemeldete Personen identifizieren.

«Wir haben in die Einführung einer automatisierten Gesichtserkennung investiert, um unser höchstes Gut zu schützen: die Fans», sagte Leila Pereira, Präsidentin des Fussballclubs Palmeiras, in einem Statement gegenüber der Nachrichtenagentur Reuters im September. Nun soll die automatisierte Gesichtserkennung in der Millionenmetropole im grossen Stil Einzug halten.

2024 will São Paulo im Rahmen des Smart Sampa Projekts bis zu 20’000 KI-fähige Überwachungskameras im öffentlichen Raum installieren: in Parks, auf Plätzen, in der Nähe von Schulen und medizinischen Einrichtungen. Gesuchte Kriminelle, vermisste Personen und verlorene Gegenstände sollen schneller identifiziert, der Verkehr besser geleitet werden.

In den USA wird die automatisierte Gesichtserkennung unter anderem von der Polizei im US-Bundesstaat Florida eingesetzt. Die Stadt Baltimore nutzt sie, um Teilnehmende von Demonstrationen zu identifizieren. Der Bundesstaat Kalifornien setzt sich zurzeit erneut mit der Thematik auseinander, nachdem ein vorübergehendes Verbot 2023 abgelaufen ist.

Mit KI zum totalen Überwachungsstaat? In China ist die automatisierte Gesichtserkennung im öffentlichen Raum schon seit Jahren an der Tagesordnung. Wer in Städten wie Shenzhen bei rot die Strasse überquert, wird gleich an den Pranger gestellt. Name und ID-Nummer erscheinen augenblicklich auf einem LED-Bildschirm und es gibt einige Punkte Abzug auf dem Sozialkreditkonto für vorbildliches Benehmen.

In einigen Fällen wird gleich ein Foto gemacht und auf einer öffentlich zugänglichen Website publiziert. Doch KI kann auch düsterer: Sie wird von der chinesischen Regierung bei der systematischen Verfolgung und Unterdrückung der uigurischen Minderheit in der autonomen Region Xinjiang eingesetzt.

Wie diverse Medien berichten, soll die automatisierte Gesichtserkennung dazu dienen, die geografischen Bewegungen der 25 Millionen Einwohner*innen aufzuzeichnen und einen Hinweis an die Polizei auszulösen, sobald sie eine uigurisch-stämmige Person identifiziert hat. Die Regierung soll gar an einer Software tüfteln, die die Gesichtsausdrücke von Uigur*innen erkennen und deuten soll.

Was könnte geschehen, wenn die KI weiterentwickelt wird, um die sexuelle Orientierung oder den Geschlechtsausdruck einer Person zu erkennen? Und in die Hände einer der über 60 Staaten geraten würde, die homosexuelle Handlungen kriminalisieren und queere Menschen verfolgen? Tschetschenien zum Beispiel?

Mit diesen Fragen setzt sich die weltweit tätige LGBTIQ-Menschenrechtsorganisation All Out auseinander. «Uns ist es ein Anliegen, dass die Weiterentwicklung dieser Technologie nicht auf Kosten der Menschenrechte geschieht – wir wollen nicht in einer expandierten Version von George Orwells 1984 leben», sagt Kampagnenmanager Yuri Guaiana. «Wir wollen, dass die Welt versteht, welche Auswirkungen die automatisierte Gesichtserkennung auf LGBTIQ-Personen haben kann.»

KI als ultimativer Gaydar All Out befürchtet, dass die KI Menschen nicht nur identifizieren und – wie im Falle von China – einer ethnischen Gruppe zuordnen, sondern bald auch gemäss ihrer Geschlechtsidentität oder sexuellen Orientierung einteilen kann.

«Die Technologie würde sich dabei auf Äusseres beziehen: Aussehen, Stimme, wie man sich bewegt oder wie ‹männlich› oder ‹weiblich› der eigene Name ist», sagt Guaiana. Er verweist auf die umstrittenen Theorien der Physiognomik, die im späten 19. Jahrhundert entstanden und unter anderem über das kriminelle Verhalten von Menschen aufgrund ihrer Schädelform spekulierte. «Solche Annahmen sind falsch und können Diskriminierung befeuern.»

Risiken für die LGBTIQ-Community sieht der Aktivist auf verschiedenen Ebenen. Zum einen könnten trans und nicht-binären Personen beispielsweise der Zugang zu geschlechtsspezifischen Räumen wie öffentliche Toiletten oder Umkleidekabinen verwehrt werden. Am Flughafen wäre eine Befragung denkbar, wenn der Geschlechtsausdruck einer Person – also so, wie sie sich äusserlich präsentiert – nicht mit der Geschlechtsangabe im Pass übereinstimmt.

Zum anderen könnten Behörden in Ländern, in denen homosexuelle Handlungen verboten sind, die Technologie für die Verfolgung von Schwulen, Lesben und Bisexuellen nutzen. Ein weiteres dystopisches Szenario: Würden Behörden KI im Falle einer Infektionskrankheit wie Mpox einsetzen, um queere Männer von öffentlichen Räumen auszuschliessen?

All Out lanciert Petition Neben All Out setzt sich auch Amnesty International gegen den Einsatz von automatisierter Gesichtserkennung im öffentlichen Raum ein. Abgesehen vom Verlust der Privatsphäre sei auch die Fehlerquote höchst problematisch, wie Kampagnenkoordinator Patrick Walder sagt: «Die KI erzielt schlechte Resultate bei Frauen und schwarzen Personen, weil die Algorithmen mit Datensätzen von überwiegend weissen Männern gefüttert werden – ein Spiegel unserer gesellschaftlichen Verhältnisse.»

Besonders in der Strafverfolgung hätte ein Fehler der KI verheerende Folgen und könnte Falschverurteilungen zur Folge haben. «Zu oft sehen wir Maschinen als unfehlbar an. Wir schenken ihnen Gehör und nicht der angeklagten Person.»

All Out und Amnesty International sind zwei von mehreren Organisationen, die sich für eine EU-weite Regulierung der KI einsetzen. Nach langen Verhandlungen einigten sich der Europäische Rat und das Parlament im Dezember 2023 auf den sogenannten AI Act – das erste KI-Gesetz seiner Art weltweit.

Besonders beim Thema Überwachung mussten sich die Mitgliedstaaten und das Parlament auf einen Kompromiss einigen. Während die Mitgliedstaaten sich mehr Freiheiten einräumen wollten, pochte die EU auf ihre bürgerrechtsfreundlicheren Standpunkte. Insbesondere bei der biometrischen KI wurde eine Einigung erzielt.

Das neue Gesetz klassifiziert KI-Systeme nach Risikoklassen, verbietet bestimmte Anwendungen wie Emotionserkennung am Arbeitsplatz und legt Vorschriften für Systeme mit erheblichem Schadenspotenzial fest. In Bezug auf Basismodelle, wie bei ChatGPT, setzte sich die Forderung nach verpflichtenden Regeln durch. Obwohl grundsätzliche Verbote für Echtzeit-Gesichtserkennung und biometrische Kategorisierung – darunter Merkmale wie sexuelle Orientierung, Geschlechtsidentität oder religiöse Überzeugungen – beschlossen wurden, sind bei der Strafverfolgrung mehrere Ausnahmen vorgesehen, wenn es zum Beispiel um die Personensuche bei schweren Straftaten geht. Das Gesetz soll voraussichtlich 2026 in Kraft treten.

Yuri Guiana bezeichnet das KI-Gesetz als «mässig zufriedenstellend». «Die Formulierung des Verbots der biometrischen Kategorisierung kann ungewollt Gesetzeslücken entstehen lassen. Zudem werden Anbieter nicht daran gehindert, verbotene KI-Systeme in Länder ausserhalb der EU zu exportieren», sagt er auf Anfrage von MANNSCHAFT. Es sei zu früh, das erste KI-Gesetz als Sieg zu bezeichnen. «Wir setzen unseren Kampf fort.»

KI in der Schweiz

In der Schweiz wird die Videoüberwachung auf Gemeindeebene aufgrund der kantonalen Rechtslage bestimmt. Nach parlamentarischen Vorstössen haben die Städte Lausanne, St. Gallen und Zürich sowie der Kanton Basel-Stadt ein Verbot der Gesichtserkennung bereits angenommen. Ähnliche Vorstösse sind derzeit noch in den Städten Genf und Luzern sowie in den Kantonen Basel-Landschaft und Zürich hängig.

«Da mehrere Schweizer Polizeikorps solche Technologien bereits nutzen, braucht es neben den Vorstössen in den Gemeinden und Kantonen ein nationales Verbot», sagt Patrick Walder von Amnesty International. Er hofft, dass ein Verbot auf EU-Ebene die Schweiz motivieren könnte, ähnliche Regeln zu erlassen.

Ein solches Verbot hätte im Parlament gute Chancen. Rund 80 % der Kandidierenden für die eidgenössischen Wahlen 2023 befürworteten bei Smartvote.ch ein Verbot der automatischen Gesichtserkennung im öffentlichen Raum.

Überwachung in Europa «kein Thema» Gemäss Christian Fehrlin, CEO und Gründer der Schweizer Techfirma Deep Impact, ist die flächendeckende Überwachung in Europa kein Thema, schon gar nicht aufgrund der Sexualität oder Geschlechtsidentität. «Das ist Angstmacherei», sagt er. Sein Unternehmen ist auf Gesichtserkennung spezialisiert, seine Software kann ein Gesicht in 0,3 Sekunden identifizieren und gehört somit nach eigenen Angaben zu den Weltbesten. Zu seinen Kunden zählen Polizeikorps, staatliche Stellen und Nachrichtendienste. Genauere Angaben kann er keine machen, aber: «Für niemand unserer Kunden steht automatisierte Gesichtserkennung im öffentlichen Raum auch nur zur Diskussion», sagt er auf Anfrage. «Auch wir wollen das nicht.»

Seine Software basiert auf einem dreistufigen Prozess: Gesichtserfassung, Gesichtsabgleich und Gesichtserkennung. Im ersten Schritt erkennt die KI in einem Foto oder Videostream das Gesicht, danach vergleicht sie es mit Bildern aus verschiedenen Quellen und überprüft, ob es sich um das gleiche Gesicht handelt. Die Personalisierung erfolgt in einem dritten Schritt: Die Software erkennt, wem das Gesicht gehört, und kann die Person identifizieren.

Die Software von Deep Impact kommt unter anderem bei Zutrittskontrollen zum Einsatz, etwa bei Sportanlässen oder in Büro­gebäuden. In diesen Fällen reiche der zweistufige Prozess aus, es komme gar nicht zur Identifikation der Person. «Die Software beantwortet lediglich eine einfache Frage: Ist diese Person zutrittsberechtigt oder nicht?», erklärt er.

Modelle zur Erkennung des Geschlechts gibt es bereits. Diese funktionieren in der Zwischenzeit «recht gut» und seien auch lernfähig, so Fehrlin. Dass die KI anhand eines Gesichts die sexuelle Orientierung erkennen könne, sei hingegen nicht möglich. Problematisch sieht er in diesem Zusammenhang jedoch die Bilder, die Nutzer*innen auf Social Media hochladen.

«Damit die Gesichtserkennung funktioniert, braucht sie Referenzbilder. Und diese geben wir als User den Techkonzernen wie Google, X oder Meta freiwillig. Wir füttern die Monster», sagt er. «Gleichzeitig trauen wir unseren eigenen Behörden nicht, die für unsere Sicherheit zuständig sind. Das ist eine grosse Diskrepanz.»

Sicherheit und Menschenrecht – eine Gratwanderung Fehrlin hofft, dass die EU mit dem AI Acts kein «technologiefeindliches» Gesetz einführt, welches Behörden die Hände bindet und Techfirmen gegenüber der Konkurrenz in Russland, China und den USA benachteiligt. Der dreistufige Prozess der Gesichtserkennung – also mit Identifikation des Gesichts – finde in vielen Bereichen Anwendung und werde vor allem für die Behörden genutzt.

«Zum Beispiel bei der Zusammenführung von Familien aus Kriegsgebieten», sagt er. Ein weiteres Beispiel ist die Auswertung von Gewaltvideos und Kinderpornografie, die sich die Behörden nicht mehr selbst ansehen müssten. Die KI erledige das schneller und effizienter. «Natürlich muss diskutiert werden, wo die automatisierte Gesichtserkennung Sinn ergibt und wo nicht.»

Fehrlin erkennt, dass es in Diktaturen oder Autokratien oft keinen Raum für solche Diskussionen gibt: «Ohne eine gesunde Demokratie kann jede Technologie zum Problem werden, man denke etwa an die Atombombe.» Deep Impact hält sich an die Bestimmungen für Kriegsmaterial des Staatswirtschaftssekretariats für Wirtschaft (SECO) und verkauft grundsätzlich nur an demokratische Länder.

Eine Grauzone gibt es. So prüfte die Firma die Anwendung der Software bei Cricketspielen in Pakistan – ein Land, das homosexuelle Handlungen kriminalisiert. «Das Problem schien uns legitim, da es dort immer wieder zu Terroranschlägen gegen Grossveranstaltungen kommt. Der Deal kam am Ende jedoch nicht zustande.»

«Die Sicherheit wird immer gerne als Argument für den Einsatz neuer Technologien wie KI ins Spiel gebracht», sagt Patrick Walder von Amnesty International. Er ist auch dafür, dass der Einsatz von KI im öffentlichen Raum klar geregelt werden müsse. «Die Suche nach einem vermissten Kind darf kein Grund sein, die Bevölkerung mittels automatisierter Gesichtserkennung zu überwachen. Es braucht einen konkreten Verdacht auf eine Straftat, damit eine bestimmte Person überwacht werden darf.»

Yuri Guaiana ist es wichtig zu betonen, dass die Organisation All Out keineswegs neuen Technologien im Weg stehen wolle. «Ich bin in einem italienischen Bergdorf aufgewachsen», sagt er. «Dem Internet verdanke ich, dass ich Informationen bekommen und meine Community gefunden habe.»

Ein Verbot der automatisierten Erkennung der sexuellen Orientierung und Geschlechtsidentität in der EU könne verhindern, dass solche Technologien exportiert oder importiert werden – sollten sie jemals entwickelt werden. Der AI Act könne, ähnlich wie die Datenschutz-Grundverordnung (DSGVO), internationale Standards setzen, davon ist er überzeugt: «Und für die Menschenrechte sollen die höchstmöglichen Standards gelten.»

«Auf Grindr will kaum jemand mehr Kondome benutzen» – Wenn die Pharmaindustrie eine sexuelle Revolution einläutet: Müssen schwule Männer zu Langzeitpatienten werden, um ihre Sexualität ausleben zu können? Diese Frage stellt sich der Fotograf Samuel Spreyz mit seinem Projekt «MSM.Rx» (MANNSCHAFT+).