Ein Bild und zwei Worte – „undress her“ – genügten. Schon setzte Grok, der KI-Chatbot von Elon Musks X, die Anweisung um und generierte auf Grundlage eines beliebigen Fotos ein Bild der Person in Minimalbekleidung. Wenige weitere Worte reichten, um sie mit einer weißen Flüssigkeit zu überziehen, die wie Sperma aussehen sollte. Die KI-Bilder zeigten Prominente, Aktivist*innen, Holocaust-Überlebende und in vielen Fällen auch offensichtlich Minderjährige und Kinder.
Wie Grok bildbasierte Gewalt massenhaft verbreitet
Unabhängigen Schätzungen der New York Times und des Center for Countering Digital Hate zufolge erzeugte Grok in neun Tagen 4,4 Millionen Bilder, von denen zwischen 1,8 und 3 Millionen sexualisierte Darstellungen von Frauen waren.
Solche Bilder ließen sich schon früher mit Bildbearbeitungsprogrammen erzeugen. Doch mit KI-Tools ist das nicht nur weniger aufwändig, es braucht auch keinerlei Vorkenntnisse. Generative Künstliche Intelligenz ermöglicht die Massenproduktion nicht-einvernehmlicher Bilder und Videos, in denen Frauen gegen ihren Willen entkleidet, erniedrigt oder in pornografischen Inhalten dargestellt werden. Einige KI-Programme generieren auf Wunsch auch Bebilderungen der Gewalt- und Mordfantasien ihrer Nutzer*innen.
Willkommen im Campact-Blog
Schön, dass Du hier bist! Campact ist eine Kampagnen-Organisation, mit der sich 4,25 Millionen Menschen für progressive Politik einsetzen. Im Campact-Blog schreiben das Team und ausgezeichnete und versierte Gast-Autor*innen über Hintergründe und Einsichten zu progressiver Politik.
Im vergangenen Jahr entfernte YouTube einen Kanal, auf dem ausschließlich KI-generierte Videos von Frauen hochgeladen wurden, die um ihr Leben flehten und schließlich durch Schüsse ermordet wurden. Die Videos wurden mit Googles KI-Videomodell Veo erstellt. Der Betreiber ließ seine Zuschauer sogar abstimmen, welche Hautfarbe das KI-Opfer im nächsten Video haben sollte.
„Nudify“-Apps boomen
Grok ist nur ein Teil des Problems, wenn auch ein besonders großes, sichtbares. Schließlich handelt es sich nicht um eine beliebige kleine App, sondern um den Chatbot einer der bekanntesten Social-Media-Plattformen der Welt, auf der Regierungen, Parteien und Medien trotz anhaltender Kritik weiterhin aktiv sind. Elon Musk fiel in der Sache vor allem durch Witzeleien und demonstratives Nichtstun auf. Erst nachdem mehrere Länder Grok gesperrt oder Ermittlungen gegen X angekündigt hatten, ist die Funktion, mit der Bilder generiert werden können, teilweise eingeschränkt. Viele der im Dezember und Januar erstellten Bilder sind aber weiterhin abrufbar.
Petition: Bundesregierung endlich runter von X
Auf Campacts Petitionsplattform WeAct unterstützen über 150.000 Menschen die Petition von Save Social und fordern die Bundesregierung auf X sofort zu verlassen.
Immer wieder fluten neue sogenannte „Nudify“- Apps und Chatbots das Netz. Im Jahr 2024 deckten Journalist*innen von Wired allein auf Telegram 50 solcher Bots auf, die zusammen mehr als vier Millionen Nutzer*innen erreichten. Es braucht auch keine lange Suche, um mit diesen Apps in Berührung zu kommen: Der Journalist Alexios Mantzarlis fand 2025 auf den Meta-Plattformen Facebook, Instagram und Whatsapp mehr als 25.000 Werbeanzeigen für „Nudify“-Programme, obwohl solche Inserate gegen die Plattformregeln verstoßen.
Auswirkungen auf Betroffene
Es gibt unzählige Betroffene. In mehreren Ländern kursieren gefälschte Nacktbilder von Schüler*innen, die für Belästigungen, Beleidigungen und Erpressungsversuche genutzt wurden. Forschende des American Sunlight Project identifizierten mehr als 35.000 nicht-einvernehmlich KI-generierte intime Bilder und Videos von 26 Senator*innen und Mitgliedern des Kongresses. 25 von ihnen waren Frauen. Auch queere Menschen sind häufig betroffen.
Schon 2018 verbreiteten Unterstützer*innen und Mitglieder der indischen Regierungspartei BJP ein gefaktes pornografisches Video der Journalistin Rana Ayyub. Darauf folgten Beleidigungen und Bedrohungen. Ayyub musste wegen gesundheitlicher Folgen ins Krankenhaus und berichtete von Selbstzensur. Es gibt zahlreiche weitere Beispiele: Argentiniens rechtslibertärer Präsident Javier Milei beteiligte sich an der Verbreitung von KI-Fakes, die einer Journalistin eine sexuelle Beziehung zu ihrem Bruder unterstellten. Erst im Januar berichtete die Aktivistin Theresia Crone, dass es im Fall eines Mannes, der pornografische Deepfakes von ihr verbreitete, zwar juristische Konsequenzen gab, ihr aber die Möglichkeit genommen wurde, als Nebenklägerin aufzutreten.
Betroffene berichten davon, dass sie durch die Deepfakes das Gefühl der Autonomie über ihren eigenen Körper verlieren. Nicht-einvernehmliche Deepfakes lösen Stress, Angstzustände und Suizidgedanken aus. Außerdem berichten Betroffene von Mobbing, sozialer Isolation und Victim Blaming.
Petition: Deepfakes von echten Menschen verbieten!
Gefälschte Bilder und Videos, die ohne das Einverständnis der gezeigten Menschen entstanden sind, gehören verboten. Schließe Dich jetzt der Petition von Bestsellerautor Marc-Uwe Kling an.
Selbstregulierung ist keine Lösung
Um das Problem effektiv anzugehen oder zumindest erheblich einzudämmen, braucht es verschiedene Lösungsansätze. Dazu gehören unkomplizierte und schnelle Hilfen für Betroffene sowie klare Regeln und wirksame Sanktionen für Plattformen, auf denen „Nudify“-Apps beworben werden. KI-Unternehmen müssen von Beginn an Sicherheitsmechanismen gegen Missbrauch in ihre Produkte integrieren und diese ständig weiterentwickeln. Denn im Netz gibt es ganze Communities, die sich darauf spezialisiert haben, Regeln bei KI-Tools zu umgehen, um illegale und menschenverachtende Inhalte zu generieren.
Die Europäische Union könnte entscheidend Druck ausüben. Ein erster Schritt ist das am Montag angekündigte Verfahren unter dem Digital Services Act. Das setzt allerdings voraus, dass die EU Donald Trumps Erpressungsversuchen im Bereich Plattformregulierung standhält. Die Erfahrungen der letzten Jahre zeigen jedenfalls eines deutlich: Selbstregulierung durch Plattformen ist keine tragfähige Lösung.