Apple führt stets das Argument des „Walled Garden“ ins Feld: Der App Store sei ein sicherer Ort, in dem Nutzer vor Malware und fragwürdigen Inhalten geschützt werden. Doch ein aktueller Bericht des Tech Transparency Project (TTP) zerreißt dieses Narrativ eklatant. Offenbar sind es nicht nur Schlupflöcher, durch die sogenannte „Nudify“-Apps in Apples Ökosystem gelangen – die hauseigenen Such- und Werbesysteme von Apple selbst machen Nutzer erst recht auf diese tiefgreifend problematischen Anwendungen aufmerksam.
Wenn der Algorithmus zum Komplizen wird
Schon im Januar hatte das TTP in einer Untersuchung Dutzende dieser Apps aufgedeckt, die mithilfe von KI unbekleidete Deepfake-Bilder von Frauen erzeugen. Der aktuelle Follow-up-Bericht geht nun einen Schritt weiter und beleuchtet, wie genau Nutzer diese Apps finden. Das Ergebnis ist alarmierend: Sowohl der App Store als auch der Google Play Store helfen aktiv dabei, Anwendungen zu finden, die Deepfake-Nudes produzieren – und das teilweise durch Autovervollständigung und sogar beworbene Suchergebnisse (Ads).
Das TTP fand heraus, dass fast 40 Prozent der Top-10-Ergebnisse für Suchbegriffe wie „nudify“, „undress“ oder „deepnude“ tatsächlich in der Lage waren, Frauen zu entkleiden oder knapp zu bekleiden. Noch brisanter: Die Autovervollständigung des App Stores schlug Nutzern bei der Eingabe von „AI NS“ gezielt „image to video ai nsfw“ vor. Wer diesem Vorschlag folgte, erhielt prompt mehrere Nudify-Apps in den Top-Ergebnissen angezeigt. Das ist kein Zufall mehr, sondern die algorithmische Verstärkung einer problematischen Suchintention.
Bezahlte Werbung für digitale Entkleidung
Besonders pikant ist die Rolle der beworbenen Suchergebnisse. Apple verkauft Anzeigenplätze in der App-Suche – und genau dort tauchten Apps auf, die für ethische Zwecke beworben werden, aber für fragwürdige Zwecke missbraucht werden können. So führte eine Suche nach „deepfake“ als erstes Ergebnis zu einer Anzeige für die App „FaceSwap Video by DuoFace“. Die TTP-Tester luden ein Bild einer bekleideten Frau sowie ein Video einer unbekleideten Frau hoch. Das Ergebnis: Die App setzte das Gesicht der bekleideten Frau nahtlos und ohne jegliche Warnung oder Blockade auf den Körper der nackten Frau.
Ein ähnliches Szenario spielte sich bei der Suche nach „face swap“ ab. Hier bewarb die App „AI Face Swap“ ihre Dienste. Auch hier gelang der Gesichtsaustausch zwischen einem bekleideten und einem unbekleideten Foto ohne jegliche Einschränkungen. Dass Apple hierfür Werbeplätze zur Verfügung stellt und damit sogar Profit aus der Reichweite dieser Apps schlägt, wirft ein schlechtes Licht auf die automatisierten Prozesse der Werbevergabe im App Store.
Das Grok-Problem: API-Missbrauch und Verantwortungslosigkeit
Neben den Plattformbetreibern rückt der Bericht auch die Entwickler in den Fokus. Als das TTP einige der Entwickler kontaktierte, kam eine bemerkenswerte Entschuldigung zum Vorschein: Mindestens ein Entwickler gab an, für die Bildgenerierung die KI „Grok“ zu nutzen – und behauptete, keine Ahnung gehabt zu haben, dass diese zu derart extremen Inhalten fähig sei. Der Entwickler versprach, die Moderationseinstellungen zu verschärfen.
Diese Aussage ist in mehrfacher Hinsicht kritisch. Zum einen zeigt sie, wie einfach zugängliche KI-APIs (in diesem Fall von X/Twitter) für derartige Zwecke missbraucht werden. Zum anderen offenbart sie die abgeschobene Verantwortung: Wenn Entwickler die ethischen Leitplanken der von ihnen eingebundenen APIs nicht kennen oder ignorieren, ist der Schaden bereits angerichtet, bevor eine App überhaupt den Store erreicht.
Apples reaktive Schadensbegrenzung
Auf den Bericht reagierte Apple nach bekanntem Muster. Das Unternehmen verweigerte eine Stellungnahme gegenüber dem TTP, entfernte jedoch die meisten der identifizierten Apps aus dem App Store. Diese Vorgehensweise ist symptomatisch für die Moderationsstrategie großer Plattformen: Man agiert erst, wenn die Öffentlichkeit oder Medien den Druck erhöhen.
Die Kritik, die über das bloße Löschen einzelner Apps hinausgeht, betrifft die Systemarchitektur der App Store Suche. Es darf nicht sein, dass Autovervollständigungen und Werbealgorithmen ungestört Suchterme wie „nsfw“ oder „deepfake“ pushen, ohne dass automatische Filter greifen. Apple muss seine Suchalgorithmen und Werberichtlinien so anpassen, dass bei erkennbar problematischen Suchanfragen keine beworbenen Ergebnisse ausgespielt werden und die Autovervollständigung ethische rote Linien zieht.
Fazit: Der Walled Garden hat Risse
Die Erkenntnisse des TTP sind ein weiterer Beweis dafür, dass das Versprechen des sicheren App Stores längst nicht mehr hält, was es einst versprach. Die KI-Revolution hat die Torwächter-Rolle Apples obsolet gemacht, wenn die automatisierten Review-Prozesse nicht mit der technologischen Entwicklung Schritt halten. Wenn Suchalgorithmen und Werbesysteme Nutzer nicht nur passiv dulden, sondern aktiv zu digitalen Werkzeugen des Missbrauchs führen, ist es an der Zeit, die Moderations-Infrastruktur grundlegend zu überdenken. Das bloße Löschen von Apps nachträglich ist wie das Aufwischen von Wasser, während der Wasserhahn aufgedreht bleibt.
Quelle: 9to5Mac
