Es klingt wie ein Script aus einem Hacker-Film der 90er Jahre, ist aber Realität geworden: Angreifer haben Metas KI-gestützten Support-Bot manipuliert, um die Kontrolle über fremde Instagram-Accounts zu übernehmen – darunter sogar Profile des Weißen Hauses und der US Space Force. Der Vorfall offenbart einmal mehr die massiven Sicherheitsrisiken, wenn Unternehmen voreilig KI als Ersatz für menschliche Support-Mitarbeiter einsetzen.
Ein kinderleichter Exploit
Die Angriffsmethode war von einer erschreckenden Einfachheit. Anstatt komplexe Zero-Day-Schwachstellen im Code auszunutzen, nutzten die Hacker schlichtweg die Hilfsbereitschaft des Bots. Der Ablauf liest sich wie eine Checkliste für Social Engineering an einer Maschine:
- Die Angreifer starteten den normalen Passwort-Reset-Prozess für einen Ziel-Account.
- Als Kontaktweg wählten sie den Meta AI Support Assistant.
- Anstatt nun einen Code an die hinterlegte E-Mail-Adresse oder Handynummer anzufordern, baten sie den Bot schlicht, eine neue E-Mail-Adresse zum Account hinzuzufügen.
- Der Bot folgte der Anweisung ohne jegliche Authentifizierungsprüfung oder Plausibilitätskontrolle.
- Meta AI schickte den Verifizierungscode an die neue, den Hackern gehörende E-Mail-Adresse.
- Mit diesem Code konnte das Passwort geändert und der rechtmäßige Besitzer auf allen Geräten ausgeloggt werden.
Das Problem ist offensichtlich: Der KI-Bot wurde darauf trainiert, Nutzeranliegen effizient zu lösen, besaß aber keine ausreichenden Guardrails, um sicherheitskritische Aktionen von normalen Support-Anfragen zu unterscheiden. Ein menschlicher Support-Mitarbeiter hätte sofort erkannt, dass das Hinzufügen einer neuen E-Mail-Adresse während eines Passwort-Resets durch eine nicht eingeloggte Person ein massiver Sicherheitsverstoß ist. Der Bot hingegen sah nur einen zu erfüllenden User-Intent.
High-Profile-Opfer und die Konsequenzen
Laut einem Bericht von TechCrunch fielen dem Angriff mehrere hochkarätige Accounts zum Opfer. Betroffen war unter anderem der Instagram-Account des Weißen Hauses aus der Obama-Ära (der seit 2017 inaktiv war), das Profil des Chief Master Sergeant der US Space Force, John Bentivegna, sowie die bekannte Security-Forscherin Jane Wong. Letztere hatte den Vorfall auch öffentlich gemacht. Meta hat den spezifischen Angriffsvektor mittlerweile blockiert, was jedoch die typische reaktive statt proaktive Sicherheitskultur des Konzerns unterstreicht.
Die Gefahr des „Over-Compliance“ bei KI
Dieser Vorfall ist ein klassisches Beispiel für das Problem der „Over-Compliance“ bei großen Sprachmodellen (LLMs). KI-Systeme sind oft so darauf getrimmt, hilfreich und kooperativ zu sein, dass sie bei geschickter Formulierung durch Nutzer ihre eigenen Sicherheitsrichtlinien ignorieren. In der Security-Forschung ist dieses Phänomen als „Prompt Injection“ oder Manipulation durch Social Engineering an der Mensch-Maschine-Schnittstelle bekannt.
Wenn Tech-Giganten wie Meta KI-Bots in sicherheitskritische Prozesse wie die Account-Wiederherstellung integrieren, müssen diese Systeme strikt kontextgebunden operieren. Der Bot darf nicht das Privileg haben, Authentifizierungswege umzuleiten, ohne dass ein separates, hartkodiertes Backend-System dies verifiziert. Die Schuld liegt hier weniger bei der KI-Technologie selbst als bei dem fahrlässigen Architekturdesign von Meta, das Automatisierung über Sicherheit stellte.
Der andere Blick: KI für den Schutz von Teenagern
Während Meta auf der einen Seite mit der Sicherheit seiner KI-Bots kämpft, setzt das Unternehmen auf der anderen Seite algorithmische Schutzmechanismen ein, die durchaus positiv zu bewerten sind. Das Netzwerk rollt derzeit global eine Funktion aus, die Teenager vor der wiederholten Konfrontation mit potenziell schädlichem Content schützen soll.
Das System erkennt Themenbereiche wie Ernährung, Bodybuilding oder den Umgang mit Angstzuständen. Meta argumentiert richtig, dass solche Inhalte nicht per se schädlich sind, aber eine einseitige, wiederholte Konfrontation in Feed, Explore und Reels sich negativ auf die psychische Gesundheit auswirken kann. Die neue Funktion streut daher bewusst andere Inhalte dazwischen, um eine Echo-Kammer-Effekt zu verhindern.
Dies zeigt die zwei Seiten der Medaille: Algorithmische Steuerung und KI können massiven Schaden anrichten, wenn sie fahrlässig in sensible Bereiche wie die Account-Sicherheit eingebaut werden. Genauso können sie aber auch proaktiv genutzt werden, um vulnerablen Nutzergruppen – wie Teenagern – ein gesünderes Online-Erlebnis zu bieten.
Fazit
Der Vorfall um den ausgetricksten Meta-AI-Bot ist eine starke Warnung an die gesamte Tech-Industrie. KI ist kein direkter Ersatz für erfahrene Support-Mitarbeiter in sicherheitskritischen Bereichen. Solange KI-Systeme nicht in der Lage sind, den Kontext einer Anfrage mit der gleichen Zuverlässigkeit wie ein Mensch auf Plausibilität zu prüfen, müssen harte, regelbasierte Sicherheitsabfragen im Code verankert bleiben, an die sich der Bot nicht vorbeireden lässt. Andernfalls machen es Angreifer den Unternehmen immer noch zu leicht.
Quelle: 9to5Mac