FBI verhaftet von Russland unterstützte, KI-gesteuerte Bot-Farm – weitere folgen

„Mit diesen Maßnahmen hat das Justizministerium eine von der russischen Regierung unterstützte, KI-gestützte Propagandakampagne unterbrochen, die eine Bot-Farm zur Verbreitung von Desinformationen in den Vereinigten Staaten und im Ausland einsetzt.“ – Merrick B. Garland, Generalstaatsanwalt der Vereinigten Staaten

„Russland beabsichtigte, diese Botfarm zu nutzen, um von KI generierte ausländische Desinformationen zu verbreiten und seine Arbeit mit Hilfe der KI auszuweiten, um unsere Partner in der Ukraine zu schwächen und geopolitische Narrative zu beeinflussen, die für die russische Regierung günstig sind.“ – FBI-Direktor Christopher Wray

Das waren Garland und Wray im Juli 2024, nachdem das US-Justizministerium (DOJ) die Beschlagnahmung von zwei Domainnamen und 968 Social-Media-Konten im Zusammenhang mit einer groß angelegten Desinformationskampagne mit KI-gestützter Software namens Meliorator angekündigt hatte.

Was Meliorator macht

Meliorater wurde angeblich von einem stellvertretenden Chefredakteur des staatlich geförderten russischen Medienunternehmens RT (ehemals Russia Today) entwickelt. In den letzten zwei Jahren wurde Meliorater von RT-Mitgliedsorganisationen genutzt, um eine große Anzahl von Social-Media-Bots zu erstellen, die generative KI nutzen, um nicht entdeckt zu werden und Desinformationen zu verbreiten. Sie haben nach Angaben des DOJ sowohl die USA als auch Polen, Deutschland, die Niederlande, Spanien, die Ukraine und Israel ins Visier genommen.

Jeder Bot verfügt über eine Persona, die durch einen detaillierten Satz von Parametern – seinen Archetyp – definiert wird, die sein Verhalten steuern. Sie sind in der Lage, originelle Beiträge zu schreiben, zu liken, zu folgen, zu kommentieren, erneut zu posten und Follower zu gewinnen – alles im Dienste der Verbreitung bösartiger, vom Kreml gesteuerter Inhalte, die Zwietracht säen sollen. 

Ihre Entscheidungen, wem sie folgen und was sie posten, richten sich nach den Interessen und Meinungen ihrer Personas. Sie posten und verstärken Nachrichten ihrer Bots-Kollegen und folgen meist echten Konten mit mindestens 100.000 Followern, was ihnen hilft, nicht entdeckt zu werden. Sie sind auch in der Lage, IP-Adressen zu verschleiern und die Zwei-Faktor-Authentifizierung zu umgehen.

Sie verhalten sich und kommunizieren wie echte Menschen. Sie teilen viele legitime Inhalte, aber sie posten, reposten und kommentieren auch aufrührerische Inhalte, die nach Angaben des DOJ vom russischen Föderalen Sicherheitsdienst (FSB) stammen. Und selbst dann enthalten die Bots einen spezifischen Kontext und ein Framing, das ihre Persona und ihren Archetyp widerspiegelt. 

Das DOJ hat zusammen mit anderen internationalen Behörden diesen Joint Cybersecurity Advisory herausgegeben, der umfassende technische Details zu Meliorator und seiner Funktionsweise enthält. 

Wie Social-Media-Plattformen reagieren können

Laut den an der Operation beteiligten Geheimdiensten können Social-Media-Plattformen ihre Gefährdung durch Meliorator-generierte Konten durch einige Maßnahmen reduzieren:

• Implementieren Sie Prozesse, die sicherstellen, dass jedes Konto von einem echten Menschen erstellt wird, dessen Handlungen den Nutzungsbedingungen der Plattform entsprechen. 

• Prüfen Sie die Authentifizierungs- und Verifizierungsprozesse und verbessern Sie sie nach Möglichkeit.

• Erstellen und befolgen Sie Protokolle, um Benutzer mit bekannten verdächtigen User-Agent-Zeichenfolgen zu identifizieren

• Verbessern Sie die Kontosicherheit, indem Sie standardmäßig MFA, Einstellungen zum Schutz der Privatsphäre und mehr für alle Benutzerkonten festlegen