Ihre nächste Insider-Bedrohung ist möglicherweise nicht menschlicher Natur

Agentische Schatten-KI erzeugt verborgene Risiken, die Sichtbarkeit, Governance und Kontrolle erfordern.

Die wichtigsten Erkenntnisse

• Agentische Schatten-AI kann neue, unkontrollierte Angriffsflächen ohne IT-Transparenz schaffen.
• Nicht genehmigte KI-Agenten können auf Dateien, Datenbanken und Anwendungen auf eine Weise zugreifen, die Nutzer nicht vollständig verstehen.
• Unternehmen benötigen Schulungen, Audits, Überwachung und Zero-Trust-Kontrollen, um das Risiko zu reduzieren.

Meinen ersten Artikel über die Schnittstelle von KI und Informationssicherheit habe ich vor über 10 Jahren geschrieben, noch bevor ChatGPT überhaupt existierte. Ich wusste damals weitaus weniger als heute, aber ich möchte mir für eine meiner Vorhersagen selbst auf die Schulter klopfen: 

„Während wir die Entwicklung schwacher KI als Verteidigungsmethode weiter verfeinern, wird es nicht lange dauern, bis die gleichen Werkzeuge verwendet werden, um die Malware zu entwerfen, die für Angriffe genutzt wird.“

Diese Vorhersage hat sich auf verschiedene Weise bestätigt, zuletzt in Form einer völlig neuen Angriffsfläche: Schatten-KI, eine Weiterentwicklung des Konzepts der Schatten-IT.

Shadow IT ist nie verschwunden

Erinnern Sie sich an Schatten-IT? Das Problem, bei dem Führungskräfte aus den Geschäftsbereichen neue Anwendungen ohne Genehmigung der IT-Abteilung einführten? 

Zunächst hat man versucht, dieses Problem mithilfe von Active Directory-Kontrollen zu lösen, die Nutzer daran hinderten, Software auf ihren dienstlich bereitgestellten Laptops zu installieren. Dann kam die Cloud, und jeder ausreichend versierte Abteilungsleiter konnte beginnen, nicht genehmigte Unternehmenssoftware über den Browser zu nutzen, ohne dabei auch nur eine einzige Datei herunterzuladen.

Das Problem dabei ist, wie Sie sich vielleicht erinnern, dass alle Dateien, die in den nicht genehmigten Cloud-Dienst hochgeladen wurden, effektiv außerhalb des Perimeters Ihres Unternehmens und somit außerhalb Ihrer Kontrolle lagen. Jede Datenschutzverletzung, die den Cloud-Anbieter betrifft, könnte den Verlust Ihrer sensiblen Daten zur Folge haben, und wenn Ihre Nutzer die Verletzung nicht gemeldet haben, gab es für Sie keine Möglichkeit, davon zu erfahren.

Da viele dieser Dienste nun agentische KI integrieren, wird sich das Risiko durch diese Bedrohung voraussichtlich vervielfachen. Untersuchungen von IBM zeigen, dass über 60–% der Unternehmen, die von einer KI-bezogenen Datenschutzverletzung betroffen waren, keine starken Governance-Kontrollen in Bezug auf künstliche Intelligenz hatten. Unterdessen kosten KI-bedingte Datenschutzverletzungen fast 700.000 Dollar mehr als andere Sicherheitsvorfälle. 

Warum ist agentische Schatten-KI schlimmer als Schatten-IT?

Beginnen wir damit, darüber zu sprechen, was agentische KI beinhaltet.

Die meisten von uns kennen KI in Form eines Chatbots: Sie fordern ihn auf, Ihre Hausaufgaben zu machen, einen Blogbeitrag zu schreiben (nicht diesen hier) oder ein Bild zu generieren, er rattert eine Minute lang und liefert dann das gewünschte Ergebnis, plus oder minus Halluzinationen.

Agentische KI unterscheidet sich dadurch, dass sie die Fähigkeit besitzt, zusätzliche Aktionen auszuführen, um ihre Ziele zu erreichen. Dies bedeutet, dass sie auf Dateien und Datenbanken zugreifen, Applikationen steuern und sogar Terminalbefehle ausführen kann.

Hier ist ein Beispiel:

• Sie möchten für jeden neuen Stapel von Kundensupport-Tickets, den Sie innerhalb eines 24-Stunden-Zeitraums erhalten, eine Analyse durchführen.
• Bei einem Chatbot wählen Sie die gewünschten Dateien einmal alle 24 Stunden manuell aus, ziehen sie in das Chatbot-Fenster und führen den Prompt aus.
• Eine agentische KI greift auf die Dateien zu und führt ihre Analyse automatisch aus, was bedeutet, dass der Nutzer den Prompt nur einmal ausführen muss.

Das ist aus Nutzersicht praktisch und aus Sicherheitssicht beängstigend.

Bewertung des Risikos von agentischer Schatten-KI

Agentische Schatten-KI ist aus zwei Gründen alarmierend.

Zunächst kann ein Nutzer einem Agenten mitteilen, eine scheinbar harmlose Aufgabe auf unsichere Weise auszuführen. Nehmen wir zum Beispiel an, dass der KI-Agent, um die zuvor genannte Analyseaufgabe auszuführen, eine Anwendungsprogrammierschnittstelle (API) zwischen einer Datenbank und einem Analysetool erstellt. Die API funktioniert, ist aber, wie bei vibecodierter Software oft der Fall, nicht besonders sicher.

Der Nutzer weiß nicht, dass die API unsicher ist, da der Nutzer kein Softwareentwickler ist. Die IT-Abteilung weiß nicht, dass die API unsicher ist, da die IT-Abteilung nicht weiß, dass sie existiert. Mit anderen Worten: Der Nutzer hat die KI erfolgreich damit beauftragt, eine völlig neue Angriffsfläche zu schaffen, die von Angreifern ausgenutzt werden und die das Unternehmen nicht schützen kann.

Zweitens sollten wir daran denken, dass die agentische KI in diesem Beispiel der IT-Abteilung nicht bekannt ist. Sie ist nicht durch Identitäts- und Zugriffsmanagement (IAM) geschützt, die Zwei-Faktor-Authentifizierung liegt im Ermessen der Nutzer und es gibt keine Überwachung auf Sicherheitsverletzungen. Infolgedessen könnten Angreifer in der Lage sein, Zugangsdaten zu stehlen. Sobald der Angreifer die Kontrolle über die Zugangsdaten hat, kann er sich zurücklehnen und den Agenten anweisen, Ihre Dateien auf dem Silbertablett zu liefern.

Risiken agentischer KI in der Praxis

Zwischen dem Beginn und der Fertigstellung dieses Artikels hat OpenAI einen Security-Vorfall offengelegt, der das Risiko agentenbasierter KI verdeutlicht.

Es verhält sich so: OpenAI testete ein experimentelles Modell, das speziell für das Testen und die Ausnutzung von Schwachstellen entwickelt wurde. Der Test fand in einer isolierten Sandbox-Umgebung mit minimaler Konnektivität zur Außenwelt statt. 

Während des Tests begann der KI-Agent zu glauben, dass er den Test effizienter durchführen könnte, wenn er Zugriff auf einen Modell-Hub namens Hugging Face hätte. Daher hat die KI eigenständig – und ohne irgendwelchen Anweisungen zu folgen – die Hugging-Face-Datenbank kompromittiert.

Dieses Beispiel lässt sich nicht 1:1 auf agentische Schatten-KI übertragen, veranschaulicht jedoch das potenzielle Risiko. Es ist leicht nachzuvollziehen, wie ein Nutzer einen KI-Agenten mit einer Aufgabe betrauen könnte, ohne Leitplanken festzulegen, wodurch der Agent die Aufgabe auf eine Weise ausführen könnte, die das Unternehmen einem Risiko aussetzt. Es ist ebenso leicht nachzuvollziehen, wie ein Angreifer, der die Kontrolle über ein solches Tool erlangt, dessen Funktionen nutzen könnte, um mit geringem Aufwand eine schwerwiegende Datenschutzverletzung herbeizuführen.

Schutz vor den Risiken von agentischer Schatten-KI

Obwohl agentische KI ein leistungsstarkes Werkzeug ist, können ahnungslose Nutzer sie dazu verwenden, ein Unternehmen ernsthaften Risiken auszusetzen – ganz zu schweigen davon, was sie in den Händen eines Angreifers anrichten könnte. Die Kontrolle dieser Risiken erfordert einen mehrgleisigen Ansatz.

1. Schulung
   Nutzer müssen wissen, dass sie, wenn sie agentische KI ohne Zustimmung der IT-Abteilung nutzen, damit im übertragenen Sinne mit dem Feuer spielen könnten. Schulungen zur Stärkung des Risikobewusstseins bleiben eine der wirksameren Formen der Prävention.
2. Prüfung
   Die Überwachung der agentischen KI bedeutet, eine zentrale Datenbank zu erstellen, die drei Parameter enthalten muss: Wem gehört der Agent, worauf hat er Zugriff und wie kann man ihn am Ende seines Lebenszyklus außer Betrieb nehmen. Dies hilft der Organisation dabei, die mit diesen Tools verbundenen Risiken zu messen und zu bewerten.
3. Überwachung
   Eine gute Nachricht ist, dass die Überwachung von agentischer Schatten-KI sich nicht wesentlich von der Überwachung auf Angreifer unterscheidet. KI-Agenten erscheinen als ungewöhnlicher ausgehender Datenverkehr, persistente API-Aufrufe und atypische Dateizugriffe. Sie können dieselben Tools, die Sie zur Erkennung von Eindringlingen verwenden, auch zur Erkennung nicht zugelassener KI-Agenten nutzen.

Es gibt noch ein letztes Puzzleteil: Zero Trust. Die Zero-Trust-Netzwerksicherheit, die Mitarbeiter auf eng definierte Netzwerksegmente beschränkt, etabliert dieselben Einschränkungen für nicht autorisierte Agenten. Obwohl ein Mitarbeiter möglicherweise weiterhin auf KI-Modelle zugreifen kann, schränkt dieser Ansatz deren Nutzbarkeit ein – was die Nutzer effektiv dazu zwingt, mit der IT-Abteilung zusammenzuarbeiten, damit ihre Agenten weiterhin funktionieren können.

Kontrollieren Sie die Ausbreitung von agentischer Schatten-KI mit Zero Trust Network Access-Kontrollen von Barracuda Networks. Vereinbaren Sie eine Demo, um damit zu beginnen, unkontrollierter KI Grenzen zu setzen.