OWASP Top 10 Risiken für große Sprachmodelle: Updates für 2025

Mit der zunehmenden Einbettung von generativer KI (GenAI) und großen Sprachmodellen (LLMs) in immer mehr interne Prozesse und kundenorientierte Anwendungen steigen auch die mit LLMs verbundenen Risiken. Die OWASP-Top-10-Liste für LLM-Anwendungen für 2025 beschreibt diese Risiken auf der Grundlage der realen Nutzung als Warnhinweis für führende Unternehmen in den Bereichen Technologie, Cybersecurity, Datenschutz und Compliance.

„Unternehmen betreten bei der Sicherung und Überwachung von GenAI-Lösungen Neuland. Die schnelle Weiterentwicklung von GenAI eröffnet Cyberkriminellen zudem die Möglichkeit, ihre Angriffsstrategien zu verbessern, was eine doppelte Herausforderung hinsichtlich Abwehrmaßnahmen und Bedrohungseskalation darstellt.“ – OWASP

Angriffe oder Manipulationen von KI-Modellen sind besonders problematisch, weil sie sich erheblich auf die Ergebnisse auswirken können und dabei dem Endbenutzer verborgen bleiben. Wenn diese Risiken von Nutzern eingeführt werden, werden die Ergebnisse verzerrt und können für absichtliche Fehlinformationen oder andere bösartige Aktivitäten verwendet werden.

Die OWASP Top 10 für große Sprachmodelle 2025

Das kürzlich angekündigte Update für 2025 geht auf die sich entwickelnden Herausforderungen von GenAI ein, erklärt die bestehenden Risiken zum besseren Verständnis, gibt zusätzliche Hinweise zur Sicherung von Retrieval-Augmented Generation (RAG), fügt Lecks von Systemaufforderungen als Top-Risiko hinzu und gibt eine umfassendere Darstellung von übermäßigem Handlungsspielraum.

Lassen Sie uns jedes der 10 größten Risiken mit Beispielen und Strategien zur Vorbeugung und Abschwächung aufschlüsseln.

1. Prompt Injection

Prompt Injection oder das Einschleusen von Aufforderungen tritt auf, wenn Benutzereingaben das Verhalten oder den Output eines LLMs auf unbeabsichtigte Weise verändern. Dies ist durch das Umgehen von Sicherheitsmaßnahmen, unbefugten Zugriff oder die Manipulation von Entscheidungen möglich.

Beispiele:

• Einschleusen von Eingabeaufforderungen in einen Chatbot für Zugriff auf personenbezogene Daten
• Verwenden versteckter Anweisungen in Webinhalten zur Beeinflussung des Outputs
• Dokumente in Repositorys ändern, um Retrieval-Augmented Generation (RAG) zu manipulieren
• Verwendung unterschiedlicher Sprachen in Anweisungen, um einer Erkennung zu entgehen.

Präventions- und Eindämmungsstrategien:

• Integration von Datenbereinigung, um zu verhindern, dass Benutzerdaten in die Modelle gelangen
• Implementieren einer Filterung für vertrauliche Inhalte sowohl bei den Inputs als auch bei den Outputs
• Einsatz von Zugriffskontrollen mit geringsten Berechtigungen  für Modelloperationen
• Beschränkter Zugriff auf externe Datenquellen
• Integration von differenziellem Datenschutz, um Daten oder Outputs Rauschen hinzuzufügen.

Zu den fortgeschrittenen Methoden zählt die homomorphe Verschlüsselung und Tokenisierung zur Vorverarbeitung und Bereinigung aller sensibler Informationen.

2. Offenlegung sensibler Informationen

Die Offenlegung sensibler Informationen geschieht, wenn ein Modell unbeabsichtigt personenbezogene oder vertrauliche Daten durch Antworten preisgibt. Hierzu zählen oftmals Informationen, die in Trainingsdaten enthalten sind oder durch konkrete Benutzerabfragen offengelegt werden.

Beispiele:

• Weitergabe von API-Schlüsseln oder Zugangsdaten
• Unangemessene Offenlegung firmeneigener Geschäftsstrategien
• Weitergabe persönlicher Benutzerdaten bei der Beantwortung von Anfragen
• Offenlegung von sensiblen Systemdetails oder Eingabeaufforderungen

Präventions- und Eindämmungsstrategien:

• Bereinigen von Trainingsdaten, um sensible Daten zu entfernen
• Durchsetzen von Inhaltsfilterung für sensible Output-Kategorien
• Eliminieren veralteter oder anfälliger Komponenten
• Robuste Zugriffskontrollen, um vertrauliche Daten vor Offenlegung zu schützen
• Prüfen von Antworten, um Lecks zu identifizieren und zu vermeiden
• Implementieren von Methoden zur Anonymisierung von Antworten.

3. Schwachstellen in der Lieferkette

Schwachstellen in der Lieferkette bergen Risiken, wenn Komponenten oder Abhängigkeiten von Drittanbietern zum Einsatz kommen. Dies kann bösartige oder nicht verifizierte Daten, Bibliotheken oder Modelle umfassen. Es sich einfach um schlechte Daten oder Daten, die mit bösartiger Absicht erstellt wurden, handeln.

Beispiele:

• Integration einer LLM-Bibliothek mit versteckten Hintertüren
• Verwendung kompromittierter APIs von Drittanbietern für zusätzliche Funktionalitäten
• Einsatz von vortrainierten Modellen, die mit manipulierten Daten vergiftet sind
• Bereitstellen von Updates aus nicht vertrauenswürdigen Quellen

Präventions- und Eindämmungsstrategien:

• Einsatz von strengen Rahmenwerken hinsichtlich Data Governance
• Validieren aller Bibliotheken und Datensätzen von Drittanbietern
• Beschränken der Datenquellen auf geprüfte Lieferanten
• Implementieren einer Laufzeitüberwachung, um verdächtiges Verhalten zu erkennen
• Regelmäßige Security-Überprüfungen der Abhängigkeiten in der Lieferkette.

4. Daten- und Modellvergiftung

Bei Bedrohungen durch Daten- und Modellvergiftung manipulieren Angreifer absichtlich die Trainingsdaten, um das LLM-Verhalten zu beeinflussen oder neue Schwachstellen einzuführen.

Beispiele:

• Einbettung schädlicher Anweisungen in Daten, um die Outputs zu verändern
• Modifizierte Feinabstimmung von Datensätzen zur Einführung von Verzerrungen
• Erstellen von Hintertüren, um spezifische Antworten auf Eingabeaufforderungen zu ermöglichen
• Vergiften von Datensätzen, um die Modellgenauigkeit zu reduzieren.

Präventions- und Eindämmungsstrategien:

• Datenquellen während des Trainings und der Feinabstimmung überprüfen und sichern
• Anomalieerkennung zur Identifizierung ungewöhnlicher Muster in Daten verwenden
• Einsatz von differenziertem Datenschutz, um die Auswirkungen einzelner Datenpunkte zu minimieren
• Regelmäßige Tests der Modelle auf Vergiftungsversuche
• Isolieren und Validieren aller Updates vor der Bereitstellung.

5. Unsachgemäße Verarbeitung des Outputs

Wenn Outputs nicht validiert, gefiltert oder eingeschränkt werden, kann es zu einer unsachgemäßen Verarbeitung des Outputs kommen. Dies kann schädliche Inhalte generieren und zusätzliche Sicherheitsrisiken mit sich bringen.

Beispiele:

• Voreingenommene oder schädliche Sprache in Antworten
• Erstellung von Inhalten, die personenbezogene Daten preisgeben
• Ergeben von Code, der unbeabsichtigte Operationen ausführt
• Bereitstellung ungenauer oder irreführender Ergebnisse

Präventions- und Eindämmungsstrategien:

• Zero-Trust-Ansatz verfolgen und korrekte Eingabevalidierung anwenden
• Filter anwenden, um schädliche oder eingeschränkte Inhalte zu blockieren
• Quellenangaben für sachliche und zuverlässige Antworten anfordern
• Outputs unter verschiedenen Szenarien testen, um Schwachstellen zu identifizieren.

6. Übermäßiger Handlungsspielraum

Unter übermäßigem Handlungsspielraum versteht man Situationen, in denen LLMs zu viel Autonomie zugestanden wird. Dadurch können sie risikoreiche Aktionen wie das Ausführen von Befehlen oder den Zugriff auf sensible Systeme ohne ausreichende Sicherheitsvorkehrungen durchführen.

Beispiele:

• LLMs die Ausführung von API-Aufrufen ohne Überwachung zu erlauben
• Wichtige Entscheidungen wie Finanztransaktionen oder Gesundheitsdaten automatisieren
• Uneingeschränkten Dateisystemzugriff ermöglichen
• Unüberwachte Plugin-Interaktionen in komplexen Anwendungen zulassen.

Präventions- und Eindämmungsstrategien:

• Beschränkter Zugriff des LLM auf wesentliche Vorgänge
• Implementieren menschlicher Aufsicht für kritische Aufgaben
• Granulare Berechtigungskontrollen, um Funktionen einzuschränken
• Protokollieren und Überwachen von LLM-Aktionen zur Rechenschaftslegung
• Ausfallsichere Mechanismen, die bei nicht autorisierten Aktionen greifen.

7. Lecks von Systemaufforderungen

Lecks von Systemaufforderungen treten auf, wenn in LLM-Systeme eingebettete vertrauliche oder interne Aufforderungen Benutzern oder Angreifern offenbart werden, die dadurch an sensible Anweisungen oder Systemkonfigurationen gelangen.

Beispiele:

• Versteckte Systemaufforderungen aufdecken
• Offenlegen von API-Schlüsseln oder Datenbankverbindungen in Systemaufforderungen
• Aufdecken von Filterkriterien, Berechtigungen und Benutzerrollen sowie anderen internen Regeln

Präventions- und Eindämmungsstrategien:

• Erstellen von Systemaufforderungen, um die Offenlegung sensibler oder vertraulicher Daten zu verhindern
• Isolieren der Systemanweisungen von den Input-Layers
• Einsatz von Schutzmaßnahmen für Input und Output, die Lecks erkennen und blockieren
• Sicherstellen, dass Sicherheitskontrollen unabhängig vom LLM durchgesetzt werden

8. Schwachstellen von Vektor und Einbettung

Angreifer nutzen Vektor- und Einbettungsschwachstellen über Vektordarstellungen oder Einbettungssysteme in Anwendungen aus, um das Modellverhalten oder die Datenintegrität zu manipulieren.

Beispiele:

• Unbefugter Zugriff auf Einbettungen mit vertraulichen Informationen
• Beeinträchtigung von Einbettungen, um die Suchgenauigkeit oder die Suchergebnisse zu verschlechtern
• Ausnutzung von Näherungsfehlern bei der Berechnung von Vektorähnlichkeiten
• Einschleusen bösartiger Inhalte in gemeinsam genutzte Einbettungsbereiche.

Präventions- und Eindämmungsstrategien:

• Validieren und Bereinigen von Inputs vor dem Generieren von Einbettungen
• Regelmäßiges Überwachen von Vektorräumen auf Anomalien
• Geräuschtolerante Algorithmen für einen verbesserten Schutz vor gegnerischen Angriffen
• Implementieren strenger Berechtigungs- und Zugriffskontrollen für Einbettungssysteme.

9. Fehlinformationen

Fehlinformationen entstehen, wenn LLMs falsche, irreführende oder voreingenommene Ergebnisse erzeugen. Dadurch können irreführende Informationen verbreitet werden, die glaubwürdig erscheinen, was zu Security-Verletzungen, Rufschädigung und rechtlicher Haftung führen kann.

Beispiele:

• Generierung falscher medizinischer Ratschläge in Gesundheits-Chatbots
• Erstellung voreingenommener Inhalte als Antwort auf sensible Anfragen
• Falsche Darstellung von Tatsachen oder Verbreitung von Verschwörungstheorien
• Generieren von unsicherem Code oder Einführen von unsicheren Codebibliotheken.

Präventions- und Eindämmungsstrategien:

• Trainieren von Modellen mit diversen, verifizierten und aktuellen Datensätzen
• Erforderliche Quellennachweise und Validierung für faktische Ergebnisse
• Regelmäßiges Überprüfen der Ergebnisse auf Richtigkeit und Voreingenommenheit
• Verwendung von Nachbearbeitungsfiltern, um falsche Inhalte zu kennzeichnen oder zu korrigieren
• Menschliche Aufsicht für Anwendungsfälle, die eine hohe Genauigkeit erfordern.

10. Unbegrenzter Verbrauch

Unbegrenzter Verbrauch bezieht sich auf Szenarien, in denen LLMs ausgenutzt werden, um übermäßig viele Ressourcen zu verbrauchen, was zu Denial-of-Service, erhöhten Kosten oder einer verminderten Systemleistung führt.

Beispiele:

• Generieren übermäßig langer Outputs als Reaktion auf Benutzeraufforderungen
• Verarbeitung extrem großer Eingaben, die Systeme überlasten
• Umgang mit Endlosschleifen in Abfrageketten, die Ressourcen verbrauchen
• Unbeschränkte API-Aufrufe zulassen – was zu Abrechnungsspitzen führt

Präventions- und Eindämmungsstrategien:

• Festlegen strenger Grenzwerte für die Input-Größe, die Output-Länge und die Verarbeitungszeit
• Ratenbegrenzungen für API-Aufrufe und Ressourcenzuweisung
• Implementieren von Timeouts und Überwachungen, um übermäßige Vorgänge zu beenden
• Validieren von Inputs, um ressourcenintensive Anfragen zu erkennen und abzulehnen.

Download der Cybersecurity- und Governance-Checkliste von OWASP

Für weitere Anleitungen können Sie die LLM-Checkliste für KI-Cybersecurity und Governance von OWASP für Entwickler und KI-Führungskräfte herunterladen, die nach verantwortungsvollen und vertrauenswürdigen KI-Lösungen suchen.