Freiwillige für die Sicherung von KI-Modellen gesucht

Die gemeinnützige Organisation Open Worldwide Application Security (OWASP) sucht Freiwillige im Bereich Cybersicherheit, die helfen, eine Reihe von Best Practices für den Schutz von Anwendungen künstlicher Intelligenz (KI) zu definieren, hoffentlich vor einem größeren Vorfall.

OWASP hat bereits eine Liste der 10 wichtigsten Risiken und Risikominderungen für große Sprachmodelle (LLMs) erstellt, darunter:

• Prompt Injections, die bösartige Eingaben nutzen, um unbeabsichtigte Aktionen auszulösen.
• Unsichere Verarbeitung von Ausgaben, bei der die erzeugten Ergebnisse ohne Prüfung akzeptiert werden, sodass Backend-Systeme offengelegt werden.
• Vergiftung von Trainingsdaten, wobei z. B. Schwachstellen und Verzerrungen in das Modell eingeschleust werden.
• Modellieren von Denial-of-Service-Angriffen, die das Serviceniveau senken oder die Gesamtkosten erhöhen.
• Schwachstellen in der Lieferkette, bei denen die zur Erstellung eines Modells verwendete Software kompromittiert wurde.
• Offenlegung sensibler Informationen, wodurch vertrauliche Daten in LLM-Ergebnisse aufgenommen werden.
• Unsichere Plugin-Designs, die Remote Code Execution (RCE) ermöglichen.
• Übermäßiger Handlungsspielraum, der zum Missbrauch von Berechtigungen und Privilegien führt.
• Ein übermäßiges Verlassen auf LLMs ohne Aufsicht kann zu Fehlinformationen, Fehlkommunikation und Compliance-Problemen führen.
• Modelle sind eine Form von geistigem Eigentum, das Cyberkriminelle wahrscheinlich zu stehlen versuchen.

Das (OWASP) Top 10-Projekt für LLM-Anwendungssicherheit möchte den Umfang dieser Bemühungen nun erweitern und beispielsweise Ratschläge zur optimalen Reaktion auf mithilfe von KI erstellte Deep Fakes geben und darüber hinaus Anleitungen zum Aufbau eines AI Security Center of Excellence veröffentlichen. Weitere bestehende Projektinitiativen und Arbeitsgruppen, die zusätzliche Freiwillige benötigen, befassen sich mit dem Mapping von Risiko- und Exploit-Daten, LLM AI Cyber Threat Intelligence, der sicheren Einführung von KI sowie KI-Red Teaming und Evaluierung.

Das OWASP Top 10-Projekt für LLM-Anwendungssicherheit hat bereits 550 Mitwirkende aus 110 Unternehmen und plant, seine Top-10-Liste für LLM-Risiken und -Risikominderung ab 2025 zweimal jährlich zu aktualisieren. Die Herausforderung ist dabei die begrenzte Anzahl von Cybersecurity-Experten mit KI-Kenntnissen. Cybersicherheitsexperten, die sich dieses Fachwissen aneignen, sollten für ihr Fachwissen einen Aufpreis verlangen können. Eine der besten Möglichkeiten, sich dieses Fachwissen anzueignen, besteht darin, an der Definition der Anforderungen mitzuwirken, indem man sich einer Gruppe anschließt, die versucht, eine Best Practices zu definieren, an die sich alle halten können.

Was die tatsächliche Kompromittierung eines KI-Modells betrifft, so ist es noch zu früh, aber so wie Cyberkriminelle bereits Software-Lieferketten ins Visier nehmen, ist es nur eine Frage der Zeit.In der Tat ist ein KI-Modell im Kern einfach eine weitere Art von Artefakt, das der Software-Lieferkette hinzugefügt wird. Noch schwieriger ist, dass viele dieser KI-Modelle mit Tools erstellt werden, deren Schwachstellen bekannt sind, was zu vielen Abhängigkeiten führt, die eines Tages ausgenutzt werden könnten.

Leider verfügen Datenwissenschaftler in der Regel über noch weniger Cybersicherheitswissen als Anwendungsentwickler. Viele Unternehmen versuchen mit unterschiedlichem Erfolg, Anwendungsentwicklern die Grundlagen der Cybersicherheit beizubringen. Das nächste große Problem wird darin bestehen, Datenwissenschaftler, die noch weniger Kenntnisse über diese Grundlagen haben, diesbezüglich zu schulen.