OpenAI gibt Cybersecurity-Warnung zu KI-Modellen heraus

Das zweischneidige Schwert der KI-Innovation und Cyberbedrohungen meistern

Die wichtigsten Erkenntnisse

• OpenAI warnt davor, dass zukünftige KI-Modelle, insbesondere solche, die auf großen Sprachmodellen (LLMs) basieren, über fortgeschrittene Cybersecurity-Funktionen verfügen werden, die von Cyberkriminellen ausgenutzt werden könnten.
• Das Unternehmen überwacht die Modellnutzung auf bedenkliche Aktivitäten und arbeitet mit Red-Teaming-Organisationen zusammen, um die Sicherheitsmaßnahmen zu verstärken.
• Aardvark, ein für die Security-Forschung trainierter KI-Agent, befindet sich in der privaten Beta-Phase, um Entwicklern und Sicherheitsteams bei der Identifizierung von Schwachstellen zu helfen, wobei eine kostenlose Abdeckung für bestimmte Open-Source-Projekte angeboten wird.
• Initiativen wie das OWASP GenAI Security Project und die Taxonomie von NIST für KI Security helfen Organisationen, neue Bedrohungen im Zuge der Weiterentwicklung der KI-Technologie zu verstehen und abzuwehren.

OpenAI warnt davor, dass die nächste Generation von Modellen der künstlichen Intelligenz (KI), die auf seinen großen Sprachmodellen (LLMs) basieren, über ein hohes Maß an Cybersecurity-Fähigkeiten verfügen wird, die möglicherweise von Cyberkriminellen missbraucht werden könnten.

Konkret sollten Cybersicherheitsteams damit rechnen, dass Cyberkriminelle LLMs nutzen werden, um funktionierende Zero-Day-Fernangriffe gegen gut verteidigte Systeme zu entwickeln oder um bei komplexen, heimlichen Eindringversuchen zu helfen, so ein Blogbeitrag von OpenAI.

OpenAI arbeitet daran, einen möglichen Missbrauch seiner Modelle zu minimieren, indem es unter anderem das Modell so trainiert, dass es sicher auf Anfragen reagiert, die einen eindeutigen Cybermissbrauch ermöglichen würden, und gleichzeitig weiterhin für Bildungs- und Verteidigungszwecke hilfreich bleibt.

Darüber hinaus verpflichtet sich OpenAI, die Nutzung seiner LLMs weiterhin auf unsichere Aktivitäten zu überwachen, die dann blockiert oder an weniger leistungsfähige Modelle weitergeleitet werden. Gleichzeitig arbeitet das Unternehmen mit Red-Teaming-Organisationen zusammen, um seine Sicherheitsvorkehrungen zu bewerten und zu verbessern.

OpenAI plant außerdem die Einführung eines Trusted-Access-Programms, mit dem qualifizierten Nutzern und Kunden im Bereich der Cyberabwehr ein gestaffelter Zugang zu erweiterten KI-Modellfunktionen für defensive Anwendungsfälle ermöglicht werden soll. Darüber hinaus soll der Frontier Risk Council gegründet werden, ein Beratungsgremium, in dem erfahrene Security-Praktiker eng mit den Teams von OpenAI zusammenarbeiten werden. Darüber hinaus arbeitet OpenAI mit dem Frontier Model Forum zusammen, einem gemeinnützigen Konsortium, das sich dem gemeinsamen Verständnis von Bedrohungsmodellen und bewährten Verfahren widmet.

Schließlich hat OpenAI angekündigt, Aardvark auch in einer privaten Beta-Version zur Verfügung zu stellen. Aardvark ist ein KI-Agent, der als Security-Forscher ausgebildet wurde, um Entwicklern und Security-Teams beim Auffinden und Beheben von Schwachstellen zu helfen. Das Unternehmen plant außerdem, ausgewählten nicht-kommerziellen Open-Source-Repositories kostenlosen Zugang zu gewähren, um die Software-Lieferketten zu verbessern.

Die Balance zwischen KI-Innovation und neuen Cybersecurity-Risiken

Natürlich sind die von OpenAI entwickelten KI-Modelle jetzt nur eine von vielen Optionen, von denen viele in ähnlicher Weise weiter fortschreiten werden, in Bezug darauf, wie sie von böswilligen Akteuren missbraucht werden können. Tatsächlich gab Anthropic letzten Monat bekannt, dass eine in China ansässige Bedrohungsgruppe eines Nationalstaates ihr KI-Modell Claude missbraucht hat, um eine Reihe von Cyberspionageangriffen zu starten, die als Blaupause dienen könnten, wie KI und zugehörige Agenten in Zukunft von böswilligen Akteuren eingesetzt werden können.

Die nicht namentlich genannte Gruppe nutzte Claude Code, um mehr als zwei Dutzend Organisationen ins Visier zu nehmen. Die Kampagne automatisierte 80 bis 90 Prozent der Arbeit, wobei nur an vier bis sechs kritischen Entscheidungspunkten pro Hack menschliches Eingreifen erforderlich war.

Glücklicherweise arbeiten andere Organisationen daran, die KI-Security zu verbessern. Kürzlich hat das OWASP GenAI Security Project eine Top-10-Liste der potenziellen Sicherheitsbedrohungen veröffentlicht, denen Organisationen wahrscheinlich begegnen werden, wenn sie KI-Agenten entwickeln und einsetzen. Das U.S. National Institute of Standards and Technology (NIST) erstellt eine Taxonomie von Angriffen und Gegenmaßnahmen für die Sicherung von KI-Agenten.

An dieser Stelle gibt es kaum Zweifel daran, dass KI aus Sicht der Cybersecurity ein zweischneidiges Schwert ist. Die Hoffnung ist, dass Cybersecurity-Teams letztendlich mehr von KI profitieren werden als die Gegner. Angesichts der bisherigen Erkenntnisse wäre es jedoch ratsam, dass Cybersecurity-Teams sich schon jetzt auf das vorbereiten, was sich als das schlimmstmögliche aller möglichen Ergebnisse herausstellen könnte.