Der Zukunft auf der Spur: Wie wir GenAI für verbesserte Sicherheitslösungen bei Barracuda Networks nutzen

Zusammenfassung

• Barracuda AI befähigt Produktteams mit einer skalierbaren, konformen und benutzerfreundlichen GenAI-Plattform. Es bietet nahtlosen Zugriff auf über 20 KI-Modelle und eine schnelle Integration neuer Technologien.
• Umfassende Nachverfolgung und erweiterte Überwachung – unterstützt durch Databricks – bieten tiefgehende Einblicke in KI-Entscheidungsprozesse und ermöglichen Echtzeit-Fehlerbehebung, Leistungsoptimierung und robuste Security Compliance.
• Zu den laufenden Innovationen gehören verbesserte Auswertungs-APIs, ein demokratisierter Datenzugriff und eine erweiterte Überwachung, die sicherstellen, dass Barracuda weiterhin an der Spitze der KI-gesteuerten Cybersecurity und des Kundenschutzes bleibt.

Bei Barracuda arbeiten wir ständig an Innovationen, um neuen Security-Bedrohungen in einer immer komplexer werdenden digitalen Landschaft einen Schritt voraus zu sein. Als ein Unternehmen, dem Hunderttausende von Unternehmen weltweit vertrauen, um ihre E-Mails, Netzwerke, Anwendungen und Daten zu schützen, wissen wir, wie wichtig umfassende Sicherheitslösungen sind. Barracuda existiert, um Kunden ein Leben lang zu schützen und zu unterstützen: Wie können wir modernste KI-Technologie nutzen, um unsere Mission voranzutreiben?

Als leitender Ingenieur der Barracuda GenAI-Plattforminitiative weiß ich, wie wichtig es ist, Produktteams eine konsolidierte, regionale, skalierbare und konforme Plattform mit minimalem Overhead bereitzustellen, die es ihnen ermöglicht, KI-Lösungen sicher zu entwickeln, zu iterieren und bereitzustellen. Barracuda KI bietet einfachen Zugriff auf über 20 KI-Modelle, wobei die Unterstützung für die neuesten Modelle innerhalb weniger Tage über stabile APIs hinzugefügt wird. Wir verlassen uns auf die fortschrittlichen Tracing-Funktionen von Databricks, um unsere KI-Plattform zu überwachen, Fehler zu beheben und zu verbessern. Wir arbeiten aktiv an der Integration von Databricks' LLMOps -Lösungen, wie LLM Judge Metrics und Monitoring, um LLMOps für Produktteams, die Barracuda AI verwenden, zu vereinfachen.

Die Macht der Ablaufverfolgung für Barracuda AI

In Cybersecurity ist es entscheidend für die Effektivität und das Vertrauen, genau zu verstehen, wie KI-Modelle Entscheidungen treffen. Tracing bietet einen beispiellosen Einblick in unsere KI-Anwendungen, sodass wir jeden Schritt des Entscheidungsprozesses von der ersten Anfrage bis zur endgültigen Antwort nachvollziehen können.

Als wir auf dem Databricks Data + AI Summit das Autologging von MLflow LangChain sahen, integrierten wir uns problemlos und profitieren seitdem davon.

Die Nachverfolgung ermöglicht uns:

• Verfolgen Sie den vollständigen Verlauf einer Anfrage durch unser System
• Identifizieren Sie Engpässe und Leistungsprobleme in Echtzeit
• Debuggen von komplexen Interaktionen zwischen mehreren KI-Komponenten.
• Gewährleisten eines konsistentes Verhaltens in verschiedenen Umgebungen.
• Bereitstellung von Prüfpfaden für Security und Compliance-Zwecke

Durch die Implementierung einer umfassenden Nachverfolgung auf unserer Plattform können wir Probleme schnell identifizieren und lösen, die Leistung optimieren und sicherstellen, dass unsere Sicherheitslösungen auch bei sich ändernden Angriffsmustern optimal funktionieren.

Unsere technische Implementierung

Barracuda KI basiert auf einer Grundlage flexibler, interoperabler Technologien, die entwickelt wurden, um die Leistung zu maximieren und den Aufwand zu minimieren.

Barracuda AI API-Infrastruktur

Unsere API bietet OpenAI-kompatible und LangChain AIMessage/AIMessageChunk Endpunkte (weitere folgen in Kürze), die eine nahtlose Integration mit vorhandenen Tools und Workflows ermöglichen. Diese Kompatibilitätsschicht ermöglicht es Produktteams, iterativ zu arbeiten und zu experimentieren, ohne sich um Bereitstellungen oder Codeänderungen über Modell- oder Agenten-Frameworks hinweg kümmern zu müssen. Hinter den Kulissen verpacken wir Schnittstellen sorgfältig und wickeln Übersetzungen über ein regionales, skalierbares API-Gateway ab, das über Kubernetes-Cluster bereitgestellt und mit FastAPI von Uvicorn erstellt wurde, um konsistentes Verhalten und Leistung sicherzustellen und gleichzeitig eine detaillierte Ablaufverfolgung aufrechtzuerhalten.

Barracuda AI Frontend

Barracuda AI verfügt außerdem über eine sichere, SSO-authentifizierte Next.js-Front-End-Anwendung für eine breitere KI-Nutzung im gesamten Unternehmen.

Überwachung und Protokollierung

Die Autologging-Funktionen von MLflow verfolgen automatisch alle Modellinteraktionen, ohne dass umfangreiche Codeänderungen erforderlich sind. Dieser „Setzen und Vergessen“-Ansatz zur Nachverfolgung stellt sicher, dass wir umfassende Daten erfassen, selbst wenn sich unsere Plattform weiterentwickelt.

Datenverarbeitung und -analyse

Die Databricks-Integration bietet leistungsstarke Analyse- und Überwachungsfunktionen, mit denen wir große Mengen an Trace-Daten effizient verarbeiten können. Für aktuelle Nachverfolgungen (innerhalb der letzten Stunde) verwenden wir die MLflow-Benutzeroberfläche zur sofortigen Analyse. Für ältere exportierte Nachverfolgungen haben wir Ansichten mit DBT für unseren Databricks Genie-Bereich erstellt, sodass wir aussagekräftige Erkenntnisse und Analysen mithilfe natürlicher Sprache extrahieren können.

Tägliche Nutzungsszenarien

Unsere Nachverfolgungsinfrastruktur unterstützt eine Vielzahl kritischer Anwendungsfälle, die uns dabei helfen, ein hohes Maß an Security zu gewährleisten:

Fehlerbehebung bei komplexen Problemen

Wenn Nutzer ungewöhnliches Verhalten melden, können unsere Entwickler sofort die zugehörige request_id nachschlagen und die entsprechende Nachverfolgung abrufen. Dadurch können sie den gesamten Weg dieser Anfrage durch unser System verfolgen und genau feststellen, wo ein Fehler aufgetreten ist.

Umfassende Leistungsüberwachung

Wir haben ausgefeilte Dashboards und tägliche Berichte erstellt, die uns Einblick in Folgendes geben:

• Nutzungsmuster nach Team und Modell
• Kostenanalyse und Optimierungsmöglichkeiten
• Verfolgung der Token-Nutzung zur Effizienzsteigerung
• Modellieren von Leistungsmetriken und Latenzstatistiken

Diese Dashboards ermöglichen es uns, datenbasierte Entscheidungen zur Ressourcenzuweisung zu treffen und Optimierungsmöglichkeiten zu identifizieren.

Missbrauchserkennung und -prävention

Security bedeutet Schutz vor externen Bedrohungen und potenziellen internen Schwachstellen. Unser Nachverfolgungssystem hilft, Missbrauchsszenarien zu identifizieren, wie wenn Entwicklungsschlüssel versehentlich in Produktionsumgebungen eingesetzt werden.

Verwaltung umfangreicher Datenmengen

Die Verarbeitung von Nachverfolgungsdaten in großem Umfang stellt besondere Herausforderungen dar. Für sehr große Nachverfolgungen mit massiven Kontextlasten (wie etwa umfangreiche Codebasen oder große Kopien von Protokollen) haben wir intelligente Kürzungsstrategien implementiert, um innerhalb der 16-MB-JSON-Grenze des VARIANT-Typs von Databricks zu bleiben und gleichzeitig die wichtigsten Informationen zu bewahren.

Wir legen auch großen Wert auf den Datenschutz. Für Nachverfolgungen, die in Delta Lake Tables gespeichert sind, entfernen wir personenbezogene Daten (PII) aus Gründen des Datenschutzes und bewahren gleichzeitig den analytischen Wert unserer Nachverfolgungsdaten.

Zukünftige Richtungen

Wir erkunden aktiv mehrere spannende Verbesserungen für unsere Barracuda AI-Plattform:

Erweiterte Auswertungsfunktionen

Die Verwendung von Bewertungs- und Überwachungs-APIs hat für uns hohe Priorität und ist Teil unserer Hackathon-Roadmap. Wir planen, diese Bewertungsfunktionen über unsere Plattform-APIs bereitzustellen, sodass Teams die Qualität ihrer KI-gestützten Sicherheitslösungen messen und verbessern können.

Demokratisierter Datenzugriff

Verwenden Sie Databricks Delta Sharing, um Teams das Ausführen eigener Analysen auf Nachverfolgungsdaten zu ermöglichen. Diese Fähigkeit wird es ihnen ermöglichen, Erkenntnisse zu gewinnen und spezifische Änderungen für ihre Anwendungen vorzunehmen.

Verbesserte Offline-Auswertung

Wir entwickeln Funktionen für die Offline-Auswertung von Nachverfolgungsdaten, die es Teams ermöglichen, Hypothesen und Verbesserungen zu testen, ohne die Produktionssysteme zu beeinträchtigen. Dieser Ansatz beschleunigt Innovationen, während er die Stabilität unserer Security-Infrastruktur aufrechterhält.

Erweitertes Monitoring

Während wir neue Funktionen und Verbesserungen in unsere GenAI-Plattform integrieren, suchen wir nach Möglichkeiten, unsere Überwachungsfunktionen zu optimieren. Wir möchten die Produktinnovation beschleunigen, indem wir KI-Agenten auf Databricks bereitstellen, die in unsere GenAI-Plattform integriert sind, und die Sichtbarkeit unserer Nachverfolgungsinfrastruktur erweitern.

Fazit

Barracuda AI ist die Grundlage für zukünftige Innovationen bei Barracuda und bietet Produktteams die Flexibilität, Leistung und Transparenz, die sie benötigen, um die nächste Generation von Sicherheitslösungen zu entwickeln. Durch die Zentralisierung der KI-Funktionen, die Optimierung der Beobachtbarkeit durch Nachverfolgungen und die Nutzung der skalierbaren Infrastruktur von Databricks ist Barracuda AI zu einem Eckpfeiler geworden, der viele unserer Produktinitiativen stärkt. Während sich die Bedrohungslandschaft weiterentwickelt, bleiben wir dem Schutz unserer Kunden ein Leben lang verpflichtet, indem wir diese KI-Grundlage kontinuierlich verfeinern und erweitern und sicherstellen, dass jede Barracuda-Lösung von robusten, agilen und zukunftssicheren Innovationen profitiert.