Der E-Mail-Turing-Test

Mit dem zunehmenden Einsatz von großen Sprachmodellen (LLMs) wie ChatGPT und Gemini wird ein immer größerer Teil der Texte, mit welchen wir uns beschäftigen, von automatisierten Systemen generiert, anstatt von einem Menschen, der auf seiner Tastatur tippt. Einer der Produktivitätsvorteile von LLMs ist insbesondere ihre Fähigkeit, uns beim Generieren, Optimieren oder Umformulieren von E-Mails zu helfen, was vielleicht die Textart ist, bei der viele von uns die meiste Zeit mit Lesen und Schreiben verbringen. Tatsächlich ist KI bereits in unser Postfach eingedrungen, sogar über die Autocomplete-Funktion von Office 365 und Gmail hinaus, mit einer Vielzahl von Plugins, die helfen können, E-Mails zusammenzufassen, zu verfassen, zu korrigieren und zu organisieren.

Die Generierung von Inhalten expandiert und verändert sich rasant, und E-Mail-Nachrichten sind Teil dieser Entwicklung. Viele von uns haben schon beobachtet, dass eingehende Nachrichten „übermäßig poliert“ sind oder in einem Stil verfasst wurden, der von der typischen Schreibweise des Absenders abweicht. Das wirft die Frage auf, wenn wir eine E-Mail erhalten: Wurde diese E-Mail von einem Menschen oder einer Maschine geschrieben?

Man kann sich auch fragen, ob es wirklich wichtig ist, diese Frage zu beantworten. Wenn LLMs tatsächlich schnell zu einem unverzichtbaren Produktivitätsinstrument werden, das den Menschen eine Menge Zeit spart, dann kann man das so sehen. Und wenn der Absender der E-Mail kein Muttersprachler der verwendeten Sprache ist, können LLMs ein Geschenk des Himmels sein, wenn es darum geht, peinliche Grammatikfehler zu korrigieren und zu vermeiden. LLMs können auch dabei helfen, eine E-Mail in einem bestimmten Stil für jemanden zu verfassen, der mit der lokalen Geschäftsetikette nicht vertraut ist (z. B. jemand, der im Ausland geschäftlich tätig ist, oder ein frischgebackener Absolvent). Sie können den LLM beispielsweise bitten, die E-Mail in einem geschäftsorientierten und höflichen Ton zu verfassen.

Handelt es sich bei KI-generiertem Text eher um Spam oder Phishing?

Das ist alles schön und gut, wenn der Absender ein Kollege oder Freund ist oder jemand, der uns eine nützliche E-Mail schickt. Aber natürlich kann es, wie bei jeder Technologie, auch fragwürdige Anwendungsfälle geben. LLMs können sehr überzeugende und personalisierte Spam-E-Mails generieren. Schlimmer noch: Sie können hochgradig gezielte Spear-Phishing- oder Business-E-Mail-Compromise-Angriffe (BEC) durchführen und dabei Ton, Stil und Signatur des imitierten Absenders nachahmen. Daher kann die Feststellung, ob eine E-Mail von einem Menschen oder einer Maschine generiert wurde, tatsächlich als wertvoller Indikator für einen E-Mail-Spamfilter oder einen Phishing-Detektor dienen. 

Tatsächlich arbeitet unsere Forschungsgruppe aktiv daran, einen solchen Detektor zu bauen, aufbauend auf den jüngsten Forschungsfortschritten in diesem Bereich. Ziel ist es, mithilfe eines KI-Modells zu erkennen, ob der Text KI-generiert ist. Wie eine Schlange, die ihren eigenen Schwanz frisst.

Zu erkennen, ob ein E-Mail-Text von einer KI erstellt wurde, ist besonders schwierig, da E-Mail-Texte oft sehr kurz und knapp sind. Dadurch haben wir weniger Text zur Analyse, obwohl die Länge des Textes ein Faktor ist, den wir bei der Bestimmung, ob er von einer KI generiert wurde, berücksichtigen. Uns (und anderen) ist aufgefallen, dass von KI generierte Texte oft wortreich, langatmig und übermäßig formell sind. Ein weiterer Faktor, den wir berücksichtigen, ist die Verwendung bestimmter Phrasen, die eher von einer KI als von einem Menschen generiert werden. Zum Beispiel der Satz: „Stand meines letzten Wissensupdates“.

Wie sieht die Zukunft aus?

Es scheint, dass wir in ein Zeitalter eintreten, in dem der Mensch einen Großteil der Texte, die wir lesen, nicht mehr direkt erzeugt. Dies wird wahrscheinlich enorme Auswirkungen auf viele Bereiche unseres Lebens haben: unsere täglichen sozialen und geschäftlichen Interaktionen, unsere Klassenzimmer und Bildungseinrichtungen und die Inhalte, die wir konsumieren. Darüber hinaus wird es enorme Auswirkungen auf Cyberkriminalität und Cybersicherheit haben. Die Herausforderung für Cybersecurity-Forscher besteht darin, dass Kriminelle jetzt eine niedrigere Hürde haben, um ausgeklügelte Spear-Phishing- und BEC-Angriffe durchzuführen. Aber die entsprechende Chance besteht darin, dass LLMs und andere grundlegende KI-Modelle dazu verwendet werden können, diese Angriffe mit viel höherer Genauigkeit zu erkennen und zu verhindern. Und so geht das Katz-und-Maus-Spiel weiter.