Im Laufe meiner Karriere hatte ich das „Glück“, an einigen der größten Herausforderungen für die nationale Sicherheit mitzuarbeiten – von der Verbreitung von Massenvernichtungswaffen über den Terrorismus bis hin zu Cybersecurity. KI ist die neueste Herausforderung. Und sie wird weitreichendere Auswirkungen auf die Gesellschaft haben als alles andere.
Der Rollout von ChatGPT/Bard löst bei CISOs Besorgnis aus, da wir nun mit Entscheidungsfindung mittels „nicht-menschlicher“ Logik konfrontiert sind. Dadurch werden sich das Tempo und die Verbreitung von Angriffen beschleunigen, einschließlich solcher, die mit der Zeit zu Verzerrungen in Datasets führen könnten.1
Besorgt sind nicht nur CISOs, wie der offene Brief des Future of Life Institute in der Financial Times zeigt, der von Technologietitanen wie Elon Musk und KI-Vordenkern wie Max Tegmark vom Massachusetts Institute of Technology (MIT) unterzeichnet wurde. Darüber hinaus haben Security-Koryphäen wie Dan Geer von In-Q-Tel auf die Herausforderungen hingewiesen, vor die KI uns im Zusammenhang mit Onsite-/Edge-Computing und der Verschmelzung von Software und Daten stellt.
Die Asilomar-Prinzipien zu künstlicher Intelligenz besagen, dass fortgeschrittene KI die Geschichte des Lebens auf der Erde tiefgreifend verändern könnte und daher mit entsprechender Sorgfalt und Ressourcenausstattung gehandhabt werden sollte.
Zweifellos werden CISOs von CIOs und CTOs zwecks Effizienzsteigerung zur Einführung von KI gedrängt und damit vor immer komplexere Aufgaben gestellt werden. Sie werden mit KI-basierten Angriffen, automatisierter Ausnutzung von Schwachstellen, Data Poisoning oder Deep Fakes konfrontiert sein, angesichts derer aktuelle Phishing-Taktiken harmlos erscheinen.
Dabei sind computerbasierte automatisierte Angriffe durchaus kein brandneues oder fiktives Konzept.
In The Peacemaker, einem faszinierenden Buch von William Inboden über US-Präsident Ronald Reagan und den Kalten Krieg, wird ein Gespräch zwischen Reagan und Michail Gorbatschow über den Stopp des Weltraum-Verteidigungsprogramms SDI bei der Genfer Gipfelkonferenz 1985 wiedergegeben. Auf Reagans Weigerung, SDI zu stoppen, reagierte Gorbatschow verärgert. Er konterte mit der ominösen Drohung, der Kreml werde in diesem Fall Automatisierung einführen, durch die wichtige Entscheidungen Computern überlassen und politische Anführer in den Bunkern sitzen würden, während Computer die Entscheidungen träfen (Hervorhebung des Autors). Dadurch könne ein unkontrollierbarer Prozess ins Rollen kommen. Gorbatschow ließ durchblicken, dass die Sowjets bereits an einem System namens „Tote Hand“ arbeiteten, das im Falle eines erkannten Angriffs der USA automatisch alle Interkontinentalraketen der UdSSR abfeuern werde. Damit läge das Schicksal der Welt nicht mehr in den Händen von Menschen, sondern von Maschinen.2
Glücklicherweise handelten Reagan und Gorbatschow ein Abkommen zur drastischen Reduzierung strategischer Atomwaffen (START) aus und retteten die Welt vor dem Sturz in den Abgrund.
Die gesellschaftlichen Herausforderungen im Zusammenhang mit KI sind weitreichender als die existenziellen Auswirkungen von Atomwaffen. In ihrem Buch The Age of AI And Our Human Future führen Henry Kissinger, Eric Schmidt und Daniel Huttenlucher aus, dass unsere Wahrnehmung der Realität sich durch KI-gestützte Erkenntnisse verändern könne.
CISOs werden angesichts der Fähigkeit von KI, den Betrieb zu stören, als Torwächter für diese Technologie fungieren.
Wir stellen uns also die Frage, welche Cybersecurity-Strategie CISOs heute verfolgen können.
Ein klarer, fundierter Rahmen für die Zusammenarbeit ist erforderlich, um CISOs im Zeitalter der rasanten Einführung von KI zu unterstützen.
Eine Weltuntergangsanalyse ist einfach, aber vielleicht sollten wir uns mit Blick auf die KI zunächst Reagans Maxime „Vertrauen ist gut, Kontrolle ist besser“ zunutze machen, gerade angesichts der jüngsten Berichte über die „Halluzinationen“ von ChatGPT.3
Die Asilomar-Prinzipien von 2017 sind ein guter Ausgangspunkt bezüglich Forschungsfragen, Ethik, Werten und längerfristiger Probleme. Zum Beispiel: „Die KI-Forschung sollte nicht darauf abzielen, ungezielte Intelligenz zu schaffen, sondern nützliche Intelligenz.“ Oder: "Vermeidung eines Wettlaufs: Teams, die KI-Systeme entwickeln, sollten aktiv zusammenarbeiten, um Schluderei bei den Sicherheitsstandards zu vermeiden.“ Unter „Ethik und Werte“ werden Fragen der Sicherheit, der Transparenz bei Fehlfunktionen und der juristischen Transparenz erörtert. Unter „Längerfristige Probleme“ findet sich wiederum folgender Punkt: „KI-Systeme, die entwickelt wurden, um sich selbst rekursiv zu verbessern oder zu duplizieren, sodass eine rasante Qualitäts- oder Quantitätssteigerung zu erwarten ist, müssen strengen Sicherheits- und Kontrollmaßnahmen unterliegen.“ Und schließlich sollte „Superintelligenz“ nur im Dienst weithin geteilter ethischer Ideale entwickelt werden und der gesamten Menschheit nutzen, nicht nur einem Staat oder einer Einzelorganisation.
Meiner Meinung nach gibt es gespenstische Parallelen zwischen der im offenen Brief des Future of Life Institute vorgeschlagenen Pause und den ethischen und humanitären Problemen, mit denen Wissenschaftler wie Robert Oppenheimer hoch oben auf dem Plateau von Los Alamos im Rennen um die Entwicklung der Atombombe konfrontiert waren. Laut Kai Bird und Martin Sherman in J. Robert Oppenheimer: Die Biographie glaubten die meisten Wissenschaftler, das Ziel sei das Dritte Reich, doch dann erfuhren sie, dass es 1945 eigentlich darum ging, die Sowjetunion zu testen, und zwar auf dem Umweg über Japan. Als die Sowjetunion 1949 einen Atomtest durchführte, begann das Rennen um die Wasserstoffbombe oder Kernfusionswaffe.
Wir könnten den aktuellen Zeitpunkt in der KI-Entwicklung mit Julius Caesars Überschreiten des Rubikon vergleichen oder einfacher gesagt: Die sprichwörtliche Katze ist aus dem Sack.
Auch hier ist es, ähnlich wie bei Schrödingers Katze, kompliziert: Ist die Katze lebendig oder tot? Generative KI kann Inhalte produzieren, die sich nicht von menschengenerierten unterscheiden. Ist es KI oder nicht? Wie können wir das wissen?
Die Zwiespältigkeit von KI wirft verschiedene Probleme auf, von Bias bis hin zu Security-Herausforderungen.
Bezüglich KI-Audits und der Erkennung von Bias gibt es inzwischen einige gute Ansätze. Mehrere Organisationen beschäftigen sich mit KI-Ethik, darunter das Weltwirtschaftsforum, Partnership on AI und Equal AI. Der 2020 gegründeten Data & Trust Alliance gehören auch viele Unternehmen aus dem nichttechnischen Bereich an.4 Unklar ist aber noch, wie diese guten Ansätze umgesetzt werden sollen: freiwillig oder verpflichtend?
In Technology Review, dem Technologiemagazin des MIT, werden mehrere Beispiele dafür angeführt, dass KI-Chatbots eine „Sicherheitskatastrophe“ darstellen können, einschließlich Jailbreaking, Unterstützung von Scamming und Phishing sowie Data Poisoning.5
- Beim Jailbreaking bringt ein Benutzer das Sprachmodell mit einer „Prompt Injection“ dazu, frühere Anweisungen und Sicherheitsleitlinien zu ignorieren.
- Scamming und Phishing stellen beträchtliche Herausforderungen dar, da ChatGPT in Produkte integriert werden kann, die das Internet durchsuchen und mit diesem interagieren. Dadurch wird es Angreifern möglich, Chat GPT auf gefälschte Daten zu richten, die für Phishing und Betrug genutzt werden können.
- Data Poisoning liegt vor, wenn vor der Bereitstellung falsche oder schädliche Daten in ein großes Sprachmodell eingefügt werden. Beispiel: Nach einer bestimmten Anzahl von Schritten ist es nachweislich unmöglich zu rekonstruieren, wie der Status quo zustande gekommen ist. Und um auf Schrödinger zurückzukommen: In einem System mit simultaner Berechnung lässt sich der Zustand nur ermitteln, indem er ruiniert wird.
Und was jetzt?
Laut Goldman Sachs könnten aufgrund der jüngsten Durchbrüche im Bereich der generativen KI ein Viertel der Tätigkeiten in den USA und der Eurozone automatisiert werden. KI könnte einen Produktivitätsaufschwung auslösen, der das jährliche Bruttoinlandsprodukt innerhalb von zehn Jahren um 7 % steigern würde. Gleichzeitig würde der Arbeitsmarkt jedoch „empfindlich gestört“ werden.6 In den USA könnten 63 % der Erwerbsbevölkerung davon betroffen sein, wobei 30 % derjenigen, die körperliche Arbeiten oder Arbeiten im Freien verrichten, nicht betroffen wären. Rund 7 % der Arbeitnehmer in den USA sind in Berufen tätig, bei denen mindestens die Hälfte der Aufgaben von generativer KI übernommen werden könnte, und laufen damit Gefahr, ersetzt zu werden.
In einem von OpenAI, dem Entwickler von ChatGPT-4, veröffentlichen Bericht heißt es, dass „basierend auf einer Analyse von menschlichen Forschern und dem großen Sprachenmodell des Unternehmens bei 80 % der Erwerbsbevölkerung der USA mindestens 10 % der Aufgaben durch generative KI ausgeführt werden könnten“. Anders als bei ähnlichen Evaluierungen bezüglich Machine Learning sind Berufe mit höherem Einkommen in der Regel einem größeren Risiko ausgesetzt.7
Meiner Meinung nach haben wir dennoch Grund zum Optimismus, müssen jedoch Vorsicht walten lassen. Viele heutige Unternehmen erwägen den Einsatz von KI oder werden dies künftig tun.
Im Wall Street Journal wurde am 31. März ein faszinierendes Interview mit Bill Braun, dem CIO von Chevron veröffentlicht, in dem er erklärte, der verantwortungsbewusste Umgang mit KI sei ganz entscheidend. Auf die Frage, in welchen neuen Bereichen er gern KI integriert sehen würde, antwortete er: „Überall. KI sollte Bestandteil jedes Workflows, jedes Produktstroms sein. Aber alles, was eher routinemäßig oder weniger wertschöpfend zu sein scheint. […] Diese Aspekte aus der Interaktion der Mitarbeiter mit der Technologie herauszunehmen, sollte das Ziel sein.“8
Doch wo fangen wir an? Das Buch „All in on AI“ bietet wertvolle Tipps, darunter Use Cases von Toyota, Morgan Stanley, Airbus, Shell, Anthem, Kroger und Progressive.
Es gibt drei Archetypen im Zusammenhang mit der KI-Einführung:
- Schaffung von etwas Neuem wie neuen Geschäftsfeldern oder Märkten, Geschäftsmodellen oder Ökosystemen, Produkten und Services. Laut einer Analyse der forschungsbasierten Zeitschrift MIT Sloan Management Review können Unternehmen, die KI in erster Linie einsetzen, um neue Formen der Wertschöpfung zu erforschen und zu schaffen, mit 2,7-mal höherer Wahrscheinlichkeit ihre Wettbewerbsfähigkeit durch KI verbessern als Unternehmen, die KI in erster Linie zur Verbesserung bestehender Prozesse einsetzen.
Loblaw, eine kanadische Supermarktkette, nutzt KI zur Expansion ins Gesundheitswesen.
Airbus führte vor einigen Jahren die Datenplattform Skywise ein, um seine operative Performance zu steigern. Moderne Verkehrsflugzeuge können täglich ein Datenvolumen von mehr als 30 Gigabyte produzieren, rund um das Flugzeug werden mehr als 40.000 operative Parameter gemessen. Mittlerweile sind mehr als 140 Fluggesellschaften und 9.500 Flugzeuge mit Skywise verknüpft.
Anthem nutzte KI auf Betreiben seines CEO zum Ausbau des Unternehmensportfolios, einschließlich pharmazeutischer, verhaltensbasierter, klinischer und komplexer Pflege-Assets und Algorithmen, um ganzheitliche, integrierte Krankenversicherungslösungen anbieten zu können. - Transformation betrieblicher Abläufe, um bei der Umsetzung der bestehenden Unternehmensstrategie erheblich effizienter und effektiver zu werden. Beeinflussung kritischen Kundenverhaltens durch KI, z. B. mit Blick auf soziales Engagement, gesunde Lebensweise, Umgang mit Geld, Fahrweise usw.9
Beispielsweise setzt die Supermarktkette Kroger in Partnerschaft mit dem britischen Unternehmen Ocado eine Vielzahl von KI-Programmen ein, darunter folgende:- Prognose des Zeitpunkts, zu dem Lebensmittel im Verteilzentrum eintreffen sollten, um optimale Frische zu gewährleisten
- Ermitteln von Lebensmitteln kurz vor Ablauf des Mindesthaltbarkeitsdatums zwecks Rabattierung und Spenden
- Hyperpersonalisierung des digitalen Bestellsystems
- KI-basiertes Steuerungssystem für Roboter in Hochregallagern
- Computer Vision und Planungssysteme für Beutelverpackungsroboter
- Beeinflussung von Kundenverhalten. Unternehmen wie John Hancock nutzen Machine Learning für das Monitoring und die Änderung des Gesundheitsverhaltens.
Bei den folgenden drei wichtigen Punkten schließt sich der Kreis und wir kommen zurück zum Motto „Vertrauen ist gut, Kontrolle ist besser“:
In einem ersten und entscheidenden Schritt sollte der CEO eine Führungsperson benennen, die für die KI-Einführung verantwortlich ist. Unter der Leitung dieser Führungskraft sollte ein Prozess zur Prüfung aller potenziellen KI-Anwendungen durchgeführt werden.
Der zweite Punkt ist das Abstecken eines grundlegenden Rahmens für den Prozess. Deloitte nennt in seinem „Trustworthy AI Framework“ beispielsweise sechs Bereiche, die für Kunden bei der Entwicklung ihrer Richtlinien hilfreich sein können:
- Fair und unparteiisch. KI-Systeme sollten interne und externe Prüfungen beinhalten, die allen Teilnehmern eine gleichberechtigte Anwendung ermöglichen.
- Transparent und nachvollziehbar. Teilnehmer sollten leicht verstehen können, wie ihre Daten verwendet werden können und wie KI-Systeme Entscheidungen treffen. Algorithmen, Attribute und Korrelationen sollten einsehbar sein.
- Verantwortlich und rechenschaftspflichtig. Es braucht eine Organisationsstruktur und Richtlinien, mit deren Hilfe sich klar zuordnen lässt, wer für die Ergebnisse von KI-Systemen verantwortlich ist.
- Sicher und geschützt. KI-Systemen müssen vor möglichen Risiken (einschließlich Cyberrisiken) geschützt werden, die physische oder digitale Schäden zur Folge haben könnten.
- Respektvoll und unter Wahrung der Privatsphäre. Der Datenschutz muss respektiert werden und KI darf nicht eingesetzt werden, um Kundendaten über die beabsichtigte und angegebene Verwendung hinaus zu nutzen. Kunden sollte es möglich sein, sich für oder gegen die Weitergabe ihrer Daten zu entscheiden.
- Robust und zuverlässig. Die KI sollte von Menschen und anderen Systemen lernen sowie konsistente und zuverlässige Ergebnisse liefern können.
Der dritte Punkt ist die Stärkung der Resilienzstrategie. Dazu hat McKinsey den Leitfaden „A Technology Survival Guide for Resilience“ herausgegeben. Die gute Nachricht ist, dass viele Unternehmen ihr Augenmerk bereits auf eine resiliente Infrastruktur gelegt haben. McKinsey unterstreicht dabei die Bedeutung der „Kritikalität“. Dabei geht es einfach darum, was für den Geschäftsbetrieb besonders wichtig ist. McKinsey drückt es folgendermaßen aus: „Dies erfordert eine resiliente Infrastruktur mit erhöhter Sichtbarkeit und Transparenz im gesamten Technologie-Stack, damit ein Unternehmen auch bei Cyberangriffen, Datenkorruption, katastrophalen Systemausfällen oder anderen Arten von Incidents funktionsfähig bleibt.“
McKinsey hat darüber hinaus ein Reifegradmodell für Resilienz entwickelt.
- Stufe eins: grundlegende Fähigkeiten, wobei Resilienz den einzelnen Benutzern und Systemverantwortlichen überlassen bleibt und das Monitoring durch Benutzer und Kunden erfolgt, die Systemausfälle melden.
- Stufe zwei: passive Funktionen mit Schaffung von Resilienz durch manuelle Backups, Duplizierung von Systemen und tägliche Datenreplikation. Darüber hinaus werden Systemausfälle auf Plattform- und Rechenzentrumsebene überwacht.
- Stufe drei: aktive Resilienz durch Failover. Resilienz wird durch die aktive Synchronisierung von Anwendungen, Systemen und Datenbanken und das aktive Monitoring von Performance- und Stabilitätsindikatoren auf Anwendungsebene erreicht.
- Stufe vier: inhärente Resilienz in der Architektur. Resilienz ist durch inhärente Redundanz und aktives Monitoring auf Datenebene mit Anomalieerkennung und -eindämmung von Beginn an in den Technologie-Stack integriert.
Bei Splunk möchten wir dies weiter ausbauen.
Digitale Resilienz umfasst fünf Bereiche: Sichtbarkeit, Erkennung, Untersuchung, Reaktion und Zusammenarbeit. Im Zusammenhang mit KI ergeben sich folgende Definitionen:
Sichtbarkeit
Ausmaß des Überblicks der Teams über ihre Technologieumgebung, einschließlich der Qualität der Daten und der Datentreue sowie der Vollständigkeit der Abdeckung.
Anwendung auf KI: Da sich KI-Anwendungen über die Bereiche Security, DevOps und Observability erstrecken werden, muss die Sichtbarkeit all diese Bereiche umfassen. Dazu ist die Integration von Daten-Workflows in Dashboards erforderlich.
Erkennung
Ausmaß der Datennutzung zur Identifizierung möglicher Probleme, einschließlich Erkennungsabdeckung und Benachrichtigungen.
Anwendung auf KI: CISOs müssen für die Sicherheit der KI-Anwendungen Erkennungstools nutzen und integrieren. Geräte müssen Data Poisoning und manipulierte Algorithmen erkennen. Wenn neue KI-Funktionen auf den Markt kommen, sollten diese so lange gesperrt bleiben, bis Tools KI-Manipulationen erkennen können.
Untersuchung
Ausmaß der Datennutzung zur Suche nach möglichen Problemen und Beschleunigung von Analysen, einschließlich Anreicherung, Bedrohungssuche und Durchsuchen von Logs, Metriken und Traces.
Anwendung auf KI: Die Bedrohungssuche kann bei KI-Anwendungen besondere Tools erfordern, z. B. „Sandboxes“, damit Anwender die Funktionsweise einer KI-Anwendung verstehen.
Reaktion
Reaktionsschnelligkeit von Security-, IT- und DevOps-Teams bei alltäglichen Problemen oder Incidents.
Anwendung auf KI: Genau wie im bestehenden Sicherheitsbetrieb ist das Erkennen von und Reagieren auf KI-bezogene Bedrohungen, Störungen und Schwachstellen von entscheidender Bedeutung.
Zusammenarbeit
Ausmaß der funktionsübergreifenden Zusammenarbeit von Security-, IT- und DevOps-Teams und ihrer Tools.
Anwendung auf KI: Der Zusammenarbeit der Bereiche Security, IT und DevOps kommt entscheidende Bedeutung zu. Jeder Bereich sollte dabei auf den automatisierten Austausch und die gemeinsame Nutzung von Erkenntnissen mit internen und externen Kollegen setzen.
Ich bin zwar durchaus optimistisch, doch wir müssen auch realistisch bleiben. Während zu Beginn des Kalten Krieges im Kontext des Atomzeitalters die Sowjetunion im Zentrum der geopolitischen Herausforderung stand, ist es jetzt China. Tom Siebel, Gründer und CEO von C3.ai, erklärte in der Zeitschrift „Fortune“:
„Die Spannungen zwischen China und den USA sind sowohl im geopolitischen als auch im militärischen Bereich sehr real. Bei der nächsten Kill Chain wird sich alles um KI in Unternehmen drehen. Ob es um Hyperschall geht, um Schwärme, um autonome U-Bahnen oder um den Weltraum, die KI spielt immer eine zentrale Rolle. Ich würde also sagen, wir befinden uns in Bezug auf KI gerade in einem offenen Krieg mit China, und wer diese Schlacht gewinnt, wird wahrscheinlich die Welt beherrschen.“
Ich ringe mit den Implikationen dessen, was da auf uns zukommt, denn die KI wird unweigerlich weiter voranschreiten.
Wir wissen, dass wir heute in einer kritischen Zeit leben. Ich möchte keinen Hype um diese Angelegenheit machen, sondern mit beiden Beinen fest auf dem Boden bleiben. Während die KI unglaubliche Möglichkeiten eröffnet, gibt es noch viele Unbekannte und wir müssen Vorsicht walten lassen. Splunk meint es sehr ernst mit der Zusammenarbeit. Dieses Forum bietet eine hervorragende Möglichkeit, sich zu vernetzen und gemeinsam nachzudenken.
Danke sehr!
[1] Siehe „The Age of AI And Our Human Future“, Henry Kissinger, Eric Schmidt, Daniel Huttenlocher, 2021
[2] „The Peacemaker, Ronald Reagan, The Cold War and the World on the Brink“, William Inboden, 2022, S. 375
[3] „Let's cast a critical eye over business ideas from ChatGPT“, Financial Times, 12. März 2023
[4] „All in on AI: How Smart Companies Win Big with Artificial Intelligence“, Thomas Davenport und Nitin Mittal, 2023, S. 118
[5] „Three ways AI chatbots are a security disaster“, Melissa Heikkila, MIT Technology Review, 4. April 2023
[6] „Generative AI set to affect 300mn jobs across major economies“, The Financial Times, 27. März 2023
[7] „GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models“, Tyna Eloundou, Sam Manning, Pamela Mishkin und Daniel Rock, OpenAI, OpenResearch, University of Pennsylvania, 27. März 2023
[8] Download Extra, „Chevron’s Bill Braun calls generative AI a ‘wake up call’ for traditional IT vendors“, Wall Street Journal, 31. März 2023
[9] „All in on AI: How Smart Companies Win Big with Artificial Intelligence“, Thomas Davenport und Nitin Mittal, S. 48
[10] „A technology survival guide for resilience“, McKinsey & Company, 20. März 2023
*Dieser Artikel wurde aus dem Englischen übersetzt und editiert. Den Originalblogpost findet ihr hier.
