Der KI-Geist ist entfesselt. Und was jetzt?

Die Geschichte vom Dschinn aus der Wunderlampe ist eine alte Erzählung aus Tausendundeiner Nacht, die uns seit Jahrhunderten davor warnt, wie kompliziert alles werden kann, wenn wir eine Macht freisetzen, ohne dass wir die Folgen überschauen. Wenn das nicht nach KI klingt, dann weiß ich auch nicht. Gewiss, KI transformiert bereits Technologie, Medizin, Wirtschaft und im Grunde alles, womit wir zu tun haben. Wir nutzen KI oft schon, ohne dass wir uns dessen bewusst sind. Aber eines muss klar sein: Genau wie so ein Dschinn kann sich KI unberechenbar verhalten – und ohne kluge Steuerung müssen wir uns auf Konsequenzen gefasst machen, die wir nicht so leicht wieder zurück in die Flasche kriegen.

Schon jetzt zeigen KI-Modelle erste Verhaltensweisen, die ihre Entwickler nicht vorhergesehen haben. GPT-3 von OpenAI hat ohne spezielles Training ganz unerwartete Fähigkeiten gezeigt, von Übersetzungen bis hin zur Lösung arithmetischer Aufgaben, und AlphaGo von DeepMind hat mit seinen unkonventionellen Strategien die Fachwelt verblüfft. Solche Überraschungen können in der Security schnell zu Risiken werden. Denn wenn sich ein System auf unvorhergesehene Art und Weise verhält, wird es praktisch unmöglich, es vollständig zu sichern.

Security-Frameworks sind auf Systeme ausgelegt, die sich relativ vorhersehbar verhalten, doch KI entwickelt sich fortlaufend weiter. Dadurch entstehen blinde Flecken, bei denen Angreifer ansetzen können. Es ist von entscheidender Bedeutung, sich der Risiken bewusst zu bleiben und Governance-Strategien zu implementieren, die verhindern, dass die KI unkontrolliert ausgreift. Im Folgenden gehen wir auf sechs erfolgskritische Probleme ein und geben Empfehlungen, wie sie in den Griff zu bekommen sind.

1.  Vibe Coding ist fehleranfällig

Die Softwareentwicklung wird mit KI zwar schneller, aber reines Vibe Coding ergibt Zeilen, die vor Sicherheitslücken nur so strotzen. GitHub Copilot zum Beispiel kann das Programmieren rationalisieren, doch eine Untersuchung von Experten der New York University und der University of Calgary hat gezeigt, dass GitHub Copilot in alarmierendem Umfang anfälligen Code produziert. Die Analyse von 1.689 KI-generierten Code-Ausgaben in unterschiedlichen Sprachen (u. a. C, Python und Verilog) hat bei ca. 40 % Sicherheitsmängel entdeckt. Die Schwachstellen reichen von unsicheren Authentifizierungsmechanismen bis zu unzulässiger Verarbeitung von User-Eingaben – Fehler, die in Produktionsumgebungen zu ernsthaften Sicherheitsrisiken werden können.

Im Gegensatz zu erfahrenen Entwicklern, die nach den Best Practices der Security vorgehen, generiert KI Code nach den Mustern vorhandener Daten – und diese Daten gehen unter Umständen auf überholte oder unsaubere Methoden zurück. Ohne adäquate Kontrolle werden solche Mängel übersehen und ergeben dann Schwachstellen, die Angreifer ausnutzen können.

Unternehmen fahren besser, wenn sie – anstatt KI-gestütztes Programmieren ganz zu untersagen – strukturierte Überprüfungen etablieren, mit Dokumentation und strikter Validierung durch Fachleute. Die Kennzeichnung von KI-generiertem Code und die Integration zusätzlicher Testmaßnahmen sorgen für mehr Sicherheit und Transparenz, damit Tools wie Copilot eben Co-Piloten bleiben und sich nicht zu Piloten aufschwingen. Software-Entwicklung mit KI ist schneller, aber Fehler erkennen, die Codequalität verbessern und Sicherheit gewährleisten können Unternehmen nur mit entsprechenden Regeln, Prozessen und mit menschlicher Aufsicht.

2.  KI schadet dem kritischen Denken

KI verändert auch unsere kognitiven Gewohnheiten, so wie Suchmaschinen die Art und Weise verändert haben, wie wir zu Informationen gelangen. Nun droht KI unsere Fähigkeiten der Problemlösung und der Entscheidungsfindung zu lähmen. Anstatt sich Fachkenntnisse anzueignen, gewöhnen sich die Leute daran, komplexe Überlegungen KI-Systemen zu überlassen; sie lernen dann nicht mehr, sondern verlernen das Lernen.

Dieser Wandel kann schwerwiegende Folgen haben. Wer sich übermäßig von KI abhängig macht, schafft blinde Flecken, wenn die Teams fehlerhaften Empfehlungen irgendwann blind vertrauen. Und wenn das KI-System selbst kompromittiert wird, haben die Leute in den Teams am Ende nicht genug Erfahrung oder Selbstvertrauen, um wirksam einzugreifen. Automation Bias – dass Menschen geneigt sind, Vorschlägen und Entscheidungen von Maschinen unbesehen zu folgen – verschärft die Situation zusätzlich.

Wenn diesem Phänomen nicht gegengesteuert wird, besteht das Risiko, dass menschliches Fachwissen in allen Branchen erodiert. Unternehmen, die KI-Kompetenzen fördern und ihre Belegschaft ermuntern, KI-Output nicht einfach hinzunehmen, sondern zu hinterfragen, tun das Richtige und tragen dazu bei, dass die Fähigkeit des kritischen Denkens erhalten bleibt. Unternehmen, die ihren Leuten grundlegende KI-Konzepte vermitteln – maschinelles Lernen, Algorithmen und Datenverzerrung (Data Bias), dazu ethische Grundsätze und Prompt Engineering –, schaffen Selbstvertrauen im Umgang mit KI. Investitionen in Weiterbildung und das Beharren auf menschlicher Kontrolle bei KI-Entscheidungen stellen sicher, dass kritisches Denken und menschliches Urteilsvermögen die Entschlüsse bestimmen. Erfahrung hat ihren Wert, sogar (und gerade) im KI-Zeitalter.

3.  KI stellt die Frage nach dem Wert der Arbeit neu

KI verändert die Art und Weise, wie wir Wissen bewerten und belohnen. Wenn die Grenzen zwischen menschlichen Fachkenntnissen und KI-Outputs immer mehr verwischen, verschiebt sich der Wert des „eigentlichen“ Fachwissens. Wie bewerten und belohnen wir den menschlichen Beitrag in einer Welt, in der KI eine immer größere Rolle bei der Gestaltung der Arbeitswelt spielt? Wie wollen wir echtes Fachwissen und Originalität anerkennen?

KI hat bereits Auswirkungen auf die Personalbeschaffung. KI-gestützte virtuelle Vorstellungsgespräche werden häufiger, seit Bewerbungsschreiben den Menschen hinter dem LLM-Text kaum mehr erahnen lassen. Und wenn KI die Antworten gibt, wonach suchen wir dann eigentlich auf dem Personalmarkt? Nach Originalität, Kreativität, Anpassungsfähigkeit oder anderen Eigenschaften?

Das Gleiche gilt für die Leistung am Arbeitsplatz. Wenn Beschäftigte Berichte mit KI erstellen, Code mit KI schreiben und Strategien mit KI entwickeln – wem schreiben wir dann welche Leistung zu? Wie honorieren wir den menschlichen Beitrag? Auf die SOCs trifft diese Herausforderung besonders zu. Was denkt sich ein Analyst mit 15 Jahren Berufserfahrung, wenn ein neuer Mitarbeiter, der erst seit sechs Monaten im Unternehmen ist, genauso produktiv sein kann? Wie sorgen wir dann für gerechte Anerkennung? Soll bei der Leistung das reine Wissen gewürdigt werden, die Anpassungsfähigkeit oder die Fähigkeit, KI effektiv einzusetzen?

Angesichts dieser massiven Umbrüche müssen Unternehmen überdenken, welchen Wert ihre Fachkräfte haben und was im KI-Zeitalter eine gute Performance ausmacht. Im Fahrtwind der beschleunigten Automatisierung müssen Unternehmen darauf achten, dass sie die unverwechselbar menschlichen Soft Skills, die KI nicht ohne Weiteres ersetzen kann, anerkennen und fördern: Intuition, Urteilsvermögen, Kreativität und ethische Prinzipien.

4.  Von KI profitieren zuerst Angreifer – und die Abwehr wird träge

KI-gestützte Cyberbedrohungen und KI-gestützte Abwehrmaßnahmen befinden sich in einem endlosen, rasenden Wettlauf. Angreifer programmieren mit KI-Unterstützung Exploits, erstellen Deepfakes, und lassen laufend neue Phishing-Maschen vom Stapel; die Abwehr erkennt und blockt mit KI diese Angriffsvektoren. Das ist nichts Neues. Immer wenn eine neue Technologie auf den Markt kommt, haben Angreifer sozusagen einen F&E-Vorteil, weil sie ohne politische (oder gar ethische) Einschränkungen erfinderisch sein können. Aber die Verteidigung holt normalerweise auf und hat – hoffentlich – bald wieder die Nase vorn.

Die Taktiken auf beiden Seiten werden immer weiter verfeinert, und die Abwehr muss beweglich bleiben, sie darf sich nicht auf die Erkennung bekannter Muster versteifen. Angreifer sind innovativ, Verteidiger müssen es ebenso sein. Ein ergebnisorientierter Ansatz ist eine gute Hilfe gegen die Versuchung, alles mit KI lösen zu wollen; er legt vielmehr jeweils die Technologie nahe, die das Problem tatsächlich löst. In der Tat geht es bei diesem Thema in den meisten Unternehmen um Automatisierung, nicht um KI. Wenn jedoch KI das Mittel der Wahl ist, dann ist dies der beste Rat für die nächste Zukunft: KI-gestützte Tools mit menschlichen Fachkenntnissen kombinieren und Feedback-Pflichtschleifen einbauen, sodass Output, der wenig zielführend ist, unterbunden wird.

Außerdem ist wichtig, dass die Teams einen klaren Begriff von ihren Abwehrmaßnahmen haben. Erklärbare KI (XAI) macht KI-Entscheidungen transparent, die Sicherheitsteams überschauen dann leichter, welche Maßnahmen ergriffen wurden und warum, und sie können präziser Feedback geben und die Reaktionen auf Bedrohungen effektiver feintunen. David Bianco von Splunk hat unterdessen noch einen anderen Weg gefunden, wie sich KI nützlich machen kann: mit einem KI-Honeypot, der Angreifer effektiv in die Irre lockt, aufhält und ihnen wertvolle Erkenntnisse über ihre Methoden entlockt.

Am Ende entscheidet über den KI-Erfolg in jedem Bereich die Art und Weise, wie KI genutzt wird. KI-Sicherheitsmodelle müssen regelmäßig trainiert und getestet werden, sie müssen nach Wirksamkeit bewertet und in regelmäßigen Abständen nachjustiert werden. Mit einer Kombination aus Automatisierung und menschlicher Flexibilität können die Security-Teams von einer reaktiven Abwehr zur proaktiven Verteidigung übergehen und damit nicht nur bekannten Bedrohungen begegnen, sondern auch neue Bedrohungen abfangen.

Kurzum: Zuerst kommt das Problem, das es zu lösen gilt. Dann müssen die Technologien und Prozesse gefunden werden, die das Problem am besten lösen.

5.  KI-Modelle können degenerieren und kollabieren

KI ist stets ein Spiegel der Daten, mit denen sie trainiert wurde. Dies kann dazu führen, dass bestimmte Normen auf Kosten der Vielfalt dominieren. Dann werden nicht nur regionale oder kulturelle Perspektiven ausgeblendet, das schadet auch der Einzigartigkeit als solcher. Einfach gesagt: Die technologische Entwicklung braucht nach wie vor kreative Funken. Es wird sogar überlegt, ob nicht der gezielte Einsatz von neurodiversen Kräften ein Gegengewicht zu dieser Homogenisierungstendenz von KI schaffen könnte.

Menschen aus dem Autismus-Spektrum, mit ADHS oder anderen kognitiven Besonderheiten zeichnen sich mitunter durch herausragende Fähigkeiten bei Mustererkennung, kreativer Problemlösung und bei Aufgaben aus, die hohe Konzentration erfordern. Diese besonderen Fähigkeiten können helfen, unkonventionelle Sicherheitsansätze zu entwickeln und praktische Security neu zu denken. Neurodiverse Kräfte im Unternehmen sind nicht nur eine Frage der Inklusion, sondern ein strategischer Vorteil, eine konkrete Optimierung der Sicherheit durch neue Perspektiven und Problemlösungsansätze.

Ein großes Risiko ist der sogenannte Modellkollaps, wenn Modelle mit KI-generierten Daten unkontrolliert weitertrainiert werden, sodass sie irgendwann nur mehr ungenau-allgemeine und jedes Mal ähnliche Ausgaben machen. Seltene Datenpunkte verblassen, während Fehler sich aufschaukeln, sodass die KI-generierten Inhalte undifferenziert werden und an Qualität einbüßen. Die NSA hat mittlerweile sogar Leitlinien für Content Credentials veröffentlicht, sie sollen dem Vertrauensverlust entgegenwirken und die Herkunft von Daten nachvollziehbar machen – und genau dies ist wichtig, wenn es darum geht, einen Modellkollaps zu verhindern.

Die degenerativen Tendenzen von KI unterbindet man am besten, wenn die KI-Systeme auf vielfältigen, qualitativ hochwertigen Datensätzen trainiert und kontinuierlich mit menschlichem Input aus der Realität nachjustiert werden. Techniken wie Schichtenstichproben (Stratified Sampling) und Datenerweiterung (Data Augmentation) können für ausgewogene Datensätze sorgen, Verzerrungen minimieren und die Anpassungsfähigkeit optimieren.

6.  Erst rechts, dann links, dann geradeaus: Augen auf beim KI-Start!

Auf KI-Innovationen zu setzen, ist ein mutiger Schritt; aber Vorreiter sind nicht immer auch im Vorteil. Eine übereilte Einführung ohne durchdachte Strategie kann zu explodierenden Kosten und einem kläglichen ROI führen. Und wenn die Erwartungen an der Realität scheitern, ist die Enttäuschung groß. Oft sind Unternehmen dann genötigt, ihre KI-Investitionen wieder zurückzufahren – sofern sie es schaffen, die komplexe Geschäftslogik wieder zu entwirren.

Also gut. KI ist faszinierend. Lasst euch vom KI-Potenzial faszinieren. Aber wir sollten dem Überschwang doch gesundem Menschenverstand als Gegengewicht geben und nie aus den Augen verlieren, was menschliche Intelligenz heute so wertvoll macht: Intuition, logisches Denken, Kreativität und die Fähigkeit, die richtigen Fragen zu stellen.

Das klingt vielleicht etwas nach Unkenrufen, aber wir haben das ja schon einmal erlebt: Der Irgendwas-as-a-Service-Boom des letzten Jahrzehnts hat zu unkontrollierten Ausgaben geführt, und viele Firmen haben sich Abonnements angetan, ohne die wahren Kosten zu kennen. Als sich das aber nicht rentierte, kehrten die Unternehmen reihenweise wieder zu den On-premises-Lösungen zurück.

Diese Risiken sind durchaus real. KI ist zwar enorm vielversprechend, aber wir müssen auf dem Boden der Tatsachen bleiben. Die Herausforderung besteht nicht nur darin, mit der KI-Entwicklung Schritt zu halten, sondern es geht darum, ihr einen Schritt voraus zu sein und sicherzustellen, dass KI ein Tool bleibt, das menschliche Intelligenz nicht untergräbt, sondern unterstützt.

Wenn ihr in der rasanten Entwicklung der KI-Landschaft auf dem neuesten Stand bleiben wollt, abonniert ihr am besten unseren Perspectives-Newsletter – da bekommt ihr die aktuellen Trends und Erfahrungen zum erfolgreichen Einsatz künstlicher Intelligenz.