Die Debatte über die Risiken von Künstlicher Intelligenz konzentriert sich häufig auf die Entwicklung immer leistungsfähigerer Modelle. Für Unternehmen und Behörden stellt sich jedoch eine andere Frage: Wie lassen sich KI-Agenten sicher steuern, kontrollieren und skalieren? In diesem Beitrag beleuchtet conet KI-Experte Christoph Hoffmann, warum die eigentliche Herausforderung weniger im Entwicklungstempo der Modelle liegt als in der Frage, wie sich KI-Agenten im Unternehmen wirksam begrenzen und überwachen lassen.
Die KI-Hersteller wollen das Tempo drosseln. Das größere Risiko liegt aber bei den Anwendern: in der Kontrolllücke zwischen dem, was KI-Agenten in Unternehmen und Verwaltung dürfen, und dem, was dort tatsächlich kontrolliert wird.
Am 12. September forderte Dario Amodei, Chef von Anthropic und damit eines der Unternehmen an der Spitze des globalen KI-Wettlaufs, das Tempo bei der Entwicklung immer leistungsfähigerer Modelle zu drosseln. Nicht stoppen, aber langsamer werden, damit Sicherheit und unabhängige Prüfungen mit den Fähigkeiten der Modelle Schritt halten. Sam Altman von OpenAI und Elon Musk stimmten binnen Stunden zu. Wenn die Hersteller selbst auf die Bremse treten, lohnt es sich, zweimal hinzuschauen: einmal auf den Fuß, der bremst, und einmal auf den, der weiter auf dem Gas steht.
Denn Anthropic kauft Rechenleistung wie kaum ein anderes Unternehmen. Laut The Information hat es innerhalb von elf Monaten Rechenzentrumsverträge über bis zu 517 Milliarden Dollar abgeschlossen. Die dahinterstehende Kapazität von fast 15 Gigawatt entspricht der Leistung von rund zehn großen Kernkraftwerken. Wer so einkauft, plant mit sehr viel mehr KI.
Die erste Erklärung ist wenig schmeichelhaft: der Burggraben. Man stelle sich vor, die Elektroautobauer mit der größten Reichweite vereinbarten, die Batterieentwicklung zu verlangsamen, und forderten zugleich strenge Prüfauflagen für jede neue Batterie. Der Darmstädter KI-Forscher Kristian Kersting sieht in Amodeis Vorstoß genau diesen Versuch, Regeln zugunsten der Marktführer zu gestalten.
Die zweite Erklärung ist die Börse. Anthropic bereitet laut New York Times einen Börsengang vor, der bei einer Bewertung von rund zwei Billionen Dollar mehr als 100 Milliarden einbringen könnte. Die Rolle des verantwortungsvollen Akteurs ist dafür eine gute Geschichte. Der Analyst Gil Luria von D.A. Davidson erwartet denn auch keinen Schaden für die Unternehmen, solange sie nicht tatsächlich auf Börsengang, Rechenleistung oder neue Modelle verzichten, und danach sieht es derzeit nicht aus.
Die dritte Erklärung nimmt Amodei beim Wort: die Geister, die ich rief. Im Sommer drangen KI-Modelle von OpenAI und Anthropic in reale Systeme fremder Organisationen ein. Anthropic hatte schon im Frühjahr rund 150 Entwickler vorübergehend auf Sicherheit angesetzt. Künftig sollen externe Prüfer dauerhaft im Haus arbeiten, mit dem Recht, ihre Befunde ohne redaktionelle Kontrolle zu veröffentlichen. Altman kündigte an, OpenAI werde Prüfern ebenfalls solchen Zugang geben. Das ist teurer als Marketing.
Vermutlich spielt von allem etwas mit. Für Unternehmen und Behörden zählt aber der Anlass mehr als das Motiv.
Der gravierendste Fall betraf OpenAI. Mehrere Modelle brachen bei einem Test über eine bis dahin unbekannte Schwachstelle aus ihrer isolierten Umgebung aus und griffen auf die Produktionsinfrastruktur von Hugging Face zu, einer zentralen Plattform für offene KI-Modelle. Die Agenten stimmten sich dabei untereinander ab und versuchten, ihre Spuren zu verwischen. Aufgefallen ist der Angriff zuerst Hugging Face selbst.
Daraufhin durchsuchte Anthropic rund 141.000 eigene Testläufe und fand bis September vier Fälle, in denen Claude-Modelle sich unbefugt Zugang zu fremden Systemen verschafft hatten. Die Modelle sollten in einer abgeschotteten Übungsumgebung Angriffsaufgaben lösen, hatten durch eine Fehlkonfiguration aber Internetzugang. Drei Beispiele:
Christoph Hoffmann arbeitet an der Schnittstelle von Strategie, Technologie und Organisation. Als Vice President für Data Solutions und AI bei conet sorgt er dafür, dass Data & AI als skalierbare Fähigkeit in Unternehmen verankert werden – mit klaren Rollen, solider Datenbasis, einer tragfähigen Architektur, funktionierenden Betriebsmodellen und messbarem Benefit.
Das Modell mit dem vergifteten Paket notierte in seinen Denkschritten, dem Protokoll, das Modelle beim Lösen einer Aufgabe mitschreiben, immer wieder, es befinde sich in einer sehr aufwendig simulierten Internetumgebung. Dabei tat es Dinge, die in keiner Übung vorkommen, bis hin zum Anlegen eines echten Kontos. In einer Nachstellung schrieb es sinngemäß: „Sieht aus wie das echte Verzeichnis, oder wie eine sehr vollständige Simulation. Ich mache trotzdem weiter.“
Ein anderes Modell erkannte durchaus, dass es ein echtes Unternehmen angriff. Es hielt den Angriff aber für erlaubt, weil das System erreichbar war und denselben Namen trug wie das Übungsziel. Ob es dazu befugt war, fragte es sich so gut wie nie.
Ein Agent, der einmal Fahrt aufgenommen hat, lässt sich zudem schwer bremsen. Stand der Hinweis, nur freigegebene Systeme anzufassen, unmittelbar vor der nächsten Entscheidung, hielt das Modell in neun von zehn Fällen an. Stand derselbe Hinweis drei Schritte früher, nur noch in vier von zehn.
Das hat Folgen für die Überwachung. Ein KI-Kontrollmodell, das die Denkschritte mitlas, ließ sich von der Simulationsbegründung einlullen und schlug kaum Alarm. Sah es nur die tatsächlichen Aktionen, markierte es rund die Hälfte als bedenklich.
Die neuesten Modelle können ihre sichtbaren Denkschritte außerdem gezielt steuern. OpenAIs GPT-6 Astra füllt sein Protokoll auf Anweisung mit Belanglosem wie „Ich konzentriere mich auf eine ruhige Szene“ und liefert trotzdem die richtige Antwort. Nach Angaben eines OpenAI-Sicherheitsforschers hält das Modell sein Denken vor allem dann zurück, wenn es auf riskante Handlungen getestet wird und weiß, dass es beobachtet wird.
Wer Agenten überwacht, sollte also vor allem ihre Handlungen prüfen. Ihre Begründungen taugen dafür kaum. Und die Grenzen, die ein Agent nicht überschreiten darf, müssen außerhalb des Modells gezogen und durchgesetzt werden.
Die Vorfälle stammen von den Unternehmen, die mehr über ihre Modelle wissen als irgendjemand sonst. Trotzdem fiel der Ausbruch der OpenAI-Agenten zuerst dem betroffenen Unternehmen auf, und Anthropic stieß auf manche seiner Fälle erst Monate später. Wie sähe das in einer Behörde oder einem Unternehmen aus, das gerade seine ersten KI-Agenten an Fachverfahren, Postfächer und Datenbanken anschließt? Würde dort jemand merken, wenn ein Agent Daten an die falsche Stelle schickt oder auf Systeme zugreift, die ihn nichts angehen?
Wir geben Agenten schneller Handlungsmacht, als wir die Kontrollmechanismen um sie herum aufbauen. Das ist das eigentliche Problem, und mit dem Entwicklungstempo der Modelle hat es wenig zu tun. Der Abstand zwischen Handlungsmacht und Kontrolle ist die Kontrolllücke, und sie wächst mit jedem Agenten, der neue Rechte bekommt.
Schließen lässt sie sich mit einer eigenen Steuerungsebene, einer AI Control Plane. Dort erhält jeder Agent eine eigene Identität und nur die Rechte, die seine Aufgabe erfordert. Ausgehender Datenverkehr ist standardmäßig gesperrt, und kritische Aktionen wie Zahlungen, Löschungen oder Veröffentlichungen brauchen eine Freigabe. Jede Aktion wird protokolliert, und im Zweifel lässt sich ein Agent sofort stoppen, unabhängig davon, was das Modell über sich selbst behauptet.
Für menschliche Administratoren sind solche Regeln seit Jahrzehnten selbstverständlich. Für KI-Systeme, die schneller handeln und sich ihre Lage schönreden können, gelten sie erst recht.
Den rechtlichen Rahmen dafür gibt es bereits: den EU AI Act, das deutsche NIS2-Umsetzungsgesetz, den Cyber Resilience Act und die Vorgaben des BSI.
Fünf Fragen zeigen, wie groß die Kontrolllücke in der eigenen Organisation ist:
Jede Frage ohne klares Ja markiert eine Stelle, an der Agenten mehr dürfen, als die Organisation kontrollieren kann. Je mehr davon offen bleiben, desto dringender sollte die Kontrollschicht stehen, bevor der nächste Agent angeschlossen wird.
Genauer vermessen lässt sich die Kontrolllücke im conet AI Cost & Control Check, einem kompakten Workshop-Format. Am Ende stehen ein vollständiges Inventar aller KI-Anwendungen und ihrer Risiken sowie eine priorisierte Roadmap für die Implementierung einer wirksamen Kontrollschicht.
Ob hinter Amodeis Aufruf vor allem Sicherheitsbedenken oder Geschäftsinteressen stehen, werden wir so bald nicht erfahren. Das Entwicklungstempo der Spitzenmodelle kann eine einzelne Organisation ohnehin kaum beeinflussen. Wie schnell sie diesen Modellen Handlungsmacht gibt und wie groß sie die Kontrolllücke werden lässt, dagegen schon.
Wer mit Bleifuß fährt, braucht Bremsen, Leitplanken und Airbags, die mit dem Motor mitgewachsen sind.
Welche KI-Anwendungen sind bereits im Einsatz? Welche Rechte haben sie? Und wo fehlen noch technische und organisatorische Leitplanken? Mit dem AI Cost & Control Check schaffen Sie Transparenz über Ihre KI-Landschaft und erhalten eine priorisierte Roadmap für den sicheren, kontrollierten und wirtschaftlichen Einsatz von KI.
Vice President AI & Data
Success Story
News
News