Der Moment, in dem KI gefährlich wird
Solange ein Sprachmodell nur Text ausgibt, ist der Schaden begrenzt — im schlimmsten Fall lesen Sie einen Unsinn und ignorieren ihn. Gefährlich wird KI in dem Moment, in dem sie handeln kann: eine Mail an einen echten Kunden schickt, einen Datensatz überschreibt, eine Zahlung auslöst. Genau das ist aber der Punkt, an dem sie erst nützlich wird. Ein digitaler Mitarbeiter, der nichts tun kann, hilft niemandem.
Die Kunst liegt darin, Handlungsfähigkeit zu geben, ohne die Kontrolle zu verlieren. Das ist keine Frage besserer Prompts, sondern der Werkzeug-Architektur.
Prinzip 1: Der Agent ruft keine Systeme direkt, sondern definierte Tools
Ein Agent bekommt keinen freien Zugriff auf Datenbanken, APIs oder das Dateisystem. Er bekommt einen Katalog geprüfter Werkzeuge mit klarer Signatur: "sende Antwortentwurf", "lege CRM-Kontakt an", "schlage Kalendertermin vor". Jedes Tool ist ein enges, überprüftes Tor.
Der Unterschied ist der zwischen "der Agent darf SQL ausführen" und "der Agent darf über die Funktion createContact(name, email) einen Kontakt anlegen". Ersteres ist ein offenes Scheunentor, letzteres eine kontrollierte Schnittstelle. Die Werkzeugschicht — nicht das Modell — bestimmt, was überhaupt möglich ist.
Prinzip 2: Jedes Tool trägt eine Risikoklasse
Nicht jedes Werkzeug ist gleich heikel. Ein sauberes System klassifiziert jedes Tool:
- Lesend (Kontakt nachschlagen, Status abfragen): niedrig, frei nutzbar.
- Intern schreibend, reversibel (Notiz anlegen, Entwurf speichern): mittel, meist frei.
- Extern wirkend oder irreversibel (Mail an Externe, Zahlung, Vertragsversand): hoch — immer mit menschlicher Freigabe.
Diese Klassifizierung ist die Grundlage für die Freigabe-Logik. Sie sitzt in der Werkzeug-Definition, nicht im Ermessen des Modells — das Modell kann sie nicht umgehen.
Prinzip 3: Least Privilege pro Mandant
In einem Mehrmandanten-System darf ein Agent nur auf die Daten seines eigenen Workspaces zugreifen. Das klingt selbstverständlich, ist aber die Stelle, an der die schlimmsten Vorfälle passieren. Die Absicherung gehört auf die Datenebene — Row-Level-Security in der Datenbank —, nicht in die Anwendungslogik. Wenn die Mandantentrennung nur im Code lebt, reicht ein Bug, um sie zu durchbrechen. Sitzt sie in der Datenbank, hält sie auch, wenn der Code irrt.
Prinzip 4: Alles läuft in einer Sandbox — auch eigene Tools
Wenn ein System erlaubt, eigene Werkzeuge zu ergänzen (etwa kundenspezifische Integrationen), dürfen diese keine Sonderrechte bekommen. Sie laufen in derselben abgeschotteten Umgebung wie die eingebauten Tools — keine Schattenrechte, kein Zugriff auf das Host-System, klare Ressourcengrenzen. Ein böswilliges oder fehlerhaftes Tool darf im schlimmsten Fall seine eigene Aufgabe versemmeln, nie das ganze System kompromittieren.
Prinzip 5: Jeder Tool-Call wird protokolliert
Handlungsfähigkeit ohne Protokoll ist unverantwortlich. Jeder Werkzeug-Aufruf gehört ins revisionssichere Audit-Log: welches Tool, welche Eingabe (als Hash oder gekürzt), welcher Nutzer/Agent, welches Ergebnis. So lässt sich im Nachhinein jede Aktion rekonstruieren — für die Fehlersuche, für die Compliance, für das Vertrauen.
Prinzip 6: Schleifen und Ausreißer aktiv bremsen
Ein Agent kann sich verrennen — dieselbe Aktion in einer Schleife wiederholen, immer neue Tool-Calls absetzen. Das ist kein hypothetisches Risiko, sondern ein realer Betriebsfall. Die Gegenmittel gehören ins System:
- Maximale Anzahl Schritte pro Run.
- Erkennung wiederholter identischer Tool-Calls.
- Budget-Grenzen, die einen Run stoppen, bevor er entgleist.
Das Zusammenspiel: Fähigkeit mit Netz
Diese sechs Prinzipien greifen ineinander. Definierte Tools begrenzen das Mögliche. Risikoklassen entscheiden über Freigaben. Least Privilege und Sandbox begrenzen den Radius. Audit-Log und Schleifen-Bremsen machen alles nachvollziehbar und stoppbar. Das Ergebnis ist ein digitaler Mitarbeiter, der wirklich handeln kann — E-Mails beantworten, Daten pflegen, Angebote vorbereiten — ohne dass diese Handlungsfähigkeit zum Sicherheitsrisiko wird.
Fazit
Die Nützlichkeit eines Agenten und seine Gefahr entspringen derselben Quelle: seiner Fähigkeit zu handeln. Wer diese Fähigkeit über eine geprüfte Werkzeugschicht mit Risikoklassen, Least Privilege, Sandbox, lückenlosem Audit-Log und aktiven Schleifen-Bremsen einfasst, bekommt das Beste aus beidem — einen digitalen Mitarbeiter, der echte Arbeit erledigt, und ein System, das dabei nie die Kontrolle verliert.