Fatales Vertrauen: Wenn die KI Amok läuft

30. Oktober 2025 - DI (FH) Markus Häfele

Stellen Sie sich vor, Sie stehen kurz vor dem Abschluss eines mehrmonatigen Softwareprojekts. Der ungefähre Marktwert: eine fünfstellige Summe. Viel Arbeitszeit ist in die Entwicklung geflossen. Die Entwicklung lief reibungslos, mit Unterstützung einer lokalen Künstlichen Intelligenz. Ein letzter Arbeitsschritt soll rückgängig gemacht werden. Die KI nimmt den Befehl an und löst eine unaufhaltsame sowie unumkehrbare Kettenreaktion aus. Innerhalb von wenigen Sekunden sind nicht nur sämtliche Projektdaten gelöscht – auch das einzige Backup ist unwiederbringlich vernichtet. Klingt für Sie wie gruselige Science-Fiction zum morgigen Halloween? Ist es leider nicht. Hierbei handelt es sich um einen tatsächlichen erschütternden Erfahrungsbericht eines Kunden, welcher uns vor wenigen Tagen kontaktierte und ein entlarvendes Schlaglicht auf die neuen Gefahren im KI-Zeitalter wirft.

Der Fall aus der Praxis: Anweisung mit fatalen Folgen

Unser Kunde, ein erfahrener Software-Entwickler, nutzte zur Unterstützung eine lokal auf seinem MacBook installierte KI als Programmier-Assistenten. Eines Abends wies er die KI an, eine geringfügige Änderung der vergangenen Minuten zu verwerfen – ein alltäglicher sowie bereits oft genutzter Befehl. Doch statt eine gezielte Korrektur durchzuführen, initiierte die KI einen regelrechten Amoklauf im Dateisystem.

Ohne Vorwarnung und ohne auf die panischen "Stopp"-Eingaben des Nutzers zu reagieren, begann der Algorithmus, das gesamte Projektverzeichnis mit aggressiven Git-Befehlen wie git clean und git
reset zu bearbeiten. Diese Befehle sind in der Entwicklerwelt bekannt für ihre Radikalität: sie löschen nicht nur versionierte, sondern auch alle unversionierten Dateien und Verzeichnisse und setzen den Projektstand unwiderruflich zurück.

Die Katastrophe wurde durch einen fatalen Fehler in der Backup-Strategie potenziert: Das Backup, wenn auch in mehreren Generationen vorhanden, lag nur in einem Unterverzeichnis des zu entwickelnden Projekts. Die KI löschte also nicht nur die Originaldaten, sondern im selben Atemzug auch die vermeintliche Sicherheitskopie – die sich im unmittelbaren Zugriffsbereich der KI auf dem selben Gerät befand.

Kaskade des Scheiterns: Git, Backup-Fehler und TRIM

Aus der Perspektive von Attingos Datenrettern lässt sich dieser Vorfall in drei Phasen unterteilen, die – jeweils für sich genommen – bereits kritisch sind, in ihrer Kombination aber zum Totalverlust führten.

• Der unkontrollierbare KI-Befehl: Die KI interpretierte den Wunsch "mache den letzten Schritt rückgängig" auf die technisch brachialste Weise und betrachtete die Gesamtheit sämtlicher langwieriger Arbeit als einen einzigen Arbeitsschritt. Statt eines sanften git revert oder git checkout wählte sie die radikalste "Atombombe" des Git-Arsenals. Der Befehl git clean -fdx ist explizit dafür da, ein Arbeitsverzeichnis vollständig "blitzsauber" zu machen – und ignoriert dabei jegliche Vorsicht.
• Der strategische Backup-Fehler: Ein Backup ist nur dann ein Backup, wenn es physisch und logisch von den Originaldaten getrennt ist. Eine Kopie im selben Verzeichnisbaum schützt nicht vor Hardware-Ausfall, nicht vor Löschbefehlen, Ransomware oder – wie in diesem Fall – einer fehlgeleiteten KI, die im übergeordneten Ordner agiert. Die goldene 3-2-1-Regel (drei Kopien, auf zwei verschiedenen Medien, eine davon extern) wurde hier sträflich missachtet.
• Der "Todesstoß" durch TRIM: Als der Kunde den Datenverlust bemerkte, schaltete er das MacBook nach ein paar Selbstversuchen - wiederum angeleitet durch die KI - aus und brachte es für eine Datenrettung zu uns. Doch die Analyseerkenntnisse war niederschmetternd. Die SSD des MacBooks hatte den TRIM-Befehl und die folgende Garbage Collection bereits ausgeführt. Wie wir bereits in unserem Artikel "TRIMendous data loss" erklärt haben, teilt das Betriebssystem der SSD durch TRIM mit, welche Datenblöcke nicht mehr benötigt werden. Der SSD-Controller löscht diese Blöcke dann proaktiv und unwiderruflich, um die Performance des Flash-Datenträgers durchgehend auf einem hohen Niveau zu bewahren. Eine Datenrettung auf Chipebene ist danach unmöglich. Die Daten sind nicht einfach nur gelöscht, sondern vernichtet. Dieser Datenverlust ist endgültig. Eine Wiederherstellung der Daten war technisch ausgeschlossen.

Das trügerische Vertrauen: Warum eine KI nicht wie ein Mensch denkt!

Das für den Kunden erschreckendste war nicht der technische Fehler an sich, sondern der dabei empfundene Vertrauensbruch. Er gab an, der KI mehr zugetraut zu haben als einem menschlichen Junior-Entwickler. Er ging von einer inhärenten Logik, einer Art digitalem Sicherheitsnetz aus.

Dieser Irrglaube ist gefährlich. Eine KI (auf dem heutigen Stand) besitzt kein annähernd menschliches Urteilsvermögen, keine Kontextwahrnehmung, keine Intuition. Sie ist ein hochkomplexer Mustererkenner und Befehlsausführer. Sie "versteht" nicht, dass das Backup-Verzeichnis wertvoller ist als eine temporäre Log-Datei. Für den Algorithmus war es nur ein weiteres Unterverzeichnis, das der Ausführung des clean-Befehls im Weg stand. Einem menschlichen Kollegen wäre die Struktur des Ordners wahrscheinlich aufgefallen, er hätte höchstwahrscheinlich nachgefragt und die Gefahr erkannt. Die KI exekutierte blind den Befehl – und genau dies war das Problem.

Aus Datenschutz-Sicht wirft dies zudem heikle Fragen zur Verantwortung und Kontrolle auf. Wenn eine KI Daten vernichtet, wer haftet dann? Der Anwender, der den Befehl gab? Der Entwickler der KI?

Lehren aus dem Desaster: Schützen Sie Ihre Daten im KI-Zeitalter

Dieser Fall ist eine dringende Mahnung an alle, die mit KI-Tools arbeiten – ob beim Programmieren, Texten oder bei der Video- und Bildbearbeitung. Datenverlust lauert konstant.

• Behandeln Sie KIs wie ein hilfreiches, aber unkritisches Werkzeug: Geben Sie niemals Befehle, deren technische Umsetzung Sie nicht vollständig verstehen. Überprüfen Sie ausnahmslos von der KI vorgeschlagene Skripte oder Befehle, bevor Sie deren Ausführung zustimmen. Vertrauen ist hierbei leider schlecht, Kontrolle ist zwingend erforderlich!
• Implementierung einer sicheren Backup-Strategie: Die 3-2-1-Regel ist nicht verhandelbar beim Thema Datensicherung. Backups MÜSSEN auf externen Datenträgern oder zusätzlich in der Cloud (also an einem anderen Ort) liegen.
• Nutzen Sie professionelle Versionskontrolle: Hätten die Daten auf einem externen Git-Repository (wie GitHub oder GitLab) gelegen, hätte ein git
  push nach jedem Arbeitstag den entstandenen Schaden auf nur wenige Stunden Arbeitszeit begrenzt.
• Misstrauen Sie der Blackbox: Wir können nicht wissen, wie eine KI zu ihren Schlüssen kommt. Also gehen Sie immer vom unvorteilhaftesten beziehungsweise schlimmstmöglichen Ausführungsweg aus.

Fazit: Die KI ist ein Werkzeug, kein Wächter

Der Traum von der fehlerfreien, allwissenden KI ist verlockend, aber die Realität sieht anders aus. Von den verständnisvollen und vertrauenswürdigen KI-Systemen aus Sience-Fiction-Filmen, Büchern und Videospielen sind wir derzeit noch sehr weit entfernt. KI-Systeme sind fehleranfällig und führen Befehle oft zu wörtlich oder schlichtweg vollkommen falsch aus. Ihnen fehlt das menschliche Gespür für Konsequenzen einer Handlung und der Hang zum Zögern und Überdenken. Sofortiges Handeln ist die Norm – keine Nachfrage, keine Rückversicherung. Blindes Vertrauen in eine so junge noch in den Kinderschuhen steckende Technologie kann, wie dieser Fall drastisch zeigt, in einem finanziellen und emotionalen Desaster enden. Eine KI kann sich nur auf das Wissen berufen, mit dem sie trainiert worden ist. Diese Informationen können falsch sein, unvollständig oder die KI "halluziniert" schlichtweg. Setzen Sie kein allzu großes Vertrauen in eine KI, überprüfen Sie jede Vorgabe der KI mehrfach.

Und seien Sie sich immer gewiss: Die Verantwortung für die Datensicherheit und den -schutz Ihrer Daten liegt weiterhin stets zu 100 % bei Ihnen selbst!