Software mit KI bauen: Prüfschleife, Messung und Regeln
KI-Werkzeuge schreiben heute brauchbaren Code. Ob eine Änderung richtig ist, sagen sie nicht verlässlich. Die Marco Rau Prozessplattform ist deshalb nach einem festen Ablauf gebaut: Ein Modell baut, Tests und Fehlerproben prüfen, ein zweites Modell sucht Fehler, ein Mensch gibt frei. Der Beitrag beschreibt diesen Ablauf, die Prüfung der KI-Schritte im Produkt und die Regeln dahinter, mit Zahlen aus dem eigenen Betrieb.
1. Jede Änderung durchläuft dieselbe Prüfschleife
Die Plattform wird in kleinen Schritten geändert. Jeder Schritt ist ein Update, und jedes Update geht denselben Weg:
- Anforderung: Der Inhaber beschreibt, was sich ändern soll, und entscheidet, ob gebaut wird.
- Bau: Ein KI-Modell setzt die Änderung um und schreibt die Tests dazu.
- Voller Testlauf: Bei Änderungen am Code wird der gesamte Stand geprüft, nicht nur die geänderte Stelle; für reine Text- und Website-Änderungen gilt eine festgelegte Kurzprüfung.
- Fehlerproben: Störungen werden nachgestellt, etwa ein Abbruch mitten im Einspielen. Geprüft wird, ob der Stand davor wiederhergestellt wird. Scheitert die Rücknahme selbst, stoppt das Update und hält Daten zur Wiederherstellung bereit.
- Zweites Modell: Ein Modell eines anderen Anbieters prüft Code, Nachweise und Texte. Jeder Befund wird an den betroffenen Dateien, Tests oder Nachweisen geprüft und dann behoben oder mit Begründung verworfen.
- Wiederholung: Die Prüfung läuft so lange, bis keine bestätigten Befunde mehr offen sind.
- Freigabe: Der Inhaber entscheidet über das Einspielen jeder Änderung. Öffentlich sichtbare Texte prüft und genehmigt er zusätzlich vor der Veröffentlichung.
Zahlen aus dem eigenen Betrieb
- über 240 Updates
- über 60 Testdateien; der volle Testlauf führt mehr als 70 Prüfschritte aus
- bei den jüngsten Updates rund 50 Fehlerproben je Update
- über 230 dokumentierte Entscheidungen, jede mit Anlass und Begründung
- über 30.000 Zeilen Python, Tests eingeschlossen
Ein Beispiel
Bei einem Update im November 2026 waren alle automatischen Tests gleich im ersten Durchgang erfolgreich. Das zweite Modell fand trotzdem in mehreren Runden Fehler. Zwei davon: ein Satz, der eine gesetzliche Frist missverständlich wiedergab, und ein Fall, in dem die Rücknahme eines gescheiterten Updates Erfolg meldete, obwohl eine Sperrdatei liegen blieb. Beides wurde korrigiert, der zweite Fall ist seitdem durch eine eigene Fehlerprobe abgedeckt.
Die Lehre daraus: Tests zeigen, ob der Code tut, was der Test erwartet. Ein zweiter, unabhängiger Blick findet, woran beim Schreiben der Tests niemand gedacht hat.
2. So wird die Qualität der KI geprüft
Im Produkt gilt eine feste Reihenfolge:
- Regeln zuerst: Was sich eindeutig prüfen lässt, prüft eine feste Regel. Das Ergebnis ist jedes Mal gleich und nachvollziehbar.
- KI mit Beleg: Liest die KI einen Wert aus einem Dokument, nennt sie die Stelle. Ein Wert ohne Beleg gilt als offen.
- Freigabe durch Menschen: Die KI schlägt vor, ein Mensch entscheidet.
Ob die KI-Schritte richtig arbeiten, zeigt eine Qualitätsprüfung mit acht festen, erfundenen Fällen. Für jeden Fall sind das richtige Ergebnis und die Regel, wann er bestanden ist, vorab festgelegt, etwa: alle Positionen richtig, nichts erfunden.
- Die Prüfung lässt sich gegen das eingesetzte Modell und zum Vergleich gegen ein zweites ausführen. So lassen sich vor einem Modellwechsel Verschlechterungen in diesen acht Fällen erkennen.
- Bei jedem Update läuft dieselbe Prüfung ohne Netz mit festen Beispielantworten. Sie misst nicht die Qualität eines Modells, sondern prüft, ob die Plattform die Antworten richtig verarbeitet.
- Im Betrieb wird jeder Aufruf eines KI-Modells als Vorgang ohne Inhalte festgehalten. Daraus zeigt das KI-Register je Modul die Zahl der Aufrufe, die Vorschläge, den Anteil der Vorschläge, die das Team übernommen hat, und das Modell. Übernommen heißt nicht richtig: Die Zahl zeigt, wie oft das Team einem Vorschlag folgt.
- Ein Tageslimit begrenzt die Zahl der Aufrufe und hilft, die Kosten zu kontrollieren.
Ergebnis vom 13. November 2026
Zwei Läufe mit den acht erfundenen Fällen: einer mit den Modellen, die im Betrieb je Aufgabe eingestellt sind, einer mit einem Vergleichsmodell für alle Aufgaben. Für Aufträge ist im Betrieb bereits das Vergleichsmodell eingestellt. Bei den folgenden fünf Prüfkriterien erreichten beide Läufe dieselben Werte:
- Fälle wie erwartet: 8 von 8
- Zuordnungen richtig (Positionen und Antworten): 22 von 22
- erfundene Angaben: keine
- fehlende Angaben offen gelassen statt geraten: 5 von 5
- Lastenheft: alle 10 vorab festgelegten Abweichungen erkannt
Vorschläge ohne wörtliche Fundstelle im Dokument hat die Plattform verworfen: einen im ersten Lauf, zwei im Vergleichslauf. Das Ergebnis gilt für diese acht Fälle und diese beiden Läufe.
3. Feste Regeln für den Einsatz von KI
- Daten: Entwickelt und vorgeführt wird mit erfundenen oder öffentlichen Daten. Kundendaten gehören nicht in Verbraucherzugänge von KI-Diensten.
- Ort der Verarbeitung: Mit Daten eines Unternehmens arbeitet die KI nur nach vorheriger Vereinbarung und in Deutschland oder der EU. Anbieter, Modell, Verarbeitungsort und eingesetzte Unterauftragnehmer werden vorher festgelegt. Mehr dazu auf der Seite Sicherheit.
- Freigaben: Über Bau und Einspielen entscheidet der Inhaber. Texte, die mit KI entstanden sind, veröffentlicht nur der Inhaber nach eigener Durchsicht.
- Nachvollziehbarkeit: Jede Entscheidung hat eine Nummer, einen Anlass und eine Begründung. Jedes Update steht mit Datum im Änderungsverlauf.
Für den Überblick im eigenen Unternehmen gibt es drei Bausteine: die KI-Bestandsaufnahme, die KI-Checkliste und das Modul KI-Register.
Was diese Zahlen aussagen
Die Zahlen beschreiben den Bau und Betrieb der Plattform durch einen Entwickler mit KI-Werkzeugen. Die Qualitätsprüfung arbeitet mit acht festen Fällen: Sie zeigt, ob die Kette funktioniert und ob ein Modellwechsel in diesen Fällen etwas verschlechtert. Wie gut die KI mit den Dokumenten eines bestimmten Unternehmens arbeitet, zeigt erst ein Test mit dessen eigenen Beispielen. Die Prüfung durch ein zweites Modell ergänzt die Prüfung durch Menschen. Aussagen zu Gesetzen und Fristen prüft der Inhaber an den amtlichen Quellen. Die Beiträge sind allgemeine Information und keine Rechtsberatung.
Zahlen aus dem Repository der Plattform, gerundet. Stand der Angaben: November 2026.
In eigener Sache
Die Plattform in 30 Minuten ansehen
Kostenlose Vorführung an erfundenen Beispieldaten: wie feste Regeln, KI mit Beleg und die Freigabe durch Menschen in einem Ablauf zusammenspielen.