Kein Vertrauen ohne Abnahme: KI-Recherche prüfbar machen

Das eigentliche Problem ist nicht „halluziniert die KI?“

Die übliche Frage an generative KI lautet: Stimmt das, was sie schreibt? Das ist die falsche Frage – oder genauer: die unvollständige. Denn sie unterstellt, man könne Korrektheit am fertigen Text ablesen. Kann man nicht. Erfahrungsgemäß liest sich ein gut geschriebener Absatz mit einer erfundenen Studie genauso flüssig wie ein sauber belegter.

Die bessere Frage ist eine, die wir aus der Softwarequalität kennen: Woran erkenne ich, dass etwas fertig ist? In der Entwicklung akzeptieren wir keinen Build, nur weil er „sich gut anfühlt“ – er muss die Tests bestehen. Übertragen auf KI-Output heißt das: Ein Text ist nicht fertig, wenn er überzeugend klingt, sondern wenn er definierte Abnahmekriterien erfüllt. Genau dieses Gate haben wir gebaut.

Der Workflow: Recherche, Abnahme und Freigabe sind getrennte Rollen

Der entscheidende Designgedanke vorweg: Der Agent, der recherchiert, prüft sich nicht selbst. Recherche und Abnahme sind zwei getrennte Rollen mit unterschiedlichem Auftrag – wie Entwickler und Reviewer. Ein eigener Prüf-Agent bekommt die fertige Notiz und einen einzigen Job: Ist jede Aussage nachvollziehbar belegt?¹

Und es gibt eine dritte Rolle, die kein Agent übernimmt: die Freigabe. Die behalte ich mir an mehreren Stellen ausdrücklich selbst vor. Der Score ist Vorarbeit – die Entscheidung, ob ein Text rausgeht, bleibt beim Menschen. Wo genau ich eingreife, steht weiter unten; im Diagramm sind es die drei nummerierten Stationen in meinem Ablauf:

Erst wenn das Gate grün ist und ich freigegeben habe, gilt der Text als fertig. Vorher nicht – auch dann nicht, wenn er längst gut aussieht.

Die Regel, die alles trägt: Belegpflicht pro Aussage

Bevor überhaupt ein Score vergeben wird, gilt eine harte Grundregel: Jede nicht-belegte Sachbehauptung braucht eine eigene Fußnote – mit Quelle, Titel, Herausgeber soweit erkennbar und Abrufdatum.²

Wichtig ist das Wort pro Aussage. Eine Quellenliste am Ende des Dokuments reicht ausdrücklich nicht, denn sie beantwortet nicht die eine Frage, die später zählt: Aus welcher Quelle stammt genau dieser Satz? Ohne diese Zuordnung ist ein Text nicht auditierbar – egal wie viele Links unten stehen. Diese Belegpflicht ist die Voraussetzung, ohne die der Score gar nicht erst greift.

Das Scoring: 100 Punkte, definierte Abzüge

Die Prüfung startet bei 100 Punkten.³ Abgezogen wird nach Schwere des Mangels – von kleinen Formfehlern bis zu inhaltlichen No-Gos:

Abzug	Mangel
−20 bis −60	Zentrale Behauptung unbelegt, Inhalt erfunden, oder die angegebene Quelle stützt die Aussage gar nicht
−10 bis −25	Fakten nur über eine pauschale Quellenliste statt über einzelne Fußnoten nachvollziehbar
−5 bis −15	Quelle ohne Abrufdatum / Titel / Herausgeber, oder Interpretation als Fakt dargestellt
−5 bis −10	Unklare Aktualität bei zeitkritischen Aussagen; einseitige Quellen ohne Hinweis

Welcher Punktestand zur Freigabe reicht, hängt vom Risiko des Inhalts ab. Wir arbeiten mit drei Modi:⁴

Modus	Schwelle	Wofür
quick	≥ 85	Skizzen, frühe Entwürfe, Ideensammlungen
standard	≥ 92	Normale Wissensnotizen
strict	≥ 97	Veröffentlichung, Website, rechtliche/finanzielle/medizinische Themen, harte Zahlen, Zitate

Sobald ein Inhalt Richtung Veröffentlichung oder risikokritische Inhalte geht, wird automatisch der strengste Modus erzwungen – eine Herabstufung „aus Bequemlichkeit“ ist nicht vorgesehen.⁵

Die wichtigste Regel: Integrität ist binär

Der Score ist Feinjustierung. Was er nicht ist: ein Freikauf. Denn unabhängig vom Punktestand gilt eine harte Sperre: Erfundene Inhalte oder eine Quelle, die die Aussage nachweislich nicht trägt, blockieren die Freigabe in jedem Modus – auch bei sonst 99 Punkten.⁶

Das ist die zentrale Aussage hinter dem ganzen Verfahren: Stilfehler und fehlende Abrufdaten sind verhandelbare Punktabzüge. Eine erfundene Zahl ist es nicht. Ein guter Score kann eine kaputte Quelle nicht überstimmen.

Eine zweite Prüfdimension: Semantische Präzision

Der Auditor prüft, ob Aussagen belegt sind. Was er bewusst nicht bewertet: ob die gewählten Wörter auch wirklich das bedeuten, was der Text meinen soll.

Das ist eine eigene, nicht triviale Frage. In der Praxis zeigt sich: KI-generierter Text neigt zu bestimmten Mustern – Anglizismen, die im Deutschen eine andere Konnotation tragen; Fachbegriffe, die in einem Kontext geläufig sind und im nächsten schief sitzen; Metaphern, die semantisch mehr Gewicht tragen als der Text stützt. Der Auditor findet erfundene Studien – aber er flaggt nicht, wenn ein Begriff aus dem englischen Fachjargon im deutschen Fließtext unerklärt steht, oder wenn eine Metapher Unumkehrbarkeit impliziert, wo der Text nur Kontinuität meint.

Deshalb haben wir einen zweiten Prüfschritt ergänzt: einen Semantik-Check, der ausschließlich auf semantische Präzision prüft – kein allgemeines Lektorat, kein Stilurteil, sondern genau eine Frage: Bedeutet das verwendete Wort wirklich das, was hier gemeint ist?⁷

Der Check läuft nach dem quick-Audit, vor dem strict-Audit. Vier Klassen von Problemen werden geprüft: falsch eingesetzte Fachbegriffe, Anglizismen mit Bedeutungsverschiebung, semantisch überladene Ausdrücke und Bedeutungsunschärfen zwischen verwechselbaren Begriffen. Jeder markierte Ausdruck wird mit vollständigem Satzkontext und konkretem Korrekturvorschlag vorgelegt – der Autor entscheidet, ob er korrigiert oder den Begriff bewusst beibehält.

Kein Score, kein hartes Gate – aber ein expliziter Bestätigungsschritt, der nicht übersprungen werden kann. Die Logik dahinter: Aus unserer Sicht sind faktische Integrität und semantische Präzision eigenständige Qualitätsdimensionen – und sie sind nicht die einzigen. Ein Satz kann vollständig belegt und trotzdem missverständlich sein – weil das gewählte Wort in einem anderen Kontext lebt als der Leser erwartet.

Das Ergebnis für diesen Artikel: mehrere markierte Ausdrücke – darunter „Regelfall“ statt „Default-Eigenschaft“ (ein Anglizismus, der fälschlich eine Software-Voreinstellung nahelegt), „trennscharf“ statt „unbestechlich“ (ein Wort, das moralisch wertet, wo nur klare Abgrenzung gemeint ist) und „das Gate greift wirklich“ statt „das Gate beißt“ (eine aus dem Englischen entlehnte Metapher, die im Deutschen nicht etabliert ist). Jeden Fall habe ich einzeln entschieden: korrigiert oder bewusst beibehalten. Damit ist der Semantik-Check nicht nur ein Verfahrensschritt, sondern auch ein Beleg dafür, dass er selbst in einem sorgfältig verfassten Text anschlägt.

Eine dritte Prüfdimension: Sprachliche Form

So wie Belegbarkeit und Bedeutung getrennte Fragen sind, ist auch die sprachliche Form eine eigene. Ein Satz kann belegt und treffend gemeint sein – und trotzdem einen Grammatik-, Satzbau- oder Zeichensetzungsfehler enthalten. Solche Formfehler entstehen besonders dort, wo Text gekürzt und umgestellt wird: in Überschriften, in Social-Posts, auf Karussell-Slides.

Deshalb gibt es einen dritten Prüfschritt: ein Korrektorat, das ausschließlich die Form prüft – Grammatik, Satzbau, Rechtschreibung, Zeichensetzung. Kein Faktcheck, keine Bedeutungsprüfung, kein Stilurteil, sondern eine Frage: Ist der Satz formal korrekt? Anders als Auditor und Semantik-Check deckt das Korrektorat ausdrücklich auch die kurzen, zugespitzten Texte ab – Karussell und Social-Posts –, nicht nur den Fließtext, denn genau dort schleichen sich beim Kürzen die meisten Fehler ein.⁸

Damit prüfen drei getrennte Prüfinstanzen drei getrennte Dimensionen: der Auditor die Fakten, der Semantik-Check die Bedeutung, das Korrektorat die Form. Jede ist für sich trennscharf, weil sie genau einen Job hat – kein Agent, der alles ein bisschen macht. Die Reihenfolge vor der Veröffentlichung: quick-Audit → Semantik-Check → Korrektorat → strict-Audit.

Was passiert beim Durchfallen

Fällt ein Text durch, gibt es kein vages „bitte überarbeiten“. Das Gate liefert eine strukturierte Rückmeldung mit konkreten, abhakbaren Nachbesserungspunkten – welche Aussage welchen Beleg braucht.⁹ Der Text geht damit zurück in die Recherche und wird anschließend erneut geprüft.

Dass dieses Gate wirklich greift, lässt sich an einem schematischen Verlauf zeigen – ein konstruiertes Beispiel, keine reale Messreihe. Ein Entwurf könnte etwa so durch die Runden gehen:

Runde 1:  62 / 100   → REWORK (mehrere unbelegte Kernaussagen)
Runde 2:  88 / 100   → REWORK (zwei Quellen ohne Abrufdatum, eine Interpretation als Fakt)
Runde 3:  98 / 100   → Freigabe (strict)

Die ersten beiden Runden hätten als fertiger Text vermutlich niemandem etwas angesehen – sie lasen sich bereits sauber. Genau das ist der Punkt: Das Gate findet, was das Lesen nicht findet.

Drei Stellen, an denen ich entscheide

Bis hierher klingt das nach einer Maschine, die Texte durchwinkt oder zurückweist. Das ist nur die halbe Wahrheit. Das Gate bereitet die Entscheidung vor – es trifft sie nicht. An drei Stellen im Ablauf entscheide ich selbst, und an jeder kann ich nicht nur abnicken, sondern den Text verändern:

1. Nach dem ersten Entwurf. Sobald die Recherche das quick-Audit besteht, bekomme ich den Entwurf zur Sicht – bevor irgendetwas Richtung Veröffentlichung läuft. Hier fließen meine inhaltlichen Änderungen ein: Schwerpunkt verschieben, eine Aussage streichen, einen Aspekt ergänzen, der dem Agenten gefehlt hat.
2. Bei der Sprachprüfung. Semantik-Check und Korrektorat legen mir markierte Stellen mit Korrekturvorschlag und Satzkontext vor – beim Wortsinn wie bei der Form. Ich entscheide pro Fall: Vorschlag übernehmen – oder bewusst beibehalten, weil ich es in diesem Kontext genau so meine. Die Checks schlagen vor; abgenickt wird von mir.
3. Vor der Veröffentlichung. Auch wenn der strict-Audit grün ist und 97+ Punkte stehen, ist das keine automatische Freigabe. Ich lese den finalen Text und entscheide: so veröffentlichen, noch eine Runde Änderungen, oder doch nicht. Ein bestandener Score ist die Voraussetzung für die Freigabe – nicht die Freigabe selbst.

Das ist gelebtes Human-in-the-Loop (HITL), und zwar nicht als Bestätigungs-Button, den man im Halbschlaf klickt. An jedem dieser Punkte kann ich eingreifen und den Text ändern – nicht nur „freigeben“ oder „ablehnen“. Der Unterschied ist wesentlich: Eine Kontrolle, die nur zustimmen oder verwerfen kann, ist eine Formalie. Eine, an der ich den Inhalt tatsächlich forme, ist Verantwortung.

Warum überhaupt ein Mensch – und nicht noch ein Agent?

Die menschliche Rolle fängt nicht erst bei der Freigabe an, sondern schon bei der Themenwahl. Ich lasse nicht beliebig recherchieren, sondern genau die Themen, die mich fachlich wirklich interessieren und gerade aktuellen Bezug haben. Diese Auswahl trifft kein Agent – sie kommt aus meiner Arbeit: aus Fragen, die in meinen Projekten aufkommen und die ich recherchieren möchte.

Genauso wenig ist ein Agent dafür da, eine Haltung zu haben. Die KI kann belegen, prüfen, sauber formulieren – aber sie hat keine Position dazu, ob eine Aussage es wert ist, vertreten zu werden. Ich habe diese Position. Ich denke über diese Themen nach und will, dass ein Text unter meinem Namen meine Sicht vertritt, nicht eine geglättete, standpunktfreie Zusammenfassung dessen, was sich gerade belegen lässt. An den drei Freigabestellen schärfe ich deshalb nicht nur Fakten nach, sondern auch die Linie: Welcher Punkt bekommt Gewicht, wo beziehe ich klar Stellung, was lasse ich weg.

Und am Ende muss etwas herauskommen, mit dem ich tatsächlich arbeiten kann. Das Ziel ist kein hübscher Blogtext um seiner selbst willen, sondern ein belastbares Ergebnis, das ich direkt in meine Projekte übernehme – als Argument gegenüber Kunden, als Baustein einer Analyse, als fundierte Grundlage für eine Entscheidung. Belegbarkeit kann eine Maschine prüfen; ob das Ergebnis in der Praxis trägt und ob ich fachlich wie persönlich dahinterstehe, entscheide ich. Genau das trennt KI-Output von verantwortetem Output: nicht ein besseres Modell, sondern ein Mensch, der die Themen setzt, eine Meinung dazu vertritt und am Ende mit dem Ergebnis arbeitet.

Warum das für Ihre Projekte zählt

So weit könnte das wie eine interne Spielerei für Blogtexte durchgehen. Ist es nicht. Dasselbe Prinzip greift überall dort, wo KI im QA- und Engineering-Kontext Inhalte erzeugt, auf die später Entscheidungen aufbauen:

• Generierte Testfälle. Ein Agent kann aus einer Spezifikation in kurzer Zeit eine große Zahl von Testfällen ableiten. Die Frage ist nie die Menge, sondern: Lässt sich für jeden Testfall zeigen, aus welcher Anforderung er stammt? Mit Belegpflicht pro Aussage ist genau das der Regelfall, nicht die Ausnahme.
• Abgeleitete Spezifikationen und Analysen. Wo KI Anforderungen zusammenfasst oder Fachanalysen erstellt, trennt das Gate belegte Aussage von plausibler Vermutung – und kennzeichnet Letztere als solche, statt sie als Fakt durchzuwinken.
• Audit- und Nachweisfähigkeit. Gerade in regulierten Umfeldern trägt erfahrungsgemäß ein „das Tool hat das so ausgegeben“ nicht weit. Ein dokumentierter Prüfpfad mit Modus, Schwelle und Score macht aus einem KI-Output etwas, das man gegenüber Auditoren, Kunden oder Aufsicht vorzeigen kann – inklusive der Begründung, auf welcher Basis abgenommen wurde.
• Reproduzierbarkeit statt Vertrauensvorschuss. Weil die Abnahmekriterien fest und nicht subjektiv sind, fällt derselbe Inhalt bei derselben Qualität konsistent durch oder besteht. Das ist der Unterschied zwischen einem Prozess und einem Glücksfall.
• Ein Mensch, der geradesteht. Am Ende der Kette steht eine Freigabe durch eine verantwortliche Person, nicht ein automatischer Haken. Für Kunden heißt das: Sie bekommen kein Blackbox-Ergebnis, sondern jemanden, der den Output gesehen, geformt und verantwortet hat. Genau das erwartet man von einer Beratung – und genau das leistet ein reiner Modell-Output nicht.

Die Kernfrage, die wir für Kunden beantwortbar machen, lautet nie „klingt das plausibel?“, sondern: Können wir gegenüber einem Dritten belegen, woher jede Aussage stammt – und welche Hürde sie genommen hat? Ein KI-Workflow mit definierten Abnahmekriterien und nachvollziehbarem Trail ist genau das, was diese Frage beantwortbar macht. Nicht „die KI hat das gesagt“, sondern „der Output hat ein dokumentiertes Gate mit messbarer Schwelle bestanden – und ein Mensch hat ihn freigegeben“.

Das ist im Kern dieselbe Disziplin, die wir in klassische Qualitätssicherung einbringen – nur angewandt auf eine neue Art von Artefakt. Wer KI produktiv einsetzen will, ohne die Kontrolle über die Belastbarkeit der Ergebnisse abzugeben, braucht kein besseres Modell, sondern ein besseres Gate.

Die Probe aufs Exempel

Jeder Text entsteht bei mir zuerst als Notiz in meinem persönlichen Wissensspeicher und verlässt ihn erst, wenn er das Gate bestanden hat. Veröffentlichen ist damit ein bewusster Schritt nach außen – und jeder Artikel behält dort seinen Zwilling samt Audit-Status, Score und Quellen.

Auch dieser Artikel durchläuft vor seiner Veröffentlichung dasselbe Gate – Audit-Gate im Modus strict (Schwelle 97/100), Semantik-Check und Korrektorat. Und auch an diesem Text habe ich an genau den drei beschriebenen Stellen eingegriffen: den ersten Entwurf inhaltlich nachgeschärft, bei der Sprachprüfung einzelne Vorschläge übernommen und andere bewusst beibehalten, und ihn am Ende selbst freigegeben. Wenn Sie ihn lesen, hat er das Gate bestanden – und ich habe ihn verantwortet.

Selbst ausprobieren

Den kompletten Workflow – die Prompts (Dispatcher, Auditor, Semantik-Check, Korrektorat, Notiz-Konventionen) und die Slack-Automatisierung – habe ich als Referenz-Implementierung offengelegt: github.com/flodido/agentic-research-vault.¹⁰ Anpassen, übernehmen, weiterdenken – und wenn Sie einen eigenen Prüfprozess haben: Ich lerne gern dazu.

Quellen

1. Trennung von Recherche- und Abnahme-Rolle mit eigenem Prüf-Agent. Referenz-Implementierung: prompts/auditor.md und prompts/dispatcher.md (Subagenten-Routing), github.com/flodido/agentic-research-vault. Abgerufen am 2026-06-14. ↩

2. Belegpflicht pro Aussage via Fußnote; eine reine Quellenliste am Ende reicht nicht. Referenz-Implementierung: prompts/auditor.md (Mindeststandard für Quellen) und prompts/note-conventions.md (Grundprinzipien), github.com/flodido/agentic-research-vault. Abgerufen am 2026-06-14. ↩

3. Bewertung startet bei 100 Punkten, Abzüge nach Schwere (−20 bis −60 / −10 bis −25 / −5 bis −15 / −5 bis −10). Referenz-Implementierung: prompts/auditor.md (Bewertung), github.com/flodido/agentic-research-vault. Abgerufen am 2026-06-14. ↩

4. Drei Audit-Modi mit Freigabe-Schwellen quick ≥ 85, standard ≥ 92, strict ≥ 97 sowie strict-Anwendungsfälle (Veröffentlichung, Website, Recht/Finanzen/Medizin, harte Zahlen, Zitate). Referenz-Implementierung: prompts/auditor.md (Audit-Modi), github.com/flodido/agentic-research-vault. Abgerufen am 2026-06-14. ↩

5. Automatische Hochstufung auf strict bei Veröffentlichungs- und risikokritischen Inhalten, keine automatische Herabstufung. Referenz-Implementierung: prompts/auditor.md und prompts/dispatcher.md (Audit-Modus bestimmen), github.com/flodido/agentic-research-vault. Abgerufen am 2026-06-14. ↩

6. Erfundene Inhalte oder nicht-tragende Quellen blockieren die Freigabe in jedem Modus, unabhängig vom Punktestand. Referenz-Implementierung: prompts/auditor.md (Bewertung), github.com/flodido/agentic-research-vault. Abgerufen am 2026-06-14. ↩

7. Semantik-Check mit vier Prüfklassen (falscher Fachbegriff, Anglizismus mit Bedeutungsverschiebung, semantisch überladen, Bedeutungsunschärfe), läuft nach dem quick-Audit, vor dem strict-Audit. Referenz-Implementierung: prompts/semantik-check.md, github.com/flodido/agentic-research-vault. Abgerufen am 2026-06-14. ↩

8. Korrektorat mit vier Prüfklassen (Grammatik; Syntax/Satzbau; Präposition/Rektion/Kollokation; Rechtschreibung/Zeichensetzung), Prüfumfang inkl. Karussell- und Social-Texten, nach dem Semantik-Check vor dem strict-Audit. Referenz-Implementierung: prompts/korrektorat.md, github.com/flodido/agentic-research-vault. Abgerufen am 2026-06-14. ↩

9. Strukturierte REWORK-Rückmeldung mit konkreten, abhakbaren Nachbesserungspunkten je Aussage. Referenz-Implementierung: prompts/auditor.md (Output bei Rückgabe), github.com/flodido/agentic-research-vault. Abgerufen am 2026-06-14. ↩

10. Öffentliche Referenz-Implementierung des hier beschriebenen Workflows (Prompts für Dispatcher, Auditor, Semantik-Check, Korrektorat und Notiz-Konventionen sowie die Slack-Automatisierung). GitHub: https://github.com/flodido/agentic-research-vault. Abgerufen am 2026-06-14. ↩