Wie wir messen, ob die Evidenz stimmt
Die meisten klinischen KI-Werkzeuge verlangen, dass Sie einer Zusammenfassung vertrauen. CliniAtlas ist so gebaut, dass es überprüft werden kann — und wir messen, wie gut es standhält. Unsere Evaluation berichtet drei Kennzahlen auf einem festen, klinisch geprüften Fragenkatalog.
Zitattreue
Dies ist unsere primäre Kennzahl gegen Halluzinationen. Für jede nicht enthaltene Antwort wird jeder belegte Absatz gegen den Text seiner zitierten Quellen geprüft und als gestützt, teilweise gestützt oder nicht gestützt eingestuft. Daneben berichten wir die Beleg-Abdeckung — den Anteil wesentlicher Aussagen mit einem gültigen Beleg — sowie die Rate ungültiger Zitate. Da die Prüfung Titel, Abstracts und Textausschnitte statt lizenzierten Volltext nutzt, ist der berichtete Wert bewusst eine Untergrenze.
Retrieval-Recall
Dies ist deterministisch: Für Fragen mit erwarteten Schlüsselreferenzen (per PMID oder DOI) wird der Anteil gemessen, den das Retrieval tatsächlich findet. Es zielt auf die Evidenz-Vollständigkeit — ob das System die Arbeiten findet, die eine Ärztin oder ein Arzt erwarten würde.
Antwortkorrektheit
Diese vergleicht jede Antwort mit einer klinisch geprüften Referenzantwort und ihren Kernpunkten und berücksichtigt Enthaltung: Bei Fragen, deren ehrliche Antwort lautet „die Evidenz stützt keine Schlussfolgerung“, gibt es die volle Punktzahl nur, wenn sich das System enthält, statt eine Antwort zu erfinden.
Menschliche Kalibrierung und AI-Act-Ausrichtung
Um die bewerteten Kennzahlen ehrlich zu halten, kennzeichnet eine Ärztin oder ein Arzt von Hand einen Teil der Treue- und Korrektheits-Items, und wir kalibrieren den automatischen Bewerter gegen diese menschlichen Urteile, bevor wir seinen Werten vertrauen. Die Methodik ist darauf ausgelegt, die technische Dokumentation nach dem EU AI Act zu unterstützen: messbare Genauigkeit und Fundierung, Datenherkunft, versionierte Ergebnisse und menschliche Aufsicht.