Startseite/Qualität & Transparenz
Qualität & Transparenz

Wie wir Halluzinationen abfangen.

KI, aus der du lernst, darf nicht erfinden. Jede MedicXam-Frage entsteht aus deiner eigenen Quelle und durchläuft drei Prüfschichten, die nacheinander aussortieren, was sich nicht belegen lässt. Ganz ausschließen kann das keine Pipeline — wir legen offen, wie sie arbeitet und wo ihre Grenzen liegen.

01Das Problem

Warum LLMs halluzinieren — kurz erklärt.

Sprachmodelle generieren Text Token für Token. Sie bewerten nicht, ob eine Aussage wahr ist, sondern ob sie plausibel klingt. Wenn das Modell zu einem klinischen Detail keine sichere Information hat, füllt es die Lücke mit dem, was statistisch passend wirkt — das Ergebnis kann formal korrekt klingen und inhaltlich falsch sein.

Beim Lernen ist das gefährlich — in der Medizin ganz besonders. Eine falsch begründete MC-Frage prägt sich ein wie eine richtige, und wer den Stoff gerade erst lernt, kann den Fehler nicht erkennen. Deshalb genügt es nicht, „ein gutes Modell" zu nutzen. Es braucht ein System, das davon ausgeht, dass das Modell sich irren wird.

02Drei Schutzschichten

Jede Frage durchläuft drei getrennte Prüfungen.

Eine Frage gilt nur als freigegeben, wenn alle drei Schichten sie passieren lassen. Erkennt eine Schicht ein Problem, geht die Frage zurück zur Generierung — und was am Ende nicht besteht, bleibt in der App als beanstandet gekennzeichnet.

01

Quellenverankerung (RAG)

Antworten ausschließlich aus deiner Quelle

02

Strukturierte Selbstprüfung

Das Modell begründet im selben Durchlauf, woher jede Aussage stammt

03

Unabhängiger Zweit-Check (EV-Check)

Ein Modell eines anderen Anbieters prüft jede Frage erneut

01

Quellenverankerung (RAG)

Antworten ausschließlich aus deiner Quelle

Das generierende Modell sieht bei jeder Frage nicht nur das Thema, sondern auch die relevanten Textabschnitte aus der Quelle, die du in die App geladen hast — Skript, Mitschrift, Zusammenfassung. Es darf seine Antwort nur auf dieses Material stützen — nicht auf sein Trainingswissen — und muss jede Aussage mit einer Marke auf den Abschnitt belegen. Technisch: Retrieval-Augmented Generation.

Warum diese Schicht?

Verhindert, dass das Modell aus dem Gedächtnis halluziniert. Wenn deine Quelle die Information nicht hergibt, darf die Frage nicht entstehen.

02

Strukturierte Selbstprüfung

Das Modell begründet im selben Durchlauf, woher jede Aussage stammt

Schon im Generierungs-Prompt ist ein verpflichtender Selbstprüf-Schritt verankert: Das Modell muss strukturiert ausgeben, welche Passage der Quelle welche Antwortoption stützt, welche Distraktoren bewusst falsch sind und ob es Unsicherheiten gibt. Danach rechnet Programmcode ohne KI nach: Existiert jeder zitierte Abschnitt? Steht die belegte Aussage wirklich dort? Stehen zwölf oder mehr Wörter am Stück wörtlich so in der Quelle? Antworten ohne saubere Quellenzuordnung gelten als nicht freigegeben.

Warum diese Schicht?

Diese Inline-Prüfung ist methodisch schwächer als ein vollständig getrennter Prüfer-Lauf, weil das Modell die eigene Antwort nicht mit frischem Blick sieht. Dafür ist sie deutlich effizienter, die deterministische Nachrechnung lässt sich nicht überreden — und die eigentliche Unabhängigkeit liefert ohnehin die nächste Schicht.

03

Unabhängiger Zweit-Check (EV-Check)

Ein Modell eines anderen Anbieters prüft jede Frage erneut

Nach der Generierung prüft ein unabhängiges Modell — von einem anderen Anbieter, mit anderer Architektur und anderen Trainingsdaten —, ob Frage, Optionen und Erklärung mit der Quellenpassage übereinstimmen, entlang elf Dimensionen — Zitationscheck, Quellenpassung, Topic-Übereinstimmung, Faktentreue, Antwortrichtigkeit, Distraktoren, Erklärungsqualität, Dokumententreue, Vollständigkeit, Kurzfassungs-Treue, eigene Formulierung statt Wortlaut der Quelle — und schätzt dazu das Halluzinationsrisiko. Dieselben Namen stehen in der App an jeder Frage. Beanstandungen gehen mit dem Prüfbericht zurück an den Generator, bis zu drei Korrekturrunden. Was danach nicht besteht, wird markiert statt stillschweigend ausgeliefert.

Warum diese Schicht?

Zwei Modelle desselben Anbieters teilen Fehlerquellen. Ein Anbieterwechsel reduziert die Wahrscheinlichkeit korrelierter Fehler erheblich.

03Das Modell dahinter

Das Swiss-Cheese-Prinzip.

Aus der Sicherheitsforschung nach James Reason: Jede Sicherheitsschicht hat „Löcher" — Fälle, in denen sie versagt. Ein Fehler erreicht den Nutzer nur, wenn die Löcher zufällig übereinander liegen.

Drei Schichten, die nach verschiedenen Prinzipien arbeiten, machen das unwahrscheinlich — ausgeschlossen ist es nicht. Die Löcher liegen auch nicht völlig zufällig: Eine fehlerhafte Stelle in der Quelle oder eine Schwäche, die zwei Modelle teilen, trifft mehrere Schichten zugleich. Wir rechnen deshalb mit Fehlern, die durchkommen — siehe Abschnitt Grenzen.

Potenzieller Fehler
01 · Generierung mit RAG
02 · Inline-Selbstprüfung
03 · Zweit-Check (anderer Anbieter)
Erkannt & verworfen
04Quellenanker

Jede Frage zeigt, woher sie kommt.

Jede Lernfrage ist mit der Stelle in deiner Quelle verknüpft, aus der sie stammt — Abschnitt, Seite und, wenn das PDF gespeichert ist, die Stelle im Original. Du kannst die Belegstelle direkt aufrufen und die Antwort selbst nachprüfen.

Das ist der entscheidende Unterschied zu einer Blackbox: du musst uns nicht vertrauen — du kannst nachsehen.

MC-Frage · Endokrinologie

Welche der folgenden Aussagen zur initialen Therapie der akuten Hyponatriämie ist korrekt?

A) Schnelle Korrektur um > 12 mmol/l in 24 h …
B) Hypertone NaCl 3 % als Bolus bei symptomatischen Patienten …
C) Flüssigkeitsrestriktion bei akut symptomatischen Patienten …
Belegstelle · deine Quelle

Skript Endokrinologie — Kapitel 4: Störungen des Natriumhaushalts

Eigenes PDF · importiert am 12.09.2026

Abschnitt 4.2, S. 12 → Im Original-PDF anzeigen

05Grenzen

Was wir nicht versprechen.

Eine Pipeline kann Fehler unwahrscheinlich machen, nicht ausschließen. Diese Punkte sollten dir bewusst sein.

Keine Garantie auf Fehlerfreiheit.

Trotz drei getrennter Prüfschichten können Fehler durchrutschen. Bei einer wachsenden Fragensammlung heißt das: einige werden Fehler enthalten. Wenn dir eine Frage komisch vorkommt, prüfe die Belegstelle — und bearbeite oder lösche die Frage direkt in der App.

Keine fachliche Prüfung durch Menschen.

In den Apps gibt es keine Redaktion und keine ärztliche Freigabe: Fragen sind zur Nutzung freigegeben, sobald sie die KI-Prüfkette passieren. Die menschliche Kontrolle liegt bei dir — du entscheidest, welche Quellen verarbeitet werden, und kannst jede Frage nachschlagen, ändern oder verwerfen.

Lerninhalt ≠ klinische Entscheidung.

MedicXam ist Lern-Software für Prüfungsvorbereitung und Fortbildung. Es ist kein Medizinprodukt. Wer medizinische Inhalte verarbeitet: Klinische Entscheidungen am Patienten gehören in die Hand qualifizierter Ärztinnen und Ärzte und stützen sich auf die jeweils gültige Originalleitlinie.

Aus schlechten Unterlagen werden keine guten Fragen.

Generierte Inhalte sind exakt so aktuell und so korrekt wie die Quelle, aus der sie stammen. Ein veraltetes Skript ergibt veraltete Fragen — die Prüfkette erkennt Widersprüche zur Quelle, nicht Fehler in der Quelle selbst. Die Belegstelle pro Frage hilft dir, das selbst zu prüfen.

06EU AI Act

Was das Gesetz verlangt — und was wir sind.

Transparenzhinweis nach Verordnung (EU) 2024/1689 (EU AI Act), Art. 50 Abs. 1. Seit dem 2. August 2026 gelten die Transparenzpflichten der Verordnung (EU) 2024/1689 (EU AI Act) unmittelbar.

Einstufung

MedicXam ist ein KI-System mit Transparenzpflichten nach Verordnung (EU) 2024/1689 (EU AI Act) und kein Hochrisiko-KI-System.

Anhang III Nr. 3 der Verordnung erfasst KI-Systeme, die über Zugang oder Zulassung zu Bildungseinrichtungen entscheiden, Lernergebnisse mit Prüfungswirkung bewerten, das zu erreichende Bildungsniveau festlegen oder Prüfungsteilnehmende überwachen. MedicXam tut nichts davon: Es ist ein Selbstlernangebot ohne Prüfungscharakter, wird von keiner Bildungseinrichtung zur Leistungsbewertung eingesetzt und trifft keine Entscheidungen mit Rechtswirkung für die nutzende Person.

Zweckbestimmung

Erzeugung von Übungsfragen und Erklärungen aus den Unterlagen, die du selbst in die App lädst — zur Prüfungsvorbereitung und Fortbildung in jedem Fach; Medizin ist der Schwerpunkt-Anwendungsfall.

Nicht bestimmungsgemäß und ausdrücklich ausgeschlossen ist jede Nutzung zur Diagnostik, Therapieentscheidung oder sonstigen Patientenversorgung.

Bekannte Grenzen

Sprachmodelle können inhaltlich falsche, unvollständige oder veraltete Aussagen erzeugen, die sprachlich überzeugend wirken. Quellenangaben können auf die richtige Stelle verweisen und trotzdem falsch wiedergegeben sein.

Die Qualität hängt unmittelbar von deinen Ausgangsdokumenten und von den eingesetzten Modellen ab. Eine ärztliche Prüfung der erzeugten Inhalte findet nicht statt; unsichere Seiten und Fragen kennzeichnet die App.

Menschliche Aufsicht

Du bestimmst, welche Dokumente verarbeitet werden und was mit den Ergebnissen geschieht; jede erzeugte Frage lässt sich bearbeiten oder löschen. Es gibt keine automatisierte Entscheidung über dich.

Eingesetzte Modelle

Die KI-Funktionen laufen mit Apples Modellen (Apple Intelligence) und mit freien Modellen auf deinem Gerät — auf iPhone und iPad, die Apple Intelligence unterstützen und bei denen sie eingeschaltet ist (ab iOS 27). Den Text eines PDFs lesen die freien Modelle auf deinem Gerät: PP-DocLayoutV3 (PaddlePaddle) für den Seitenaufbau, Table Transformer (Microsoft) für Tabellen und das Lesemodell GLM-OCR (Zhipu AI). Abbildungen, eingescannte Seiten und die Fragen übernimmt Apples Server-Modell in Private Cloud Compute (Apple Inc., USA). Das Lesemodell lädt die App einmalig von Hugging Face herunter; dabei verlässt nur die Download-Anfrage das Gerät, nichts von deinen Inhalten.

Ein MedicXam-Server ist nicht beteiligt, ein Konto nicht nötig; MedicXam erhält deine Inhalte nicht. Anbieter des KI-Systems im Sinne der Verordnung ist MedicXam (Dr. Wolfgang Kuch, siehe Impressum). Apples Modelle stellt Apple bereit; die Modelle auf dem Gerät stammen von ihren Urheberinnen und Urhebern und stehen unter freien Lizenzen (siehe Open-Source-Lizenzen).

Fehler melden

Fehlerhafte Inhalte kannst du direkt bearbeiten oder löschen. Systemische Probleme gerne an office[at]medicxam[punkt]eu.

Lernen mit Quellen, die du nachprüfen kannst.

MedicXam macht jeden Schritt von deiner Quelle zur Lernfrage transparent — und jedes Versprechen überprüfbar.