In einem aktuellen Nature-Beitrag (Rubrik: News Feature, also ein journalistisch recherchierter Analysebeitrag) wird ein Problem beschrieben, das viele inzwischen aus eigener Erfahrung kennen: KI-Systeme erzeugen Literaturangaben, die plausibel aussehen, aber nicht existieren. Titel wirken glaubwürdig, Autoren passen thematisch, Journale klingen korrekt — nur führt der DOI ins Leere oder die Arbeit wurde nie publiziert.

Der Beitrag berichtet über eine eigene Analyse gemeinsam mit der Firma Grounded AI. Demnach wurden etwa 4.000 Publikationen aus dem Jahr 2025 untersucht, anschließend die 100 "verdächtigsten" Arbeiten manuell geprüft. In 65 davon fanden sich ungültige Referenzen. Daraus leitet der Artikel als grobe (und anfechtbare) Hochrechnung ab: Weltweit könnten mehr als 100.000 wissenschaftliche Arbeiten KI-generierte Falschzitate enthalten.

Die genannte Zahl ist stark hinterfragbar, da methodisch unklar bleibt:

• wie die 4.000 Arbeiten ausgewählt wurden,
• nach welchen Kriterien ein Paper als „verdächtig“ galt,
• welche Fehlerarten überhaupt gezählt wurden.

Zusätzlich erfolgte die manuelle Analyse nicht an einer Zufallsstichprobe, sondern explizit an bereits vorselektierten „verdächtigen“ Arbeiten.

Aber dennoch: Das Problem ist evident, und die fehlerhaften Zitierungen schaffen es durch Peer-Review-Verfahren, weil sie von Large Language Modellen (LLM) bibliographisch plausibel „herbeihalluziniert“ werden. Zudem fokussieren sich Begutachtungsverfahren ja unbestritten nicht darauf, sämtliche zitierte Arbeiten auf ihre schiere Existenz zu hinterfragen – was aber, n.b., mittlerweile durch KI-gestützte Systeme zur Literaturrecherche wie Consensus grundsätzlich möglich wäre.

Ausdrücklich betont werden soll an dieser Stelle, dass nicht der (dann allerdings auch deklarierte) Einsatz von künstlicher Intelligenz bzw. LLM das eigentliche Problem darstellt. Halluzinierte Referenzen sind letztlich eine bekannte Systemeigenschaft dieser Sprachmodelle. Problematisch wird es dort, wo KI-generierte Literaturangaben offenbar ohne ausreichende menschliche Verifikation in wissenschaftliche Manuskripte übernommen werden.

Nicht nur, dass hier der eigenen Sorgfaltspflicht nicht nachgekommen wird: Es zeigt sich auch ein grundlegendes Unverständnis dafür, wofür klassische LLMs tatsächlich geeignet sind (Sprachgenerierung und semantische Transformation von Text) — und wofür erst retrieval-gestützte Systeme (RAG) oder kuratierte Datenbankzugriffe erforderlich wären. Nicht-erweiterte LLMs besitzen keinen verlässlichen Zugriff auf kuratierte Literaturdatenbanken und sind daher grundsätzlich ungeeignet, bibliographische Referenzen zuverlässig zu erzeugen.