Die Europäische Kommission hat im April 2025 Leitlinien für den verantwortungsvollen Umgang mit generativer Künstlicher Intelligenz (KI) in der wissenschaftlichen Forschung veröffentlicht. Diese Leitlinien dienen als ethisch-normative Orientierung für Forschende, Forschungseinrichtungen und Förderorganisationen. Ihr Ziel ist es, einen ethisch fundierten und verantwortungsbewussten Einsatz von generativer KI zu fördern – ohne dabei starre oder pauschale Regulierungen vorzugeben. Stattdessen bieten sie differenzierte Empfehlungen, die sowohl die Chancen dieser Technologie als auch ihre Risiken beleuchten.

Als „Living Guidelines“ verstehen sie sich als ein dynamisches Dokument, das angesichts der rasanten technischen Entwicklung regelmäßig aktualisiert wird und durch Feedback aus der Forschungscommunity weiterentwickelt werden kann.

Grundprinzipien

Den Leitlinien liegen vier Grundprinzipien zugrunde, welche die ethische Basis des KI-Einsatzes in der Forschung definieren:

• Zuverlässigkeit: Sicherstellung der wissenschaftlichen Qualität und Robustheit der Forschung. Die Anwendung generativer KI soll so erfolgen, dass Forschungsdesign, Methodik, Analyse und Ressourcen verlässlich bleiben. Insbesondere müssen die von KI erzeugten Informationen auf ihre Korrektheit und Reproduzierbarkeit überprüft werden. Forschende sollten sich der möglichen Verzerrungen und Ungenauigkeiten bewusst sein (z.B. durch unausgewogene Trainingsdaten) und Diskriminierungstendenzen proaktiv entgegenwirken, um wissenschaftliche Integrität zu wahren.
• Ehrlichkeit: Transparenz und Aufrichtigkeit in allen Phasen des Forschungsprozesses, von der Planung über Durchführung und Begutachtung bis zur Publikation. Forschende sollen fair, gründlich und unparteiisch handeln und offenlegen, wenn und wie generative KI in der Forschung eingesetzt wurde. Dieses Prinzip fordert die deutliche Kennzeichnung KI-generierter Inhalte und die ehrliche Berichterstattung über Methoden, um Vertrauen in die Forschung zu erhalten.
• Respekt: Ein verantwortungsvoller KI-Einsatz berücksichtigt die Grenzen und Nebenwirkungen der Technologie. Dazu gehören der ökologische Fußabdruck generativer KI-Systeme sowie gesellschaftliche Effekte wie Bias, mangelnde Diversität, Diskriminierungsgefahren, Fairness und die Vermeidung von Schäden. Respekt bedeutet auch, Informationen sorgfältig zu handhaben: Privatsphäre, Vertraulichkeit und Urheber- bzw. geistige Eigentumsrechte sind zu schützen, und fremde Leistungen sowie Quellen sind angemessen zu zitieren.
• Verantwortung: Rechenschaftspflicht für den gesamten Forschungsprozess von der Idee bis zur Veröffentlichung und darüber hinaus. Forschende und Institutionen übernehmen Verantwortung für Training, Betreuung und die organisatorische Umsetzung von Forschung sowie für die breiteren gesellschaftlichen Auswirkungen ihrer Arbeit. Insbesondere bleibt menschliche Kontrolle oberstes Gebot: Forscherinnen und Forscher tragen die Verantwortung für sämtliche Resultate, die sie mithilfe von KI erzielen, und sie behalten stets die letzte Entscheidungsgewalt. Generative KI darf Werkzeuge bereitstellen, aber niemals die Autorschaft oder Entscheidungsverantwortung übernehmen – diese liegen ausschließlich bei den menschlichen Forschenden.

Empfehlungen für Forscherinnen und Forscher

Um generative KI verantwortungsvoll in der Forschung einzusetzen, richten sich die Leitlinien zunächst direkt an Forscherinnen und Forscher. Ihnen wird insbesondere empfohlen:

• Verantwortung beibehalten: Die primäre Verantwortung für alle wissenschaftlichen Ergebnisse bleibt bei den Forschenden selbst – auch wenn KI-Tools genutzt werden. Wissenschaftlerinnen müssen für die Integrität jeder Information, die durch oder mit Unterstützung von KI generiert wurde, einstehen. Sie sollten Ergebnisse aus KI stets kritisch hinterfragen und validieren, da solche Systeme fehlerhafte oder irreführende Inhalte (etwa Halluzinationen oder falsche Zitate) produzieren können. Wichtig ist, dass KI-Systeme niemals als (Ko-)Autorinnen gelten: Autorschaft impliziert intentionale Zuschreibung und Verantwortung, die ausschließlich Menschen vorbehalten ist. Forschende müssen also die durch KI gewonnenen Erkenntnisse eigenständig prüfen und in ihre Arbeit verantwortungsvoll integrieren.
• Transparenz beim KI-Einsatz: Der Einsatz von generativer KI im Forschungsprozess soll offengelegt werden. Forschende sollten klar benennen, welche KI-Werkzeuge sie substanziell genutzt haben und in welchen Phasen (z.B. bei Literaturrecherche, Datenauswertung oder Textentwurf). Wird KI maßgeblich in der Forschung eingesetzt, gehört dieser Umstand transparent in Publikationen, Berichten oder Bewerbungen kommuniziert. Zudem sollen die Grenzen der verwendeten KI-Modelle offengelegt und deren Einfluss auf Ergebnisse diskutiert werden. Indem Forscher die Zuverlässigkeit und Reproduzierbarkeit KI-generierter Resultate überprüfen und auf potentielle Bias oder Unschärfen hinweisen, wahren sie Transparenz und wissenschaftliche Nachvollziehbarkeit.
• Schutz von Privatsphäre und Vertraulichkeit: Beim Umgang mit sensiblen oder vertraulichen Informationen ist besondere Vorsicht geboten. Eingaben in generative KI (z.B. Texte, Daten, Bilder oder sonstige unveröffentlichte Forschungsergebnisse) können vom KI-Anbieter mitgespeichert oder weiterverwendet werden (etwa zum Training von Modellen). Deshalb sollten Forschende keine vertraulichen Daten oder unveröffentlichten Forschungsergebnisse ungeprüft in externe KI-Systeme eingeben, sofern nicht sichergestellt ist, dass diese Daten weder weitergereicht noch für andere Zwecke (wie zukünftiges Training) genutzt werden. Insbesondere personenbezogene Daten Dritter dürfen nur dann in KI-Tools eingespeist werden, wenn die betroffenen Personen dem zugestimmt haben und die Nutzung mit geltenden Datenschutzregeln (insb. der EU-Datenschutz-Grundverordnung) vereinbar ist. Forschende sind angehalten, sich über die technischen, ethischen und sicherheitstechnischen Implikationen der von ihnen genutzten KI-Dienste zu informieren – etwa wer den Dienst betreibt (öffentlich, privat, kommerziell), wo die Daten verarbeitet werden und welche Nutzungsbedingungen gelten. Institutionelle Richtlinien und Datenschutzeinstellungen der Tools sollten beachtet werden, um Vertraulichkeit und geistige Eigentumsrechte zu wahren.
• Einhaltung rechtlicher Vorgaben: Generative KI in der Forschung ist stets im Rahmen der anwendbaren nationalen, europäischen und internationalen Gesetze zu nutzen – insbesondere hinsichtlich Urheberrecht und Datenschutz. Forschende müssen darauf achten, dass KI-Outputs nicht unbeabsichtigt Plagiate erzeugen. Wenn KI z.B. Text, Code oder Bilder liefert, die auf den Werken Dritter basieren, sind diese Quellen zu erkennen und ordnungsgemäß zu zitieren, um die Urheberschaft anderer zu respektieren. Auch dürfen KI-Modelle nicht dazu verwendet werden, Forschungsdaten zu fälschen oder zu manipulieren – wissenschaftliche Redlichkeit bleibt oberstes Gebot. Sollte ein generatives KI-System personenbezogene Daten im Output produzieren (etwa indem es aus Trainingsdaten etwas reproduziert, das jemanden identifiziert), müssen Forschende verantwortungsvoll damit umgehen und die Datenschutzvorschriften strikt einhalten. Die Wahrung von Autorenrechten und der Schutz sensibler Informationen gelten also gleichermaßen für mittels KI generierte Inhalte wie für konventionell erzeugte.
• Kompetenzen und Bewusstsein ausbauen: Angesichts der schnellen Weiterentwicklung generativer KI sollten Forschende sich kontinuierlich fortbilden, um diese Werkzeuge optimal und verantwortungsvoll zu nutzen. Die Leitlinien empfehlen, verfügbare Schulungen und Trainings wahrzunehmen, um z.B. effektiv zu prompten (Eingabeanweisungen zu formulieren), Ausgaben korrekt zu interpretieren und etwaige Fehlentwicklungen zu erkennen. Forscherinnen sollten sich regelmäßig über neue Funktionen und bewährte Verfahren im Umgang mit KI informieren und einen Erfahrungsaustausch mit Kolleginnen pflegen, um voneinander zu lernen.
• KI nicht für sensible Bewertungsaufgaben einsetzen: Die Leitlinien raten dringend davon ab, generative KI für sensible Aufgaben der wissenschaftlichen Qualitätssicherung oder Bewertung substanziell einzusetzen – etwa bei Peer-Reviews, Gutachten oder der Bewertung von Forschungsanträgen. Solche Kernaufgaben erfordern menschliches Urteil, Fairness und Vertraulichkeit, die durch KI nicht garantiert werden können. Der Verzicht auf KI in diesen Bereichen verhindert zum einen mögliche Verzerrungen oder Fehlurteile, die durch die bekannten Limitationen aktueller Modelle (Halluzinationen, Bias etc.) entstehen könnten. Zum anderen schützt er das geistige Eigentum und die Originalität wissenschaftlicher Arbeiten: Würde man z.B. ein unveröffentlichtes Manuskript einer KI zur Begutachtung anvertrauen, bestünde das Risiko, dass dessen Inhalte ins Training künftiger Modelle einfließen oder anderweitig ungeklärt wiederverwendet werden. Durch Zurückhaltung beim KI-Einsatz in solchen heiklen Prozessen stellen Forschende sicher, dass Transparenz, Fairness und Vertrauen im wissenschaftlichen Bewertungssystem erhalten bleiben.

Empfehlungen für Forschungseinrichtungen

Auch Forschungseinrichtungen – wie Universitäten, Institute und andere wissenschaftliche Organisationen – spielen eine entscheidende Rolle beim verantwortungsvollen Einsatz von KI. Die Leitlinien empfehlen daher, dass Einrichtungen als Rahmengeber geeignete Maßnahmen ergreifen. Forschungseinrichtungen sollten insbesondere:

• eine Kultur des verantwortungsvollen KI-Einsatzes fördern: Einrichtungen sollten aktiv eine Organisationskultur etablieren, die den verantwortungsvollen Umgang mit generativer KI unterstützt. Konkret bedeutet dies, Richtlinien und Schulungen bereitzustellen, damit Mitarbeitende aller Karrierestufen den kompetenten Umgang mit KI erlernen. Schulungsinhalte sollten unter anderem das Prüfen von KI-Ergebnissen, den Schutz der Privatsphäre, den Abbau von Verzerrungen sowie den Erhalt von Urheberrechten und vertraulichem Wissen abdecken. Zudem sollen Forschungseinrichtungen ein Vertrauensklima schaffen, in dem Forschende sich trauen können, den Einsatz von KI-Assistenz in ihrer Arbeit offen zuzugeben, ohne negative Konsequenzen befürchten zu müssen. Transparenz über KI-Nutzung darf nicht sanktioniert, sondern sollte als Teil guter wissenschaftlicher Praxis verstanden werden. Schließlich obliegt es den Institutionen, interne Leitfäden auszuarbeiten und Support anzubieten, um die Einhaltung rechtlicher und ethischer Anforderungen sicherzustellen – etwa im Hinblick auf Datenschutzgesetze, Urheberrechte oder ethische Prüfverfahren.
• Einsatz und Entwicklung von KI systematisch beobachten: Forschungseinrichtungen sollten die Nutzung von generativer KI in ihren Reihen aktiv nachverfolgen und evaluieren. Dies beinhaltet, einen Überblick darüber zu behalten, welche KI-Systeme in welchen Bereichen der Forschung verwendet werden und wie sie sich weiterentwickeln. Solches Monitoring kann der Organisation vielfältig nutzen: Zum einen können die gewonnenen Erkenntnisse dazu dienen, bedarfsgerechte Schulungen zu konzipieren und herauszufinden, wo zusätzlicher Support nötig ist. Zum anderen hilft die Dokumentation der KI-Nutzung, mögliche Missbräuche oder Fehlentwicklungen frühzeitig zu erkennen und gegenzusteuern. Die Leitlinien regen an, diese Erfahrungen auch mit der wissenschaftlichen Gemeinschaft zu teilen, um gemeinsam vom Lernprozess zu profitieren. Ferner sollten Einrichtungen die technischen Grenzen und Leistungsfähigkeit der eingesetzten KI-Werkzeuge analysieren und ihren Forschenden entsprechendes Feedback sowie Empfehlungen geben – beispielsweise welche Modelle sich für welche Aufgaben eignen oder wo Vorsicht geboten ist.
• Leitlinien und Standards institutionell verankern: Die generischen Empfehlungen dieser EU-Leitlinien sollten nach Möglichkeit in die internen Regelwerke der Forschungseinrichtungen integriert oder daran ausgerichtet werden. Das heißt, Einrichtungen sollten ihre bestehenden Richtlinien zu guter wissenschaftlicher Praxis und Ethik um Aspekte des KI-Einsatzes ergänzen oder diese Leitlinien direkt als Referenz heranziehen. Idealerweise werden dabei die Forschenden und weiteren Stakeholder der Organisation einbezogen – zum Beispiel durch offene Diskussionen oder Workshops über den sinnvollen Gebrauch von generativer KI. Die Leitlinien der EU können als Grundlage für den Dialog dienen.
• Vertrauenswürdige KI-Infrastruktur bereitstellen: Wann immer möglich, sollten Forschungseinrichtungen erwägen, generative KI-Tools unter eigener Kontrolle bereitzustellen, etwa lokal gehostete Modelle oder Cloud-Dienste, die von vertrauenswürdigen Partnern betrieben werden. Indem Institutionen KI-Werkzeuge selbst verwalten (oder über verlässliche Dritte, z.B. europäische Plattformen, bereitstellen), schaffen sie eine Umgebung, in der Forschende sensible wissenschaftliche Daten nutzen können, ohne diese an unbekannte externe Anbieter weiterzugeben. Dies erhöht den Schutz von Daten und Vertraulichkeit erheblich.

Empfehlungen für Forschungsförderorganisationen

Schließlich richten sich die Leitlinien auch an Forschungsförderorganisationen und Förderinstitutionen. Diese Organisationen haben durch ihre Förderpolitik und Bewertungskriterien erheblichen Einfluss darauf, wie KI in der Forschung eingesetzt wird. Die Leitlinien schlagen vor, dass Forschungsförderer folgende gute Praktiken übernehmen:

• Verantwortungsvollen KI-Einsatz gezielt fördern: Förderinstitutionen sollten ihre Programme und Förderinstrumente so gestalten, dass sie den ethischen und verantwortungsvollen Einsatz von generativer KI in Forschungsprojekten unterstützen. Konkret kann dies bedeuten, dass Ausschreibungen und Förderbedingungen offen dafür sind, KI-Technologien sinnvoll einzusetzen, solange dies im Einklang mit wissenschaftlichen Qualitätsstandards und Ethik erfolgt. Förderorganisationen können positiv bewerten, wenn Projekte KI nutzen, um ambitionierte Forschungsziele zu erreichen, sofern die Antragstellenden darlegen, dass sie dies reflektiert und regelkonform tun. Gleichzeitig müssen Förderer sicherstellen, dass alle geförderten Vorhaben die geltenden nationalen und EU-Vorschriften einhalten – etwa Datenschutzgesetze oder Urheberrechtsbestimmungen – und den Grundsätzen guter wissenschaftlicher Praxis beim KI-Einsatz folgen. In ihren Leitlinien gegenüber Geförderten sollten sie klar kommunizieren, dass generative KI-Technologien willkommen sind, aber nur im Rahmen von ethisch und rechtlich einwandfreiem Vorgehen.
• Eigenen KI-Einsatz verantwortungsvoll überprüfen: Förderorganisationen sollten auch in ihren internen Abläufen generative KI nur mit großer Umsicht einsetzen und damit eine Vorbildfunktion einnehmen. Insbesondere bei Bewertungs- und Auswahlprozessen für Forschungsanträge gilt: Die Organisation selbst bleibt voll verantwortlich für jede Entscheidung – KI darf hier höchstens unterstützend wirken, aber niemals eigenständig Bewertungen treffen. Die Leitlinien betonen, dass Förderinstitutionen bei Verwendung von KI-Tools in solchen Prozessen äußerste Transparenz walten lassen müssen (z.B. wenn KI zur Plausibilitätsprüfung oder Vorsortierung von Anträgen genutzt wird) und dass Fairness sowie Vertraulichkeit der Begutachtungsverfahren nicht beeinträchtigt werden dürfen. Generative KI kann etwa helfen, interne Verwaltungsprozesse effizienter zu gestalten, doch sie darf keinesfalls die inhaltliche Begutachtung oder wissenschaftliche Bewertung von Projekten übernehmen – diese obliegt nach wie vor Menschen, um Neutralität und fachliche Qualität zu gewährleisten. Außerdem sollten Förderer nur solche KI-Systeme für interne Zwecke auswählen, die hohen Standards genügen: Qualität und Verlässlichkeit der Ergebnisse, Transparenz der Funktionsweise, Integrität der Datenverarbeitung, Einhaltung von Datenschutz und Vertraulichkeit, Respektierung von geistigen Eigentumsrechten und ein vertretbarer ökologischer Fußabdruck des Tools sollten Kriterien bei der Tool-Auswahl sein.
• Transparenz von Antragstellenden einfordern: Die Leitlinien empfehlen Förderinstitutionen, Offenheit im Umgang mit KI auch von jenen zu verlangen, die Fördermittel beantragen. In der Praxis sollten Antragsformulare oder -richtlinien so angepasst werden, dass Forschende angeben müssen, ob und wie sie generative KI wesentlich genutzt haben, um ihren Antrag oder das geplante Forschungsvorhaben vorzubereiten. Zum Beispiel könnten Antragstellende erklären, wenn KI-Tools bei der Literaturrecherche, Hypothesenfindung oder Datenanalyse eine größere Rolle gespielt haben. Ebenso sollten sie darlegen, welche Rolle KI im geplanten Projekt spielen wird. Diese Angaben helfen den Gutachtern, den Einsatz von KI im Kontext der vorgeschlagenen Forschung einzuschätzen. Wichtig ist, dass Förderorganisationen gleichzeitig ein Vertrauensklima schaffen: Forschende dürfen keinen Nachteil befürchten, wenn sie KI-Nutzung transparent machen.
• Beobachtung und Bildung unterstützen: Angesichts des schnellen Fortschritts im Bereich KI sollten Förderorganisationen kontinuierlich die Entwicklung der Technologien und deren Auswirkungen auf die Wissenschaft beobachten und proaktiv mitgestalten. Konkret können sie Programme auflegen oder finanziell unterstützen, die der Weiterbildung von Forscherinnen und Forschern in Bezug auf ethischen und effektiven KI-Einsatz dienen. Die Förderung von Workshops, Kursen oder neuen Studienprogrammen zum Thema KI in der Wissenschaft zählt ebenso dazu wie die Unterstützung von Forschungsprojekten, die die Folgen von KI auf Forschungsprozesse untersuchen. Die aktive Einbindung in die KI-Landschaft – etwa durch Teilnahme an Arbeitsgruppen, Konferenzen oder Konsultationen zum Thema KI in der Forschung – ermöglicht es Förderern, die Rahmenbedingungen für einen zukunftsfähigen und verantwortungsvollen Wissenschaftsbetrieb mitzugestalten.

Das Dokument im Original