Künstliche Intelligenz hat längst den Weg in unsere Schulen gefunden. Die Chancen für den Unterricht sind riesig, doch mit der Begeisterung wächst oft auch die Unsicherheit: Was darf ich eigentlich? Wo lauern rechtliche Fallstricke?
Um Lehrkräften und Schulleitungen mehr Sicherheit zu geben, werfen wir einen Blick auf die drei großen rechtlichen Säulen: den EU AI Act, die DSGVO und das Urheberrecht.
Der folgende Blogbeitrag basiert auf dem Besuch und den Ausführungen von Franziska Mauritz im FelloFish Forum am 09.12.2025. Ein Mitschnitt des Impulses ist hier abrufbar:
Der EU AI Act: Was kommt auf Schulen zu?
Mit dem "EU AI Act" (aka KI-Verordnung) schafft Europa gerade ein umfassendes Regelwerk für Produktsicherheit bei KI. Der Ansatz ist dabei pragmatisch und risikobasiert: Je gefährlicher der KI-Einsatz, desto strenger die Regeln. Im Bildungsbereich schauen wir hier besonders genau hin. KI-Systeme gelten nämlich dann als "hochriskant", wenn sie wesentliche Weichenstellungen im Leben von Schüler:innen übernehmen – etwa über Schulaufnahmen entscheiden, Abschlussnoten vergeben oder Prüfungen überwachen.
Doch es gibt Entwarnung für den alltäglichen Unterricht: Nicht jedes Tool ist gleich ein Hochrisiko-System. Der entscheidende Faktor ist der sogenannte "Human-in-the-Loop". Solange die Lehrkraft die Zügel in der Hand behält und die letzte Entscheidung trifft, fallen viele Anwendungen aus der Hochrisikokategorie heraus. Eine entscheidende Ausnahme greift nämlich dann, wenn die KI lediglich eine vorbereitende Aufgabe für eine Bewertung übernimmt. Ein Tool wie FelloFish beispielsweise, das Feedback gibt, aber keine Noten festlegt, belässt die Hoheit bei der Lehrkraft .
Wichtig ist dabei die Rollenverteilung. Rechtlich gesehen ist die Schule (bzw. der Schulträger oder die Schulleitung, je nach Bundesland) der "Betreiber" der KI, da dort die Entscheidungsgewalt über Einsatz und Finanzierung liegt. Schulen haben damit als Betreiber auch bestimmte Pflichten, abhängig vom Risikograd des KI-Systems. Sofern einer der genannten Hochrisiko-KI-Anwendungsfälle greift, müssen Schulen eine Reihe von Anforderungen erfüllen (siehe Abbildung 2):
Lehrkräfte hingegen agieren als Weisungsgebundene – solange sie sich an die Vorgaben der Schule halten.
Damit das Kollegium sicher agieren kann, wird KI-Kompetenz zur Pflicht: Schulen müssen sicherstellen, dass Lehrkräfte technisch, rechtlich und ethisch geschult sind. Eine solche jährliche Schulung ist nicht nur pädagogisch sinnvoll, sondern dient der Schule rechtlich als wichtiger Nachweis der Sorgfaltspflicht, um Haftungsrisiken zu minimieren (Enthaftung). Zudem sollten Schulen proaktiv eine interne KI-Richtlinie erstellen, um Klarheit zu schaffen und "Schatten-KI" zu vermeiden.
Datenschutz: Keine Angst vor der DSGVO
Der Datenschutz gilt oft als größte Hürde, doch mit dem richtigen Verständnis ist der Umgang mit KI gut zu bewältigen. Bei der Auswahl von KI-Tools und ihrem Einsatzzweck sollten für den datenschutzkonformen Einsatz folgende Aspekte beachtet werden:
Checkliste für den datenschutzkonformen Einsatz
- Rechtsgrundlage: Keine Datenverarbeitung ohne Rechtsgrundlage. Wenn die Verarbeitung von personenbezogenen Daten von Schüler:innen gesetzlich erlaubt ist, bedarf es keiner Einwilligung (z.B. § 120 SchulG NRW). In allen anderen Fällen benötigt man die Einwilligung der Schüler:innen, sowie bei Schüler:innen unter 16 Jahren die Einwilligung der Erziehungsberechtigten.
- AV-Vertrag: Mit externen Anbietern muss zwingend ein Auftragsverarbeitungsvertrag geschlossen werden. Dieser stellt sicher, dass personenbezogene Daten streng und ausschließlich nach Weisung der Schule verarbeitet werden.
- Kein Training der KI: Es muss vertraglich gesichert sein, dass eingegebene Daten nicht zum Training der KI-Modelle des Anbieters verwendet werden. Entscheidend ist hierbei die vertragliche Zusicherung (oft in Enterprise-Versionen), dass Daten nicht zum Training verwendet werden.
- Datenminimierung: Generell sollten nur so viele Daten von Schüler:innen wie nötig in das KI-Tool eingegeben werden. Pseudonymisierung wird dringend empfohlen.
- Drittlandtransfer & US-Anbieter: Es sollten KI-Anbieter gewählt werden, die die Daten innerhalb der EU hostet. Vorsicht ist außerdem bei Anbietern mit Sitz außerhalb der EU geboten. Hier muss genau geprüft werden, ob Maßnahmen zum Schutz der Daten getroffen wurden.
Ein häufiger Streitpunkt sind außerdem Anbieter aus den USA. Hier ist jedoch keine Panik angebracht, sondern Differenzierung. Es existiert ein Angemessenheitsbeschluss der EU-Kommission für die USA (das "Data Privacy Framework"). US-Anbieter wie Microsoft oder Google, die sich darunter zertifizieren lassen, bieten demnach prinzipiell ein Datenschutzniveau, das dem europäischen entspricht. Selbst wenn es keinen Angemessenheitsbeschluss gibt, können vertragliche Regelungen (sog. Standardvertragsklauseln) einen angemessenen Schutz der Daten gewährleisten.
Eine elegante technische Lösung für dieses Dilemma bieten sogenannte Proxy-Server. Hierbei steht ein Server in Deutschland oder der EU zwischen der Schule und dem KI-Anbieter (z.B. OpenAI). Dieser "Zwischenhändler" entfernt alle personenbezogenen Metadaten wie die IP-Adresse der Schüler:innen, bevor die Anfrage an die KI weitergeleitet wird. Beim KI-Anbieter kommen somit nur anonyme Textdaten an, die keine Rückschlüsse auf Personen zulassen.
Ein dringender Appell an alle Lehrkräfte: Bitte vermeiden Sie Alleingänge! Wenn Sie eigenmächtig Tools testen und dabei personenbezogene Schülerdaten eingeben, verlassen Sie den sicheren Rahmen der schulischen Weisung. Im Falle eines Datenlecks könnten Sie dann persönlich haftbar gemacht werden, da Sie rechtlich selbst zum "Betreiber" werden. Warten Sie daher immer auf die Freigabe durch die Schulleitung und geben Sie keine personenbezogenen Daten in die KI-Tools ein.
Urheberrecht: Was darf in die KI?
Schulbuchtexte
Beim Thema Urheberrecht befinden wir uns aktuell noch in einer Grauzone. Die Frage, ob man Texte aus Schulbüchern einscannen und in eine KI laden darf, um daraus Aufgaben zu generieren, ist heikel. Zwar gibt es Ausnahmen für den Unterricht, doch der aktuelle "Fotokopiervertrag" der Länder deckt das Einspeisen in KI-Systeme nicht explizit ab. Das könnte daran liegen, dass dieser Vertrag geschlossen wurde, bevor das Thema KI seine heutige Relevanz hatte, und er läuft noch bis 2027. Bis hier rechtliche Klarheit herrscht oder neu verhandelt wird, lautet die Empfehlung: Laden Sie keine Schulbuchtexte oder Materialien aus Arbeitsheften in KI-Systeme hoch. Das Risiko einer unzulässigen Vervielfältigung ist aktuell zu hoch. Aktuelle Informationen finden sich auf der Internetseite schulbuchkopie.de
Texte von Schüler:innen
Auch bei Texten von Schüler:innen gilt Vorsicht, denn auch Schüler:innentexte können Urheberrechtsschutz genießen, wenn sie eine gewisse "Schöpfungshöhe" erreichen (kreative Eigenleistung). Die meisten Schüler:innentexte dürften diese Schöpfungshöhe nicht besitzen, da im Unterricht oft eng gefasste Aufgabenstellungen erwartbare Textmuster provozieren.
Auf alle Fälle muss sichergestellt sein (via Nutzungsbedingungen), dass die Texte nicht zum Training der KI verwendet werden und alle personenbezogenen Daten vor der Eingabe in das KI-System entfernt wurden. Lehrkräfte sollten Schüler:innen daher vor der Nutzung des KI-Tools darauf hinweisen, dass keine personenbezogenen Daten eingegeben werden dürfen.
Umgang mit KI-Output
Immer mehr Lehrkräfte generieren Texte, Schaubilder, Aufgaben mit Sprachmodellen, um diese Materialien im Unterricht zu nutzen. Der Prompt der Lehrkräfte ist dabei entscheidend, ob ggf. in Rechte Dritter eingegriffen wird. Die KI weiß nicht, ob der Output in Rechte Dritter eingreift. Die Prompts des Nutzers steuern den Prozess und das Ergebnis. Der KI-Output kann vorbekannte Texte und Bilder enthalten, die urheberrechtlich geschützt sind. Laut einer aktuellen Gerichtsentscheidung des OLG München können KI-Outputs in die Urheberrechte von Dritten eingreifen. Aus diesem Grund sollten Lehrkräfte vermeiden, die KI aufzufordern, Stile, Werke etc. lebender Urherber:innen zu verwenden.
Fazit
Zusammenfassend lässt sich sagen: Nutzen Sie KI, aber nutzen Sie sie mit Bedacht. Schulleitungen sollten eine zentrale KI-Strategie entwickeln und ein Verzeichnis der eingesetzten KI-Tools führen. Setzen Sie auf geprüfte, DSGVO-konforme Tools mit Proxy-Lösungen, bilden Sie sich regelmäßig fort und verzichten Sie auf das Hochladen geschützter Lehrmaterialien. So können Sie die Vorteile der Technologie nutzen, ohne in rechtliche Fallen zu tappen.
Zur Autorin
Franziska Mauritz ist Rechtsanwältin mit dem Schwerpunkt Datenschutz und KI bei der Hamburger Datenschutzkanzlei.