Abschnittsübersicht

    • Herzlich willkommen zum Selbstlernkurs „Künstliche Intelligenz im Schulalltag: Der EU AI Act und praxisnahe Handlungsempfehlungen”!

       

      Der EU AI Act ist die erste umfassende Regulierung künstlicher Intelligenz (KI) weltweit. Sie ist am 1. August 2024 in Kraft getreten, wobei die meisten Regelungen ab dem 2. August 2026 gelten.

       

      Im Rahmen des KI-Pilotprojekts „KIMADU” (Künstliche Intelligenz im Mathematik- und Deutschunterricht) an Schulen in NRW gibt Schulministerin Dorothee Feller folgendes Statement: „[...] KI hat großes Potential für das Lehren und Lernen und wird aus dem Alltag unserer Schülerinnen und Schüler nicht mehr wegzudenken sein. Deswegen ist es wichtig, dass wir in der Schule innerhalb eines klaren Rahmens den sinnvollen Einsatz von KI erproben. Der Einsatz von KI wird eine Lehrkraft niemals ersetzen können, kann aber den Unterricht ergänzen. [...] Neben allen Chancen ist es wichtig, dass Schülerinnen und Schüler von Beginn an reflektiert mit den neuen Möglichkeiten umgehen und sich auch der Grenzen bewusst sind.”

       

      Zielgruppen des Kurses
      • Lehrkräfte
      • Schulleiterinnen und Schulleiter
      • Pädagogische Fachkräfte

       

      Ziele des Kurses
      • Begriffsklärung Künstliche Intelligenz und deren Anwendungen in der Schule
      • Verständnis des EU AI Acts und seiner Auswirkungen auf den Bildungsbereich
      • Vermittlung von praxisnahen Handlungsempfehlungen für den Einsatz von KI in Schulen
      • Vorstellung von datenschutzfreundlichen lokalen Chatbots wie GPT4All
    • Künstliche Intelligenz

      Künstliche Intelligenz (KI) bezeichnet Programme oder Systeme, die Aufgaben übernehmen können, für die normalerweise menschliches Denken erforderlich ist. Dazu gehören beispielsweise das Erkennen von Bildern oder Sprache, das Treffen von Entscheidungen oder das Lösen von Problemen.

      KI wird zunehmend auch integraler Bestandteil moderner Schulentwicklung.

      KI-basierte Chatbots wie ChatGPT, Copilot und Gemini assistieren schon jetzt beim

      • Erstellen und Lösen von Arbeitsblättern
      • Arrangieren von Lernsituationen
      • Verfassen von Elternbriefen
      • Erstellen von Grafiken anhand vorgegebener Daten
      • Erzeugen von Bildern
      • Generieren von HTML-Code samt Inhalt für die Schulhomepage
      • ...

       

      Darüber hinaus ist KI schon seit längerer Zeit im Einsatz bei 

      • Spam-Filtern in E-Mail-Postfächern 
      • Systemen zur automatisierten Erstellung von Stundenplänen unter Berücksichtigung von Lehrerverfügbarkeiten, Raumressourcen, Schülergruppen
      • Texterkennungssystemen (OCR) zur Umwandlung handschriftlicher oder gedruckter Inhalte in digitale Texte für Auswertung, Barrierefreiheit oder Archivpflege 
      • Spracherkennungssystemen zur Umwandlung von gesprochenen Inhalten in digitale Texte für Auswertung oder Barrierefreiheit
      • ...

       

      Arbeitsweise von KI erläutert an zwei Beispielen

      Spamfilter

      Ein Spamfilter in einem E-Mail-Client wie Mozilla Thunderbird 🔗 basiert auf maschinellem Lernen, einem Teilgebiet der künstlichen Intelligenz. Zur Entwicklung eines solchen Filters wird ein Algorithmus mit einer großen Anzahl vorab klassifizierter E-Mails – sowohl Spam als auch legitime Nachrichten (Ham) – trainiert.

      Im Trainingsprozess analysiert der Algorithmus die Inhalte der E-Mails und identifiziert auf statistischer Basis wiederkehrende Muster. Dies erfolgt über Worthäufigkeitsanalysen mittels der Naive-Bayes-Methode 🔗, bei denen bestimmte Begriffe und deren Auftretenswahrscheinlichkeit in Spam- bzw. Ham-Nachrichten berechnet werden. Begriffe wie „Gratis“, „Kredit“ oder „Gewinn“ treten beispielsweise häufig in Spam-E-Mails auf und werden daher im Modell als Indikatoren für Spam gewichtet – allerdings erst nach dem Training. Der Algorithmus kennt diese Wörter nicht im Vorfeld, sondern „lernt“ ihre Bedeutung im Kontext durch die Trainingsdaten.

      Ein entscheidender Aspekt ist, dass das System nicht über feste Regeln, sondern über Wahrscheinlichkeiten arbeitet. Es kann daher auch auf benutzerspezifische Trainingsdaten reagieren. Markiert eine Nutzerin oder eine Nutzer beispielsweise regelmäßig dienstliche E-Mails als Spam, weil sie oder er diese nicht erhalten möchten, können auch Wörter wie „Meeting“ oder „Konferenz“ als spamtypisch klassifiziert werden.

      Die Fähigkeit, auf Basis von Beispieldaten eigenständig Klassifikationen durchzuführen und sich an neue Muster anzupassen, qualifiziert solche Spamfilter eindeutig als Anwendung künstlicher Intelligenz.

      Chatbots mit textgenerierender KI

      Die erste ChatGPT-Version von OpenAI, veröffentlicht im November 2022, basiert auf dem Sprachmodell GPT-3.5, einer weiterentwickelten Variante von GPT-3 aus dem Jahr 2020.

      Im Zusammenhang mit der Veröffentlichung von GPT-3 hat OpenAI bereits 2020 ein wissenschaftliches Paper 🔗 publiziert, in dem das Training mit den verwendeten Daten dokumentiert ist: Das Modell ist mit frei zugänglichen Textquellen trainiert worden, darunter CommonCrawl 🔗 (60 %), WebText2 (22 %), digitalisierte Bücher (16 %) sowie die englischsprachige Wikipedia (3 %). Letztere allein hat zu diesem Zeitpunkt rund 2,3 Milliarden Wörter umfasst.

      Sowohl im Trainingsprozess als auch bei der späteren Nutzung des Modells werden Texte in sogenannte Tokens zerlegt – kleinste Spracheinheiten, die typischerweise aus Wortsilben, Wortteilen oder kurzen Wörtern bestehen. Diese Tokenisierung 🔗 bildet die Grundlage für sämtliche Rechenoperationen im Modell.

      Während des Trainings analysiert das Modell große Mengen solcher Tokens, um Muster, Zusammenhänge und Wahrscheinlichkeitsverteilungen zu erlernen. Bei der späteren Anwendung – also wenn eine Benutzerin oder ein Benutzer eine Eingabe macht – generiert das Modell seine Antwort Token für Token. Dabei prognostiziert es jeweils das wahrscheinlichste nächste Token basierend auf dem bisherigen Kontext. Um die Ausgabe natürlicher und weniger deterministisch zu gestalten, wird nicht immer das wahrscheinlichste Token gewählt – gelegentlich wird gezielt ein weniger wahrscheinliches Token ausgewählt, um die Ausdrucksstärke zu erhöhen.

      Als Beispiel wird nun die Benutzereingabe (Prompt) „Welche Farbe entsteht, wenn ich Grün und Blau mische?” betrachtet:

      1. GPT-3 sucht nun das nächste Token basierend auf der Eingabe: „Welche Farbe entsteht, wenn ich Grün und Blau mische? ...”
        Mögliche Token, die für GPT-3 in Frage kommen, sind „Die”, „Wenn” und „Falls”. GPT-3 wählt zufällig „Wenn
        Der Text wird um das gewählte Token ergänzt: „Welche Farbe entsteht, wenn ich Grün und Blau mische? Wenn

      2. Das gewählte Token wird wieder Teil der nächsten Tokensuche: „Welche Farbe entsteht, wenn ich Grün und Blau mische? Wenn ...”
        Mögliche Token, die für GPT-3 in Frage kommen, sind „Sie”, „Du”, „wir”. GPT-3 wählt zufällig „Sie
        Die Eingabe wird um das gewählte Token ergänzt: „Welche Farbe entsteht, wenn ich Grün und Blau mische? Wenn Sie

      3. Das gewählte Token wird wieder Teil der nächsten Tokensuche: „Welche Farbe entsteht, wenn ich Grün und Blau mische? Wenn Sie ...”
        Mögliche Token sind „Grün”, „Blau”, „die”. GPT-3 wählt zufällig „Grün
        Die Eingabe wird um das gewählte Token ergänzt: „Welche Farbe entsteht, wenn ich Grün und Blau mische? Wenn Sie Grün



      Dieser iterative Prozess wiederholt sich, bis eine bestimmte Zahl an Token erreicht und dann ein Punkt gesetzt wird.

      Aufgrund der zufälligen Wahl des Tokens kann man beobachten, dass ChatGPT, das 2022 das verbesserte GPT-3.5 Modell benutzt, bei drei Anfragen mit derselben Frage unterschiedliche Sätze generiert, die sich in Ihrer Aussage qualitativ leicht unterscheiden:

      • „Wenn Sie Grün und Blau mischen, erhalten Sie Cyan (auch Türkis genannt), vorausgesetzt, Sie arbeiten mit additiver Farbmischung.”
      • „Wenn Sie Grün und Blau mischen, entsteht im Allgemeinen die Farbe Cyan (auch als Türkis bekannt).”
      • „Wenn Sie Grün und Blau mischen, ergibt sich in der Regel ein Cyan- oder Türkiston, abhängig vom jeweiligen Mischverhältnis und den genutzten Farbsystemen.”

       

      Dr. Doris Weßels in einem Vortrag über ChatGPT im Ministerium für Schule und Bildung 🔗

      Schon diese vereinfachte Darstellung der Funktionsweise von GPT-3 hilft, die nachfolgende Kritik an textgenerierender KI zu verstehen.

      Kritik an Chatbots mit textgenerierender KI

      In der Veröffentlichung „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?” von Bender et al. (2021) 🔗 wird Kritik an Chatbots mit Sprachmodellen wie GPT-3 zusammengefasst in diesen fünf Punkten geübt: 

      1. Stochastic Parroting 
        Die Funktionsweise von Sprachmodellen bleibt weitgehend intransparent, insbesondere wenn diese - wie zuvor gezeigt - zufälligen Text generieren. Der Begriff stochastic parrot (stochastischer Papagei) ist dabei eine Metapher, die beschreibt, dass große Sprachmodelle zwar in der Lage sind, plausibel wirkende Sprache zu erzeugen, jedoch die Bedeutung der von ihnen verarbeiteten Sprache nicht verstehen. Bei der Generierung von Text kann es durch die zufällige Wahl des nächsten Tokens zu Halluzinationen und fehlerhaften Aussagen kommen:

        ChatGPT 4o ist nicht in der Lage die dritte Wurzel aus 57 anzugeben.

        Selbst die neuste Version von ChatGPT gibt die dritte Wurzel aus 57 
        nicht korrekt an, da diese nicht berechnet, sondern zufällig generiert wird.

      2. Datenschutzprobleme
        Große Sprachmodelle werden mit allen allgemein verfügbaren Daten aus dem Internet (z.B. CommonCrawl) trainiert. Dort finden sich auch personenbezogenen Daten. Diese Daten können die Sprachmodelle dann auf Anfrage wiedergeben. 
      3. Statische Momentaufnahmen
        Sprachmodelle basieren auf statischen Daten, wodurch sie nicht mit gesellschaftlichen Veränderungen Schritt halten können. Der Begriff „value-lock“ wird verwendet, um zu beschreiben, dass veraltete oder exkludierende Weltanschauungen im Modell fixiert werden.
      4. Datenverzerrung
        Große Trainingsdaten (z. B. Common Crawl) überrepräsentieren tendenziell hegemoniale Sichtweisen, unterrepräsentieren marginalisierte Gruppen und verstärken so Verzerrungen und Diskriminierungen. Außerdem ist GTP-3 mit überwiegend englischsprachigen Texten trainiert worden, was dann zu Ausgaben mit englischsprachiger, eher westlicher Weltsicht führt. 
      5. Umweltkosten
        Sowohl das Training als auch die Benutzung eines großen Sprachmodells hat einen enormen Energieverbrauch zur Folge. 
        Für das Training von GPT-3 geht man von einem CO2-Äquivalent von 552 Tonnen 🔗 aus, dem etwa 100 Äquatorumrundungen mit einem Mittelklassewagen entsprechen.
        Über die Umweltkosten einer Benutzeranfrage an GPT‑3 existieren verschiedene Schätzungen – häufig wird die Energie einer Google-Suchanfrage (~0,3 Wh) als Referenz herangezogen. Während verschiedene Medienberichte einen zehnfach höheren Verbrauch im Vergleich zu einer Google-Suche ansetzen, liefert Vanderbauwhede in einer Veröffentlichung von 2025 🔗 eine modellübergreifende Analyse: Demnach benötigen KI-gestützte Suchanfragen – basierend etwa auf GPT‑3‑ähnlichen BLOOM-Modellen – etwa 60‑fach mehr Energie als herkömmliche Web-Suchen.
         

      Seit 2021 hat sich die Landschaft großer Sprachmodelle weiterentwickelt, wobei Fortschritte in verschiedenen Bereichen erzielt wurden:

      1. Statische Momentaufnahmen
        Einige Modelle integrieren jetzt Mechanismen zur Aktualisierung ihres Wissens, z. B. durch Retrieval-Augmented Generation (RAG), wobei aktuelle Informationen aus externen Quellen abgerufen werden. Dennoch bleibt das zugrunde liegende Modell auf dem Stand seiner letzten Trainingsdaten.
      2. Datenverzerrung
        Es gibt verstärkte Bemühungen, Trainingsdaten zu diversifizieren und zu kuratieren, um Verzerrungen zu reduzieren. Trotzdem spiegeln viele Modelle weiterhin die Vorurteile ihrer Trainingsdaten wider, was zu problematischen Ausgaben führen kann.
      3. Umweltkosten
        Es wurden effizientere Trainingsmethoden entwickelt, wie z. B. sparsames Training und spezialisierte Hardware, um den Energieverbrauch zu reduzieren. 
        Eine typische Anfrage (Prompt) bei ChatGPT-4o verbraucht nach einer aktuellen Studie etwa 0,3 Wattstunden, mit denen eine 10 Watt LED Lampe für 108 Sekunden betrieben werden könnte.

        Übersicht der Energieverbräuche von unterschiedlichen ChatGPT Anfragen
        Dennoch bleibt der Ressourcenbedarf für das Training und die Anfragen großer Modelle erheblich. Vor allem wenn man bedenkt, dass ChatGPT nach Angaben von OpenAI 🔗 allein in der EU zwischen Oktober 2024 und März 2025 durchschnittlich im Monat 41,3 Millionen aktive Benutzerinnen und Benutzer hat. 

       

       

      Fazit

      Es ist verlockend, KI-Lösungen blind zu vertrauen: Sie generieren sekundenschnell scheinbar sehr fundierte Antworten und greifen auf ein breites Spektrum menschlichen Wissens zurück. Doch genau dieses Vertrauen birgt das Risiko, von KI irreführende Inhalte zu erhalten.

      Ein effektiver Schutz entsteht durch transparente Einblicke in die Funktionsweise von KI – insbesondere durch das Verständnis, dass

      • KI-Modelle auf Trainingsdaten basieren,
      • eine verantwortliche Instanz die Auswahl dieser Daten vorgibt,
      • die Datenverantwortlichen dadurch wesentliche Einfluss- und Entscheidungskompetenz besitzen,
      • die herangezogenen Trainingsdaten systematische Fehleinschätzungen (Bias) oder Fehler enthalten können.


      Diese Erkenntnis löst die Illusion auf, KI sei eine autonome „intelligente Maschine“. Vielmehr handelt es sich um ein strategisches Business-Tool – leistungsfähig, aber nicht allwissend oder unfehlbar.

    • Selbsttest: KI im Schulalltag

       

       

    • Zielsetzung der Verordnung

      Der EU AI Act möchte einerseits Entwicklung und Verwendung von KI-Tools/-Systemen fördern anderseits auch Schutz vor potentiellen Risiken beim Einsatz von KI Systemen bieten. (🔗 AI Act Art. 1) KI-Systeme sollen sicher, transparent und ethisch eingesetzt werden.

      Die potentiellen Risiken von KI-Tools/-Systemen werden in die Kategorien „inakzeptabel”, „hoch”, „begrenzt” und „gering” eingeordnet. Es ist aber immer zu beachten, dass beim Arbeiten mit einem KI-Tool/-System die Datenschutzgrundverordnung (DSGVO) und das Urheberrecht gelten.

      Wesentlich für Bildungseinrichtungen ist auch die Forderung nach KI-Kompetenz von Lernenden und Lehrkräften.

      KI-Kompetenz

      Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind.” (🔗 AI Act Art. 4)

      Nach einer Veröffentlichung von Laupichler et al. (2023) 🔗 wurde ein Item-Set zur Bewertung der KI-Kompetenz von Nicht-Experten entwickelt. Diese Items können den folgenden Faktoren zugeordnet werden (Table 1: List of all variables sorted by factors based on the three-factor promax Model):

      1. Grundverständnis von KI (Technical Understanding):
        Items, die sich auf das grundlegende Verständnis von KI beziehen, wie z. B. die Fähigkeit, zu beschreiben, was KI ist, oder zu erklären, wie maschinelles Lernen funktioniert.
      2. Kritische Einordnung von KI (Critical Appraisal):
        Items, die auf die Fähigkeit zur kritischen Reflexion über die Auswirkungen von KI auf Individuen und die Gesellschaft Bezug nehmen. Dabei sollten die Chancen und Risiken bekannt sein.
      3. Praktische Anwendung von KI (Practical Application):
        Items, die sich auf die Fähigkeit beziehen, KI-Anwendungen im Alltag zu erkennen und zu nutzen, wie z. B. die Benennung von Anwendungen, in denen KI-gestützte natürliche Sprachverarbeitung verwendet wird.

         

      Diese Faktoren finden sich im Dagstuhl-Dreieck der Gesellschaft für Informatik aus dem Jahr 2016 🔗 mit folgenden drei Perspektiven auf die Bildung in der digitale Welt wieder:

      1. Technologische Perspektive: Wie funktioniert das? 
      2. Gesellschaftliche und kulturelle Perspektive: Wie wirkt das?
      3. Anwendungsbezogene Perspektive: Wie nutze ich das?

         

       

      Bildung in der digitalen vernetzen Welt - Erklärung des Dagstuhl-Dreiecks
      von Dr. Ira Diethelm auf YouTube (CC-BY) 

      Zu den drei Perspektiven des Dagstuhl‑Dreiecks lassen sich Bezüge zu den Digitalen Schlüsselkompetenzen der beruflichen Bildung 🔗 (Informatische Grundkenntnisse, Medienkompetenz, Anwendungs-Know-How) sowie auch zum Medienkompetenzrahmen NRW 🔗 herstellen.

      In allen didaktischen Jahresplänen der Berufskollegs sollten die jeweiligen Schlüsselkompetenzen durch eine farbliche Markierung zu finden sein. Die Lehrpläne der Allgemeinbildenden Schulen (Primarstufe und Sekundarstufe I) orientieren sich am Medienkompetenzrahmen NRW. 

      Daher sind die Schulleitungen verantwortlich, sich selbst und die Schulgemeinschaft hinsichtlich der KI-Kompetenz fortzubilden. Dies kann über diesen Kurs hinaus auch mit den folgenden kostenfreien Kursen des Hasso-Plattner-Instituts geschehen:

      • Chat-GPT: Was bedeutet generative KI für unsere Gesellschaft 🔗
      • KI-Biases verstehen und vermeiden 🔗
      • KI und Datenqualität - Perspektiven aus Data Science, Ethik, Normung und Recht 🔗

      Risikobewertung eines KI-Systems/-Tools

      • Inakzeptables Risiko?
        Fällt der Anwendungsfall des Tools/Systems unter die verbotenen KI-Praktiken? (🔗 AI Act Art. 5)
        Beispiele für KI-Tools/-Systeme mit inakzeptablem Risiko:
        • Einsatz von KI zur manipulativen Beeinflussung von Schülerverhalten (z.B. unterschwellige Hinweise, emotionale Ansprache, um Schülerinnen und Schüler politisch zu beeinflussen oder zu einer Kaufentscheidung zu bewegen)
        • Ausnutzung von Vulnerabilitäten (z.B. Ausnutzung der Leichtgläubigkeit/Naivität jüngerer Schülerinnen und Schülern)
        • Fortlaufende soziale Bewertung von Schülerinnen und Schülern (Social Scoring)​
        • Fortlaufende biometrische Fernüberwachung an der Schule (z.B. Emotionserkennung im Klassenzimmer durch Kameras)​

      • Wenn Ja: Risikokategorie = Inakzeptabel ⇒ Einsatz verboten
      • Wenn Nein: ⇒ weiter zu Hohes Risiko?


      • Hohes Risiko?
        Fällt der Anwendungsfall des Tools/Systems in die Kategorie Hohes Risiko? (🔗 AI Act Art. 6)
        Beispiele für Hochrisiko-KI in Schulen (🔗 AI Act Annex III Nr. 3):
        • KI-System zur Entscheidung über Zugang/Zulassung zu einer Bildungseinrichtung (z.B. automatisierte Auswahl in Bewerbungsverfahren)​
        • KI-System zur Bewertung von Lernleistungen oder zur Notenfindung (z.B. automatisierte Leistungsbeurteilung, die den Lernprozess steuert)​
        • KI-System zur Einstufung des Bildungsniveaus oder zur Zuweisung in Schulformen/Kurse (z.B. automatisierte Bestimmung der Förderung, die eine Schülerin oder ein Schüler erhält)​
        • KI-System zur Überwachung von Prüfungen (automatisierte Aufdeckung von Täuschungsversuchen in Tests/Klausuren)​

      • Wenn Ja: Risikokategorie = Hohes Risiko. ⇒ Der Einsatz ist nur zulässig, wenn strenge Auflagen erfüllt werden:
        • Nutzung gemäß Anleitung: Betreiber müssen das KI-System entsprechend den mitgelieferten Anweisungen und dem bestimmungsgemäßen Zweck einsetzen (Art. 26 Abs. 1).
        • Menschliche Aufsicht sicherstellen: Es muss gewährleistet sein, dass ausreichend qualifizierte Personen die notwendige menschliche Aufsicht ausüben (Art. 26 Abs. 2).
        • Geeignete Dateneingaben: Soweit Betreiber Daten einspeisen, müssen diese für den vorgesehenen Zweck geeignet und qualitätsgesichert sein (Art. 26 Abs. 4).
        • Überwachung und Meldepflicht: Die Nutzung ist zu überwachen und bei schwerwiegenden Vorfällen oder Risiken besteht eine Meldepflicht gegenüber Anbieter/Händler und Marktüberwachungsbehörde – gegebenenfalls Nutzung aussetzen (Art. 26 Abs. 5).
        • Protokollierung und Aufbewahrung: Relevante Protokolldaten, die das System automatisch erzeugt, sind mindestens sechs Monate datenschutzkonform aufzubewahren (Art. 26 Abs. 6).
        • Informationspflicht am Arbeitsplatz: Vor dem Einsatz am Arbeitsplatz oder gegenüber Betroffenen (z. B. Schüler) besteht Informationspflicht (Art. 26 Abs. 7).
        • Datenschutz-Folgenabschätzung (DSFA): Soweit erforderlich, ist eine DSFA gemäß DSGVO durchzuführen (Art. 26 Abs. 9 in Verbindung mit DSGVO). Bei KI-Nutzung auf Ebene einer Einzelschule und der Vorgabe, keine personenbezogene Daten in das KI-Tool einzugeben (s.u.), besteht in der Regel keine Verpflichtung der Schulleitung, eine DSFA durchzuführen. 
        • Auskunfts- und Kooperationspflicht gegenüber Behörden: Betreiber müssen bei Anfragen Auskunft geben und mit Behörden kooperieren (Art. 26 Abs. 12).
        Die Datenschutzgrundverordnung (DSGVO) und das Urheberrecht müssen berücksichtigt werden.
      • Wenn Nein: ⇒ weiter zu Begrenztes Risiko?


      • Begrenztes Risiko?
        Fällt der Anwendungsfall des Tools/Systems in die Kategorie Begrenztes Risiko? (🔗 AI Act Art. 50)
        Typische Fälle sind Systeme in direkter Interaktion mit Menschen oder KI-Generatoren von Inhalten, bei denen Nutzerinnen und Nutzer informiert sein müssen, dass die generierten Antworten von einer KI stammen​.
        Beispiele:
        • KI-Chatbot oder virtueller Tutor, der Schülerfragen beantwortet oder beim Lernen hilft (muss für Nutzerinnen und Nutzer als KI erkennbar sein)​
        • Generative KI zur Erstellung von Texten/Bildern für den Unterricht (hier ist offenzulegen, dass die Inhalte künstlich erzeugt sind).

      • Wenn Ja: Risikokategorie = Begrenztes Risiko ⇒ System zulässig, aber mit Transparenzauflage.
        Nutzerinnen und Nutzer müssen klar informiert werden, dass sie es mit einer KI zu tun haben​.
        Die DSGVO und das Urheberrecht müssen berücksichtigt werden.
      • Wenn Nein ⇒ weiter zu Geringes Risiko.


      • Geringes Risiko. Alle übrigen KI-Anwendungen fallen in die Kategorie Geringes Risiko: Solche Systeme haben kein nennenswertes Gefährdungspotential für Grundrechte oder Sicherheit der Betroffenen und unterliegen keinen speziellen Auflagen des AI Acts​. Es wird KI genutzt, ohne dass dies Einfluss auf Bildungserfolg oder Entscheidungsprozesse der Schülerinnen und Schüler hat.
        Beispiele:
        • Spam-Filter in lokalem E-Mail-Client (bspw. Thunderbird) zur E-Mail-Filterung
        • lokale Texterkennungssystemen (OCR) zur Umwandlung handschriftlicher oder gedruckter Inhalte in digitale Texte für Auswertung, Barrierefreiheit oder Archivpflege

      • Risikokategorie = Geringes Risiko. ⇒ Einsatz nach EU AI Act frei zulässig.
        Die DSGVO und das Urheberrecht müssen berücksichtigt werden.


      Datenschutzgrundverordnung (DSGVO)

      • Verarbeitung personenbezogener Daten
        Personenbezogene Daten sind alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen. Als identifizierbar wird eine natürliche Person angesehen, die direkt oder indirekt identifiziert werden kann. Beispiele für eine direkte Identifizierbarkeit sind der Name oder ein Foto. Eine indirekte Identifizierbarkeit liegt vor, wenn die Information nur mit dem Zusatzwissen eines Dritten für die Identifizierung ausreicht. Beispiele sind die Telefonnummer, aber auch eine IP-Adresse, die mit dem Zusatzwissen des Internetserviceproviders einem Anschlussinhaber zugeordnet werden kann.

        Sensible personenbezogenen Daten sind in Art. 9 DSGVO geregelt und umfassen besonders schutzwürdige Daten, aus denen die ethnische Herkunft, politische Meinungen, religiöse oder weltanschauliche Überzeugungen oder die Gewerkschaftszugehörigkeit hervorgehen, sowie genetische Daten, biometrische Daten zur eindeutigen Identifizierung einer natürlichen Person, Gesundheitsdaten oder Daten zum Sexualleben oder der sexuellen Orientierung einer natürlichen Person. Die Verarbeitung sensibler Daten ist grundsätzlich verboten, es sei denn es liegt eine ausdrückliche Einwilligung oder eine Rechtsgrundlage aus Art. 9 DSGVO vor.

        Hinsichtlich der Verarbeitung personenbezogener Daten gilt:
        • Keine Eingabe personenbezogener Daten in die KI-Anwendung.
          Personenbezogene Daten könnten allenfalls im Zuge der Einrichtung des Zugangs/Nutzungskontos o.ä. anfallen.
          Um eine Weitergabe personenbezogener Daten zu vermeiden, sollten KI-Tools immer über die schulischen bzw. dienstlichen Endgeräte und über das schulische WLAN genutzt werden. 
        • Verarbeitung: Jede Verarbeitung (inkl. Eingabe, Verarbeitung durch die KI und Weiterverarbeitung der Ausgabe) muss auf einer der in Art.  6 DSGVO 🔗 genannten Rechtsgrundlagen basieren (§§ 120, 121 SchulG; u.U. Einwilligung).
        • Minimierung der Speicherdauer: Die Daten sind nur so lange zu speichern, wie das für den Verarbeitungszweck erforderlich ist.
        • Datensparsamkeit: Es sind nur die Daten zu verarbeiten, die unbedingt erforderlich sind.
        • Rechenschaftspflicht: die Einhaltung der datenschutzrechtlichen Vorgaben ist zu dokumentieren.

      • Datenübermittlung in Drittländer
        • Bei der Nutzung von ChatGPT (OpenAI), Gemini (Google) oder Copilot (Microsoft) kann es zu einer (teilweisen) Datenübermittlung in die USA – einem sogenannten Drittland außerhalb des Europäischen Wirtschaftsraums – kommen. Es muss geprüft werden, ob die datenschutzrechtlichen Bedingungen hierfür erfüllt sind, insbesondere ein angemessenes Datenschutzniveau vorliegt (z. B. durch das EU-U.S. Data Privacy Framework oder Standardvertragsklauseln).

      • Informationspflichten und Transparenz
        • Nutzerinnen und Nutzer (z. B. Lehrkräfte und Lernende) müssen informiert werden, wenn ihre Daten durch eine KI verarbeitet werden – inklusive Zweck, Umfang, Empfänger, Speicherdauer.

       

      Urheberrecht

      • Eingabe von urheberrechtlich geschütztem Material
        • Texte, Bilder, Codes oder andere Inhalte dürfen nur dann eingeben werden, wenn die erforderlichen Rechte bei der Nutzerin oder dem Nutzer liegen.
        • Die Weitergabe geschützter Inhalte an KI-Systeme kann eine unzulässige Vervielfältigung darstellen (🔗 § 16 UrhG).

      • Ausgaben der KI
        • KI-generierte Inhalte gelten im deutschen Recht grundsätzlich nicht als urheberrechtlich geschützt, da es an der menschlichen Schöpfungshöhe fehlt (🔗 § 7 UrhG).
        • Das bedeutet: Die Werke können nicht als geistiges Eigentum des Nutzers geschützt werden.
        • Umgekehrt kann man fremde KI-generierte Inhalte in der Regel verwenden – sofern keine Rechte Dritter (Marken, Persönlichkeitsrechte etc.) verletzt werden.

      • Plagiatsrisiken und Stilkopien
        • Die KI kann stilistisch oder inhaltlich Texte erzeugen, die bestehenden Werken ähneln. Dies kann urheberrechtlich relevant sein, insbesondere bei „engen Stilkopien“ oder paraphrasierenden Abschriften.

      • Lizenz- und Nutzungsbedingungen
        • Bei der Nutzung von KI-generierten Inhalten sollte auf die Nutzungsbedingungen des Anbieters geachtet werden. OpenAI räumt z. B. in der Regel ein einfaches, nicht-exklusives Nutzungsrecht an den generierten Inhalten ein.
    • Selbsttest: EU AI Act

    • Dieser Leitfaden dient als Orientierung für einen pädagogisch verantwortungsvollen, reflektierten und regelkonformen Einsatz von Chatbots mit textgeneriernder KI im schulischen Umfeld. Größtenteils kann er aus den Erkenntnissen der ersten beiden Kacheln dieses Kurses hergeleitet werden. Es finden sich auch Empfehlungen aus dem Handlungsleitfaden zum „Umgang mit textgenerierenden KI-Systemen” 🔗 wieder.

      Nutzungsregelungen und Altersfreigaben

      Die Nutzung von KI-Anwendungen unterliegt den jeweiligen Altersfreigaben und Nutzungsregelungen der Anbieter. 
      Exemplarisch sind hier die Altersfreigaben von drei Anbietern genannt:

      • ChatGPT: Der Einsatz ist grundsätzlich erst ab 18 Jahren zulässig. Jugendliche ab 13 Jahren dürfen die Anwendung nutzen, sofern eine ausdrückliche Zustimmung der Erziehungsberechtigten vorliegt.
      • Gemini AI: Diese Plattform ermöglicht sogar Kindern unter 13 Jahren den Zugriff, sofern die Nutzung über ein Android-Gerät erfolgt und durch das Family Link-System der Eltern kontrolliert wird.

      Datenschutz und Vermeidung der Eingabe sensibler Daten

      Beim Umgang mit KI-Anwendungen ist auf einen konsequenten Datenschutz zu achten:

      • Personenbezogene Daten dürfen keinesfalls in Prompts eingebunden werden. 
      • Dokumente sollten vor dem Hochladen in die KI-Anwendung auf Meta-Daten, die Rückschlüsse auf Autorenschaft oder andere personenbezogene Informationen zulassen könnten, überprüft werden. In allen Office-Produkten findet man bespielsweise unter Datei / Eigenschaften auf dem Reiter Zusammenfassung Informationen über den Autor. Beim Erstellen eines neuen Office-Dokuments setzt die Anwendung das Feld Autor in der Regel auf den in Office konfigurierten Benutzernamen – bzw. auf den Anzeigenamen des angemeldeten Microsoft-365-Kontos.
      • Eine altersangemessene Sensibilisierung der Lernenden für Datenschutzfragen ist regelmäßig durchzuführen. Dabei sollte nicht nur auf die DSGVO verwiesen werden, sondern auch auf die Tatsache, dass die Hersteller der Sprachmodelle möglicherweise die Eingaben der Nutzerinnen und Nutzer verwenden, um neue Sprachmodelle zu trainieren. Diese trainierten Sprachmodelle beinhalten dann die Eingaben der Nutzerinnen und Nutzer.

      Didaktische Verankerung

      KI-Anwendungen sollen gezielt in den Unterricht integriert werden:

      • Der Einsatz erfolgt ausschließlich für klar definierte, pädagogisch begründete Lernziele, um Ablenkungen zu minimieren.
      • Schülerinnen und Schüler sind darauf hinzuweisen, dass sie mit einer KI arbeiten, die Fehler machen, Informationen auslassen oder unpassende Inhalte generieren kann.
      • Die kritische Auseinandersetzung mit KI-Ergebnissen, deren Fehlern und Verzerrungen ist systematisch zu fördern.
      • Entsprechend des Dagstuhl-Dreiecks sind folgende Dimensionen verbindlich in den Unterricht einzubetten:
        • Technologische Perspektive: Funktionsweise der KI verstehen
        • Gesellschaftlich-kulturelle Perspektive: Reflexion gesellschaftlicher Auswirkungen von KI
        • Anwendungsbezogene Perspektive: Möglichkeiten und Grenzen der Nutzung kennen und anwenden

      • Ziel ist die Förderung von Reflexionsfähigkeit, Problemlösekompetenz sowie kritischem Denken und Hinterfragen der KI-Ergebnisse.

      Transparenz, Nachvollziehbarkeit und Sanktionen bei mit KI unterstützten Arbeiten

      • Alle durch KI unterstützten Arbeiten (z. B. Haus- oder Projektarbeiten) müssen klar mit Angabe der verwendeten Tools und Prompts gekennzeichnet werden.
      • Der Entstehungsprozess ist zu dokumentieren, um Nachvollziehbarkeit und Transparenz sicherzustellen.
      • Verstöße gegen die Kennzeichnungspflicht sind als Täuschungsversuche zu werten.
      • Die Nutzung von KI-Anwendungen während Prüfungen − sofern diese nicht zugelassen sind − wird als Täuschungsversuch gewertet.
      • Bei Täuschungsversuchen finden die einschlägigen Regelungen von APO-SI § 6 (7), APO-GOSt § 13 (6) und APO-BK § 20 Anwendung.

      Information der Eltern und Ausbildungsverantwortlichen

      • Die Information der Eltern und ggf. Ausbildungsverantwortlichen über den Einsatz von KI im Unterricht ist frühzeitig und transparent vorzunehmen.
      • Unsicherheiten bei den Beteiligten sind durch Aufklärung über Chancen und Risiken auszuräumen.
      • Ziel ist es, Vertrauen zu schaffen und die verantwortungsvolle Integration von KI in Schule und Unterricht nachvollziehbar zu gestalten.

      Leistungsbewertung unter Einbeziehung von KI

      • KI kann unterstützend von den Lehrkräften zur Korrektur eingesetzt werden. Dabei dürfen keinesfalls personenbezogene Daten der Schülerinnen und Schüler übertragen werden.
      • Anwendungen, die die automatisierte Bewertungen von Arbeiten ermöglichen, fallen laut EU AI Act in die Kategorie Hohes Risiko und sind nur unter strengen Auflagen und voller Transparenz zulässig.
      • Die Bewertungshoheit verbleibt zu jeder Zeit bei der Lehrkraft, die sich ein eigenes Bild von den Leistungen verschafft.
      • Die Leistungsbewertung von Arbeiten, die mit Unterstützung von KI erstellt worden sind, sollte sich an folgenden Kriterien orientieren:
        • Dokumentation und Reflexion der Lern- und Arbeitsprozesse durch die Lernenden
        • Kritische Analyse und Weiterentwicklung von KI-generierten Inhalten
        • Mündliche Prüfungsformate zur Überprüfung von Verständnis und Anwendungskompetenz

      Sicherstellung verantwortungsbewusster Nutzung

      • Die Nutzung von KI ist ausschließlich für schulische Lernzwecke gestattet.
      • Es ist strengstens untersagt, KI zur Generierung oder Verbreitung von beleidigenden, diskriminierenden, gewaltverherrlichenden, rassistischen oder anderen gesetzeswidrigen Inhalten zu verwenden.
      • Verstößt eine Schülerin oder ein Schüler gegen die festgelegten Nutzungsregeln, stellt dies eine Pflichtverletzung dar, die erzieherischen Einwirkungen oder bei schweren und wiederholten Verletzungen sogar Ordnungsmaßnahmen (§ 53 Schulgesetz NRW) nach sich ziehen kann.
      • Für den Einsatz von KI im Unterricht gilt: Gemäß § 57 Absatz 1 Schulgesetz NRW unterrichten, erziehen, beraten, beurteilen, beaufsichtigen und betreuen Lehrkräfte die Schülerinnen und Schüler in eigener Verantwortung. Insoweit obliegt es aufgrund deren pädagogischer Verantwortung der Entscheidung der Lehrkraft, inwieweit KI-Anwendungen in konkreten Unterrichtssituationen eingesetzt werden können.
    • Selbsttest: Umgang mit Chatbots

    • Lokale Chatbots - Datenschutzfreundliche Sprachmodellnutzung ohne Internetverbindung

      Lokale Chatbots ermöglichen die Ausführung großer Sprachmodelle (LLMs – Large Language Models) direkt auf dem eigenen Endgerät, ohne dass eine Verbindung zu externen Servern oder zur Cloud erforderlich ist.

      Vorteile und Einschränkungen

      Der zentrale Vorteil lokaler Chatbots liegt im Schutz sensibler Nutzerdaten: Keine Inhalte verlassen den Rechner, was insbesondere im schulischen oder unternehmensinternen Kontext sicherheitsrelevante Anforderungen erfüllt.

      Dem gegenüber stehen jedoch technische Einschränkungen:

      • Leistungseinbußen: Die Antwortzeiten sind im Vergleich zu Cloud-basierten LLMs signifikant langsamer.
      • Qualitative Begrenzungen: Lokale Modelle neigen verstärkt zu sogenannten Halluzinationen (faktenfreie oder unlogische Antworten).
      • Spezialisierung erforderlich: Die eingesetzten Modelle sind häufig thematisch fokussiert (z. B. auf Programmierung), was außerhalb dieses Fachgebiets zu suboptimalen Ergebnissen führen kann.

      Nichtsdestotrotz ist es technologisch bemerkenswert, dass Sprachmodelle lokal betrieben werden können.

      Anwendungsbeispiel für den Informatikunterricht

      Eine praxistaugliche Lösung stellt GPT4All dar – ein quelloffenes Chatbot-System, das lokal auf Windows 11, macOS und Linux ausgeführt werden kann. Schülerinnen und Schüler können damit den Aufbau, die Funktionsweise sowie die Grenzen moderner KI-Modelle realitätsnah und datenschutzkonform erkunden.

      Installationsvoraussetzungen
      • Arbeitsspeicher: Mindestens 16 GB RAM werden empfohlen (mehr ist vorteilhaft).
      • Betriebssysteme: Windows 11, macOS oder eine aktuelle Linux-Distribution.
      • Speicherplatz: Für Sprachmodelle sollten zusätzliche 5–10 GB Festplattenspeicher eingeplant werden.

      Installationsanleitung für GPT4All
      • Navigieren Sie zu https://www.nomic.ai/gpt4all.
      • Wählen Sie im Bereich Download die Version für Ihr Betriebssystem (Windows, macOS oder Linux).
      • Installation durchführen:
        • Windows/Linux: Installationsdatei ausführen und Anweisungen folgen.
        • macOS: Die App-Datei in den Ordner „Programme“ kopieren.
      • Öffnen Sie die Anwendung nach erfolgreicher Installation.

      Einrichtung eines Sprachmodells in GPT4All

      Nach dem Start der Anwendung ist die Auswahl und der Download eines geeigneten Modells notwendig:

      • Klicken Sie links auf das Menüsymbol "Models".
      • Wählen Sie ein Modell aus der Liste:
        • Für deutschsprachige Konversationen: EM German Mistral.
        • Für englischsprachige Kontexte oder Programmieraufgaben: Mistral Open Orca oder Reasoner V1.
      • Klicken Sie auf "Download". Der Download kann je nach Modellgröße einige Minuten dauern.

      Nutzung der Anwendung
      • Klicken Sie links auf das Menüsymbol "Chats".
      • Wählen Sie das gewünschte bereits heruntergeladene Modell aus.
      • Beginnen Sie die Konversation mit dem lokalen Sprachmodell.

    • Impressum            

      Ministerium für Schule und Bildung des Landes Nordrhein-Westfalen
      Völklinger Straße 49
      40221 Düsseldorf

      Telefon: 0211 5867-40
      Telefax: 0211 5867-3220
      E-Mail: poststelle@msb.nrw.de 
      Internetseite: www.schulministerium.nrw.de

      Bildmaterial

      Alle Kachelbilder auf der Startseite des Kurses sind von iStock.

      KI im Schulalltag: Shinsei Motions / iStock.com
      EU AI Act: Arsenisspyros / iStock.com
      Umgang mit Chatbots im Schulalltag: SolStock / iStock.com
      Lokale Chatbots: Pondsaksit / iStock.com
      Material: Jinda Noipho / iStock.com