Seit seiner Veröffentlichung Ende 2022 erfreut sich der Online-Service ChatGPT großer und stetig wachsender Beliebtheit. Auch zahlreiche andere Anbieter versuchen sich in diesem Geschäft. Wir wollten wissen, welcher Service im schulischen Kontext eigentlich der Beste ist und haben deshalb drei Chatbots geprüft.
Miguel, Nicolas, Felix, Nick, Luca, Joel und Simon aus Hürtgenwald (Nordrhein-Westfalen) testeten Chatbots.
Untersuchungsmethode
Untersucht haben wir drei gängige Chatbots in ihren kostenlosen Varianten: OpenAI ChatGPT, Google Bard und Microsoft Bing Chat (jetzt Microsoft Pilot), letzteren in seinen drei verschiedenen Konversationsmodi. Dabei haben wir folgende Kriterien berücksichtigt (in Klammern der Multiplikator, mit dem wir dieses Kriterium gewichtet haben):
- Korrektheit der Antworten (10): Die wohl wichtigste Eigenschaft eines Chatbots ist seine Fähigkeit, korrekte Antworten zu geben und Halluzinationen zu minimieren. Wir stellten den Chatbots mehrere Fragen und führten einen Faktencheck durch.
- Quellenangaben (7): Idealerweise sollten Informationen eines Recherche-Partners nicht nur korrekt sein, sondern auch mit sinnvollen Quellen belegt werden. Wir testeten, ob die Bots Quellen angeben und fragten explizit nach, wenn sie dies nicht taten.
- Pädagogik (7): Wie gut können Chatbots Unterrichtsinhalte erklären? Wir analysierten, wie gut sie Themen altersgerecht für Grundschüler, auf Unter-, Mittel- Oberstufen- sowie Universitätsniveau erklären können. Allen Bots haben wir dieselbe Frage gestellt, auf Nachfrage sollten sie diese für die unterschiedlichen Niveaus beantworten. Bewertet haben wir auch, ob die Modelle Beispiele oder visuelle Materialien einbinden, um Sachverhalte verständlicher zu erklären, ob einfache oder Fachsprache eingesetzt wird und wie die Inhalte strukturiert werden.
- Mathematik (7): Chatbots sind Sprachmodelle und mathematisch nur eingeschränkt fähig. Wir stellten den Bots unterschiedlich schwierige Aufgaben und überprüften die Korrektheit der Antworten. Einen Hinweis auf die eigenen Limitationen betrachteten wir als sinnvoller als das Halluzinieren einer Antwort.
- Markdown (6): Der Einsatz bestimmter Formatierungselemente wie Aufzählungen, Tabellen und Fettdruck kann das Erfassen von Antworten erleichtern. Wir überprüften, welche Markdown-Fähigkeiten die getesteten Chatbots einsetzen.
- Aktualität (5): Insbesondere bei der Recherche zu aktuellen Themen ist es hilfreich, wenn der Chatbot in der Lage ist, auf aktuelle Informationen zurückzugreifen.
- Weitere Kriterien:
- Reproduzierbarkeit (3)
- Bildinput (3)
- Geschwindigkeit (2)
- Bildoutput (1)
Ergebnisse
Jeder der Chatbots bietet eigene Vor- und Nachteile. Für den schulischen Einsatz ist wichtig zu wissen, dass sich keiner der Chatbots für höhere Mathematik tatsächlich gut eignet. Alle machten an unterschiedlichen Stellen Fehler, so dass am Ende kein verlässliches Ergebnis bei der Rechnung herauskam. Auch wenn einfachere Fragestellungen mit einer hohen Wahrscheinlichkeit richtig beantwortet werden, so empfehlen wir, jeden Rechenschritt noch einmal zu überprüfen und mit den Chatbots eher kollaborativ zu arbeiten, als diese die Aufgabe alleine lösen zu lassen.
