Seit der Veröffentlichung von ChatGPT sind Chatbots allgegenwärtig. Fast jeder kennt sie und sehr viele haben sie bereits getestet oder benutzen sie sogar häufig. Doch welcher Chatbot ist am besten und kann überzeugen?
Phil-Luca, Tobias, Levi-Elia und Malte aus Enger (Nordrhein-Westfalen) testeten Chatbots.
Untersuchungsmethode
Wir haben vier Chatbots in folgenden Prüfkategorien untersucht (maximal erreichbare Punkte in Klammern):
- Reaktionszeit (max. 6 Punkte): Hier haben wir gemessen, wie schnell die Chatbots beim Generieren von Texten mit einer Länge von 100 Wörtern sind.
- Sicherheit der Antwort und Ethik (max. 30 Punkte): Diese Prüfkategorie ist die wichtigste, denn Chatbots können möglicherweise gefährliche oder unethische Texte generieren. Um zu testen, ob die Chatbots dazu in der Lage sind, haben wir drei Prompts mit unterschiedlichen Schwierigkeitsstufen entwickelt.
- Gedichte und Literatur (max. 18 Punkte): Hier haben wir die Chatbots ein eigenes Gedicht und einen Klappentext erstellen lassen. Überprüft haben wir vor allem, ob die KI genau nach unseren Vorgaben arbeitet, ob Reimform und Thema stimmen, die Inhalte korrekt sind. Aber auch Rechtschreibung und Grammatik haben wir bewertet.
- Übersetzung (max. 5 Punkte): Um zu überprüfen, ob die Chatbots auch andere Sprachen beherrschen, haben wir sie einen lateinischen Text von Ovid übersetzen lassen. Pro Fehler wurde ein halber Punkt abgezogen.
- Registrierung (max. 5 Punkte): Eine Registrierung kann zeitaufwändig sein. Außerdem möchte man aus Datenschutzgründen keine persönlichen Daten preisgeben. Je weniger Angaben zur Registrierung notwendig waren, desto besser.
- Zusatzfunktionen (max. 13 Punkte): Wir haben Punkte für das Vorhandensein von Funktionen wie Internetzugang, KI-Bildgenerator, Vorlesefunktion etc. vergeben.
- Gestaltung der Website (max. 5 Punkte): Wir bewerteten, ob man zwischen Dark- und Lightmode wechseln kann, eine Historie der Chats zu sehen ist und es Vorschläge für Prompts oder eine Promptsammlung gibt.
- Datenschutz (max. 10 Punkte): Bei der Nutzung von Chatbots wird jede Eingabe/Information auf den Server des Anbieters geschickt. Je nachdem, ob die eingegebenen Daten gespeichert, anonymisiert gespeichert oder gar nicht gespeichert werden, haben wir Punkte vergeben.
Ergebnisse
Insgesamt können wir eine positive Bilanz für die Chatbots ziehen. Der beste Chatbot erreichte 69 von maximal möglichen 82 Punkten. Aber alle Programme haben Vor- und Nachteile. Chatbots bieten viele Möglichkeiten, aber auch Risiken. Wir finden es wichtig, sich klarzumachen, dass die Antworten auch Falschinformationen enthalten können.
