KI-Tools vergleichen: Welches passt zu eurer Arbeit?

Warum hilft eine Rangliste bei dieser Frage wenig?

Wenn ein Anbieter ein neues Modell vorstellt, zeigt er fast immer eine Tabelle mit Test­ergebnissen. Dazu kommen Demos, die in den sozialen Medien gut aussehen, und erste Eindrücke von Leuten, die das Modell ein paar Tage ausprobiert haben. Über eure Arbeit sagt das wenig.

Viele dieser Tests gibt es schon lange, und die Modelle kennen die Aufgaben oft aus dem Training. Das ist, als würdet ihr eine Prüfung schreiben, deren Fragen ihr vorher gesehen habt. Ausserdem ist bei Texten vieles Geschmacks­sache. Ein Modell, das in einer Rangliste weit vorne liegt, kann bei eurer Offerte schlechter abschneiden als eines weiter hinten.

Wie läuft ein eigener Test ab?

Die Methode stammt von Nufar Gaspar, die sie im Podcast «The AI Daily Brief» vorgestellt hat. Wir haben sie auf den Einsatz in Organi­sationen übertragen, vereinfacht und um Rollen und einen Zeitplan ergänzt. Ein Test dauert rund drei Wochen und hat fünf Schritte:

1. Aufgaben auswählen. Eure Fachleute wählen vier bis sechs Aufgaben aus ihrem Alltag, zum Beispiel ein Sitzungs­protokoll, die Antwort auf eine Reklamation oder eine Offerte. Für jede Aufgabe halten sie fest, woran sie eine gute Antwort erkennen und was auf keinen Fall passieren darf.
2. Tools auswählen. Euer heutiges Tool ist immer dabei, dazu kommen höchstens drei neue. Arbeitet ihr heute ohne KI, ist eure heutige Arbeitsweise der Vergleichs­punkt. Welche Tools ihr testen dürft, klärt die Geschäfts­leitung vorher mit IT und Datenschutz.
3. Testen. Alle Tools bekommen denselben Auftrag, Wort für Wort und jedes Mal in einem neuen Chat. Echte Kunden- oder Personal­daten gehören nicht in den Test, erfundene Beispiele reichen.
4. Blind bewerten. Eine neutrale Testleitung verdeckt die Namen der Tools. Die Fachleute vergleichen die Antworten neben­einander und geben jeder eine Note von 1 bis 5. Eine 5 heisst sofort brauchbar, eine 1 unbrauchbar. Erst danach erfahren sie, welche Antwort von welchem Tool stammt.
5. Entscheiden. Die Geschäfts­leitung entscheidet auf Grundlage der Noten, ob ihr wechselt, für verschiedene Aufgaben verschiedene Tools nutzt oder bei eurem heutigen Tool bleibt.

In der ersten Woche wählt ihr Aufgaben und Tools aus, in der zweiten testet ihr, und in der dritten bewertet und entscheidet ihr.

Die meiste Sorgfalt braucht die Auswahl der Aufgaben. Nur wenn sie eure Arbeit gut abbilden, sagt das Ergebnis etwas aus. Ebenso wichtig ist das blinde Bewerten, denn wer weiss, von welchem Tool eine Antwort stammt, urteilt nicht mehr neutral. Auch Nufar Gaspar war überrascht, als sie in ihrem eigenen Test die Namen aufdeckte.

Mit «Tool» meinen wir ein KI-Werkzeug wie Copilot oder ChatGPT, ein bestimmtes Modell darin oder auch nur eine Einstellung, etwa den schnellen oder den gründlichen Modus. Der Test funktioniert also auch, wenn ihr nur ein Tool nutzen dürft. Dann vergleicht ihr die Ein­stellungen darin. Und wenn ihr eine weitere Lizenz beantragen möchtet, liefert der Test die Argumente dafür.

Wer macht beim Test mit?

Am Test sind vier Rollen beteiligt. Technisches Wissen braucht es für keine davon:

• Koordination. Eine Person plant den Test und hält alles zusammen.
• Fachleute. Drei bis fünf Personen beschreiben Aufgaben aus ihrem Alltag und bewerten später die Antworten.
• Testleitung. Eine neutrale Person gibt die Aufträge in die Tools ein und verdeckt die Namen. Sie bewertet selbst nicht mit.
• Geschäfts­leitung. Sie klärt mit IT und Datenschutz vorher, was erlaubt ist, und entscheidet am Schluss.

Wer eine Arbeit täglich macht, sieht rasch, ob eine Antwort brauchbar ist. Beim Bewerten lernen die Fachleute zudem, wo die Tools stark sind und wo sie daneben­liegen.

Wann lohnt sich ein Wechsel?

Mit den Noten ist der Entscheid noch nicht gefallen. Ein Wechsel kostet Geld und Zeit, und alle müssen sich umgewöhnen. Als Faustregel lohnt er sich erst, wenn ein Tool bei euren wichtigsten Aufgaben klar vorne liegt, im Schnitt etwa eine ganze Note.

Achtet auch auf Kosten und Tempo. In Nufar Gaspars eigenem Test bekamen zwei Modelle im Schnitt dieselbe Note, obwohl das eine in der Nutzung rund zehnmal günstiger war. Und ein etwas schwächeres, aber schnelleres Tool kann im Alltag die bessere Wahl sein.

Manchmal zeigt der Test, dass sich ein Wechsel nicht lohnt. Dann bleibt ihr mit gutem Grund bei eurem heutigen Tool und wiederholt den Test, wenn ein neues Tool erscheint, das ihr ernsthaft in Betracht zieht.

Die Betriebs­anleitung zum Herunter­laden

Die Anleitung führt euch Schritt für Schritt durch den Test. Sie zeigt an einem Beispiel, wie ihr eine Testaufgabe beschreibt, und enthält einen Auftrag, mit dem euch eine KI passende Testaufgaben vorschlägt. Dazu kommen die Fragen, die ihr vorher mit IT und Datenschutz klären solltet, Hilfe für den Fall, dass es hakt, und drei Arbeits­blätter zum Ausdrucken: ein Aufgaben­blatt, ein Bewertungs­bogen und ein Blatt für den Entscheid.

Ihr könnt die Anleitung kostenlos herunter­laden und gerne weitergeben.

Betriebs­anleitung

Das richtige KI-Tool finden

In fünf Schritten herausfinden, welches KI-Tool zu eurer Arbeit passt.

PDF · 14 Seiten mit drei Arbeits­blättern · kostenlos und ohne Anmeldung · Ausgabe Oktober 2026

PDF herunterladen: Das richtige KI-Tool finden↓

Wann hilft Begleitung von aussen?

Den Test könnt ihr gut selbst durchführen. Begleitung hilft vor allem dann, wenn

• die Meinungen über KI im Team weit auseinander­gehen,
• mehrere Bereiche ein gemeinsames Tool brauchen,
• bei euch niemand die neutrale Testleitung übernehmen kann.

Wir begleiten euch durch den ganzen Test oder in einzelnen Schritten, zum Beispiel beim Erarbeiten der Testaufgaben, als neutrale Testleitung oder im Entscheidungs­work­shop mit der Geschäfts­leitung. Welche Tools in Frage kommen und welche Daten ihr verwenden dürft, klärt ihr weiterhin mit eurer IT und der Person, die bei euch für den Datenschutz zuständig ist.

Ist der Entscheid gefallen, hilft unser Angebot KI im Team einem Team, gemeinsame Regeln für die Arbeit mit KI zu finden und an den eigenen Aufgaben zu üben. Welche Regeln das sein können, lest ihr im Impuls «KI im Team: Welche Regeln ihr jetzt braucht».

Grundlage dieses Impulses ist eine Folge des Podcasts «The AI Daily Brief» vom 7. Oktober 2026 (englisch), in der Nufar Gaspar ihre Methode vorstellt. younite consulting hat die Methode auf den Einsatz in Organi­sationen übertragen und vereinfacht. Produktnamen sind Marken ihrer jeweiligen Inhaber.