KI-Modelle vergleichen: Welche KI passt zu Ihrem Unternehmen?

Warum „Welche KI ist die beste?“ die falsche Frage ist

KI ist im deutschen Mittelstand angekommen. Nach einer Bitkom-Umfrage unter 604 Unternehmen mit mindestens 20 Beschäftigten nutzten 2025 bereits 36 % künstliche Intelligenz, nach 20 % im Vorjahr; weitere 47 % planten oder diskutierten den Einsatz. Gleichzeitig zeigt das Statistische Bundesamt, woran es hakt: Unternehmen, die einen KI-Einsatz erwogen, ihn aber nicht umgesetzt hatten, nannten vor allem fehlendes Wissen (71 %), rechtliche Unsicherheit (58 %) und Bedenken beim Datenschutz (53 %).

Eine Rangliste beantwortet keine dieser drei Sorgen. Sie sagt, welches Modell bei allgemeinen Fragen vorne liegt – nicht, welches Ihre Angebote, Lieferscheine oder Kundenanfragen zuverlässig bearbeitet, was es im Monat kostet und ob Sie es datenschutzkonform einsetzen dürfen.

Was Ranglisten zeigen – und was nicht

Ranglisten wie Chatbot Arena entstehen aus Hunderttausenden Abstimmungen, bei denen Menschen zwei anonyme Antworten vergleichen. Benchmarks prüfen Wissen, logisches Denken oder Programmieren anhand fester Fragensammlungen. Beides ist nützlich, um zu sehen, welche Modelle überhaupt infrage kommen.

Zwei Gründe sprechen dagegen, sich darauf zu verlassen. Erstens liegen die Spitzenmodelle eng zusammen: Laut Stanford AI Index 2025 schrumpfte in Chatbot Arena der Abstand zwischen Platz 1 und Platz 10 von 11,9 % auf 5,4 %, zwischen den beiden ersten Plätzen auf 0,7 %. Zweitens können Benchmark-Fragen in die Trainingsdaten gelangen; dann misst der Test eher das Gedächtnis des Modells als seine Fähigkeit.

Typische Fehler beim KI-Modelle-Vergleichen

Diese Muster kosten Zeit und Geld:

• Das Werkzeug zuerst wählen und dann nach Aufgaben dafür suchen.
• Mit drei schönen Beispielen testen statt mit den Fällen, die im Alltag wirklich vorkommen – einschließlich Tippfehlern, Scans und Fachbegriffen.
• Preise pro Token vergleichen statt Kosten pro erledigtem Vorgang.
• Nur auf Englisch testen, obwohl die Arbeit auf Deutsch stattfindet.
• Datenschutz erst nach der Auswahl prüfen.
• Einmal vergleichen und das Ergebnis jahrelang für gültig halten.

Sechs Kriterien für den Vergleich

Ein Vergleich, der einem Unternehmen hilft, bewertet die Qualität immer zusammen mit den Bedingungen, unter denen das Modell arbeiten soll:

KI-Modelle vergleichen in fünf Schritten

Das Vorgehen funktioniert für kleine und große Unternehmen gleichermaßen. Legen Sie eine Aufgabe fest und beschreiben Sie, woran Sie ein gutes Ergebnis erkennen. Sammeln Sie einige Dutzend echte, anonymisierte Fälle, darunter auch schwierige. Lassen Sie zwei bis vier Modelle dieselben Fälle mit denselben Anweisungen bearbeiten. Bewerten Sie die Antworten verdeckt, ohne zu wissen, welches Modell sie geschrieben hat, und halten Sie Kosten und Antwortzeit fest. Dann entscheiden Sie – und heben den Testsatz auf: Er wird zur Prüfung, wenn ein Anbieter eine neue Version veröffentlicht oder eine alte abkündigt.

Rechenbeispiel: Kosten für 1.000 Eingangsrechnungen

Rechenbeispiel (eigene Berechnung mit angenommenen Preisen, kein Angebot eines Anbieters): Ein Ablauf liest Eingangsrechnungen aus. Je Rechnung gehen etwa 2.000 Token an das Modell, etwa 300 Token kommen zurück. Für ein großes Modell nehmen wir 3,00 € je Million Eingabe-Token und 15,00 € je Million Ausgabe-Token an, für ein kleines Modell 0,15 € und 0,60 €.

Nur großes Modell: 1.000 × (2.000 × 3,00 + 300 × 15,00) / 1.000.000 = 10,50 € je 1.000 Rechnungen. Nur kleines Modell: etwa 0,48 €. Zeigt der Testsatz, dass das kleine Modell 90 % der Rechnungen richtig ausliest und nur 10 % an das große Modell gehen müssen, kostet die Mischung etwa 1,48 € je 1.000 Rechnungen – bei der Qualität, die der Testsatz bestätigt hat.

Die Preise ändern sich mit jeder Preisliste, das Prinzip nicht: Vergleichen Sie Kosten je erledigtem Vorgang und lassen Sie den Testsatz entscheiden, welche Schritte ein kleineres Modell übernehmen kann.

DSGVO, Betriebsrat und AI Act

Drei rechtliche Fragen gehören in jeden Vergleich. Verarbeitet ein Anbieter personenbezogene Daten in Ihrem Auftrag, braucht es einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO; Übermittlungen außerhalb der EU brauchen eine Grundlage nach Kapitel V. Prüfen Sie außerdem, ob der Anbieter Ihre Eingaben zum Training nutzen darf.

Stellt der Arbeitgeber ein KI-Werkzeug selbst bereit, etwa über Firmenkonten, kann das Mitbestimmungsrecht des Betriebsrats nach § 87 Abs. 1 Nr. 6 BetrVG greifen, weil das System Verhalten oder Leistung überwachen kann. Das Arbeitsgericht Hamburg hat im Januar 2024 entschieden, dass die bloße Erlaubnis, ChatGPT über private Konten zu nutzen, nicht mitbestimmungspflichtig ist; stellt der Arbeitgeber dagegen Firmenkonten bereit, greift die Mitbestimmung nach Einschätzung der Kanzlei CMS in der Regel.

Nach dem AI Act müssen Unternehmen, die KI-Systeme einsetzen, seit dem 2. Februar 2025 für ausreichende KI-Kompetenz ihrer Beschäftigten sorgen (Art. 4). Anbieter von KI-Modellen mit allgemeinem Verwendungszweck müssen seit dem 2. August 2025 Informationen für Unternehmen bereitstellen, die auf ihren Modellen aufbauen (Art. 53). Diese Unterlagen können Sie im Vergleich anfordern. Allgemeine Information, keine Rechtsberatung.

Wie NodeByNode dabei unterstützt

NodeByNode vergleicht KI-Modelle herstellerunabhängig an den Aufgaben Ihres Unternehmens: Wir bauen den Testsatz mit Ihrem Team, lassen die infrage kommenden Modelle laufen und stellen Qualität, Kosten, Geschwindigkeit und Datenschutzbedingungen nebeneinander. Die Auswahl ist Teil der KI-Beratung; in der KI-Betreuung wiederholen wir die Prüfung, wenn sich Modelle ändern.

Risiken und Grenzen

Ein Testsatz deckt nur die Fälle ab, die er enthält; seltene Situationen brauchen menschliche Prüfung. Preise, Ranglisten und Vertragsbedingungen ändern sich, jeder Vergleich hat daher ein Datum. Fragen zu Verträgen, Datenschutz und Mitbestimmung klären Sie mit Rechtsberatung und Ihrer oder Ihrem Datenschutzbeauftragten. Die Verantwortung für das Ergebnis bleibt bei den Menschen, die es freigeben.