Modellauswahl
KI-Modelle im Vergleich.
Llama, Mistral, Qwen, Gemma – auf dem Papier unterscheiden sie sich in Benchmark-Punkten. Im Betrieb entscheiden vier ganz andere Dinge darüber, ob ein Modell taugt.
Llama, Mistral, Qwen, Gemma – auf dem Papier unterscheiden sie sich in Benchmark-Punkten. Im Betrieb entscheiden vier ganz andere Dinge darüber, ob ein Modell taugt.
Jede Woche steht ein anderes Modell an der Spitze irgendeiner Rangliste. Für die Frage, welches Modell in Ihrem Haus laufen soll, ist das fast bedeutungslos: Die Ranglisten messen Aufgaben, die mit Ihrem Anwendungsfall wenig zu tun haben, und sie sagen nichts darüber, ob das Modell auf Ihrer Hardware überhaupt startet.
Ein Modell zu wechseln ist bei uns die Sache eines Nachmittags – die Architektur ist so gebaut, dass die Komponente austauschbar bleibt. Die Auswahl ist deshalb keine Entscheidung für die Ewigkeit. Sie sollte nur beim ersten Mal aus den richtigen Gründen fallen.
Es gibt hunderte offene Modelle. Ernsthaft im Unternehmenseinsatz sind vier Stammbäume, aus denen fast alles abgeleitet ist, was man herunterladen kann — dazu zwei Einordnungen, die regelmäßig gefragt werden.
Die verbreitetste Familie, entsprechend gut unterstützt von Werkzeugen und Bibliotheken. Die Lizenz ist keine klassische Open-Source-Lizenz, sondern eine eigene mit Bedingungen – für die allermeisten Firmen unproblematisch, aber sie gehört gelesen.
Europäischer Anbieter, gutes Deutsch, klare Apache-2.0-Lizenz bei den offenen Modellen. Achtung: Nicht alles, was Mistral heißt, ist frei – die größeren Varianten stehen unter einer eigenen Lizenz.
Technisch häufig vorn, besonders bei langem Kontext und beim Aufrufen von Werkzeugen. Apache 2.0. Dass das Modell aus China kommt, spielt beim lokalen Betrieb keine Rolle – die Gewichte liegen auf Ihrer Platte und telefonieren nirgendwohin.
Klein und effizient, gut für Aufgaben, die auf bescheidener Hardware laufen sollen. Eigene Lizenz mit Nutzungsbedingungen.
Daneben gibt es abgeleitete Modelle für einzelne Zwecke – Codieren, Zusammenfassen, Schlussfolgern. Die sind ihrem Allzweck-Vorfahren in ihrer Disziplin oft deutlich überlegen und außerhalb davon schlechter.
GPT, Claude und Gemini stehen hier nicht, weil man sie nicht herunterladen kann. Der Vergleich dazu steht auf ChatGPT oder eigene KI.
Diese vier Punkte entscheiden, ob ein Modell für Ihren Fall arbeitet. Keiner davon steht in einer Benchmark-Tabelle.
Sobald die KI mehr tun soll als antworten – eine Datenbank abfragen, einen Termin anlegen, ein Dokument suchen –, muss sie Funktionen aufrufen können. Diese Fähigkeit heißt Tool-Calling, und ein erheblicher Teil der verfügbaren Modelle hat sie schlicht nicht.
Das steht selten prominent im Datenblatt. Wer es übersieht, baut einen Assistenten fertig und merkt am Ende, dass das Modell die Werkzeuge ignoriert, die man ihm gegeben hat. Wir prüfen es vor jedem Piloten ab, direkt am laufenden Modell.
Die Dateigröße eines Modells sagt Ihnen, wie viel Platz es auf der Platte belegt – nicht, wie viel Grafikspeicher es im Betrieb braucht. Dazu kommt der Zwischenspeicher für das Gespräch, und der wächst mit der Länge des Kontexts.
Das führt zu einem Ergebnis, das die meisten überrascht: Ein kleines Modell mit sehr langem Kontext kann mehr Grafikspeicher belegen als ein vielfach größeres Modell mit kurzem. Wer nach Parameterzahl einkauft, kauft an der Realität vorbei. Wie sich das auf die Hardware übersetzt, steht unter Lokale KI: Hardware und Grenzen.
Der Zwischenspeicher aus Kriterium 2 fällt pro gleichzeitigem Nutzer an, nicht einmal für alle. Ein Server, der für eine Person großzügig ausgelegt ist, kann bei zehn Personen an die Grenze stoßen – ohne dass sich am Modell etwas geändert hätte.
Einzelne Modellarchitekturen können parallele Anfragen zudem gar nicht verarbeiten und beantworten sie nacheinander. Für einen Assistenten, den eine Abteilung nutzt, ist das ein Ausschlusskriterium – für einen nächtlichen Stapellauf völlig egal.
„Offen" heißt nicht automatisch „frei verwendbar". Die Lizenzen reichen von Apache 2.0, wo praktisch alles erlaubt ist, über eigene Anbieterlizenzen mit Auflagen bis zu Modellen, die ausdrücklich nur für Forschung freigegeben sind.
Das gilt auch für abgeleitete Modelle: Wer ein forschungsbeschränktes Modell nachtrainiert, gibt die Beschränkung weiter. Wir prüfen die Lizenz, bevor ein Modell in einen Piloten geht – das ist der Punkt, an dem ein Projekt sonst spät und teuer auffliegt.
Eine Gattung neuerer Modelle denkt vor der Antwort sichtbar nach. Über die Programmierschnittstelle schreiben sie dieses Nachdenken in ein eigenes Feld – und lassen das Antwortfeld so lange leer, bis sie fertig sind.
Ist das Antwortlimit zu knapp gesetzt, bricht das Modell mitten im Denken ab. Was beim Aufrufer ankommt, ist eine vollständig leere Antwort. Es sieht aus wie ein defektes Modell, ist aber eines, das sauber gearbeitet und nur nicht genug Platz gehabt hat.
Uns hat genau das im eigenen Betrieb einen Tag gekostet. Deshalb steht es hier: Wer ein solches Modell einsetzt, sollte das Nachdenken für Aufgaben abschalten können, die kurze und direkte Antworten brauchen.
Nicht nach Ranglisten, sondern an Ihren Daten. Der Ablauf dauert wenige Tage.
Dann tauschen wir das Modell. Genau dafür ist die Architektur gebaut: Der Inferenz-Server, die Vektordatenbank und Ihre Anbindungen bleiben stehen, nur die Gewichte werden ersetzt. Ein Wechsel ist eine Konfigurationsänderung und ein Nachmittag Prüfen, kein neues Projekt.
Das ist der eigentliche Vorteil des eigenen Betriebs gegenüber einem Cloud-Abo: Sie entscheiden, wann gewechselt wird – und ob überhaupt. Ein Modell, das bei Ihnen gut arbeitet, wird Ihnen nicht abgeschaltet.
Diese Frage lässt sich nicht allgemein beantworten, und wer sie allgemein beantwortet, verkauft etwas. Es kommt auf die Aufgabe an: Soll die KI Werkzeuge bedienen, muss das Modell Tool-Calling beherrschen — das kann längst nicht jedes. Sollen lange Dokumente am Stück verarbeitet werden, entscheidet der Speicherbedarf bei langem Kontext.
Nicht die Parameterzahl entscheidet, sondern die Kombination aus Modellgröße, Kontextlänge und Anzahl gleichzeitiger Nutzer. Ein kleines Modell mit sehr langem Kontext kann mehr Grafikspeicher belegen als ein vielfach größeres mit kurzem. Deshalb dimensionieren wir die Hardware erst, wenn das Modell feststeht.
Nicht alle. Die Lizenzen reichen von Apache 2.0, wo praktisch alles erlaubt ist, über eigene Anbieterlizenzen mit Auflagen bis zu Modellen, die nur für Forschung freigegeben sind. Wer ein forschungsbeschränktes Modell nachtrainiert, gibt die Beschränkung weiter. Wir prüfen die Lizenz, bevor ein Modell in einen Piloten geht.
Beim lokalen Betrieb nicht. Die Gewichte liegen auf Ihrer Festplatte und senden nichts nach außen; ein Sprachmodell ist eine Datei, kein Dienst. Relevant sind die Lizenz und die Frage, ob das Modell Ihre Aufgabe gut löst — nicht das Herkunftsland.
Dann tauschen wir es aus. Inferenz-Server, Vektordatenbank und Ihre Anbindungen bleiben stehen, nur die Gewichte werden ersetzt. Ein Wechsel ist eine Konfigurationsänderung plus ein Nachmittag Prüfen, kein neues Projekt.
Im Erstgespräch schauen wir uns an, was die KI bei Ihnen tun soll, und sagen Ihnen, welche Modelle dafür überhaupt in Frage kommen.
Direkter Kontakt – ohne Umwege. Wir melden uns innerhalb eines Werktages.