Dies ist eine alte Version des Dokuments!
Dieser Artikel widmet sich rein generell dem Vergleich von KI-Modellen. Nicht unbedingt ELO-spezifisch.
GPT-5 Nano
Der BMW unter den Modellen. Tut eigentlich immer das, was man von ihm haben will. Will man ein JSON, bekommt man ein JSON, im Regelfall auch immer fehlerfrei, valide und auch genau in dem Format, das man vorgegeben hat. Sehr schön und ein Traum, wenn man Dokumente automatisiert und kostengünstig klassifizieren will. Über Azure AI (Foundry) auch schön erreichbar, schnell definierbar und zum. als Microsoft Partner nicht allzu kostenintensiv. 1 Mio. Tokens werden zzt. mit 5 Cent verrechnet. Das ist nicht allzu viel. Einseitige Rechnungen haben hier 2000-4000 Tokens mit einer Basisspezifikation. Somit erreicht man hier mit 5 Cent 250 Seiten.
Vorteile: wenig herumspielen mit Prompt-Engineering, wenn man weiß was man tut.
Nachteile: natürlich nicht lokal hostbar, abgesehen, dass man es nicht bekommt, wären die Anforderungen auch dem entsprechend hoch. RAG ist natürlich möglich, der Implementationsaufwand übersteigt hier aber RAG mit Ollama und Kernelmemory, bei dem hier Daten einfach übergeben werden. Hier muss beim RAG in verschiedensten Datenquellen unterschieden werden. Zudem verursacht das Hosten der Indexdaten dann doch üppige Storage Kosten. 160GB schlagen hier mit 200-300 EUR zu Buche.
Mistral
Mistral ist an und für sich ein gutes und brauchbares KI-Modell, das man freilich auch lokal hosten kann. Mit einer 5060 Ti und 32 GB fetzt das Ding eigentlich problemlos. Vor allem für semantische Suchen und lokales RAG durchaus eine gangbare Variante.
Nachteil: wenn der Druck auf das Modell steigt zeigen sich aber folgende Probleme:
- Formatvorgaben werden teilweise ignoriert.
- Ab und an kommt einfach Text zurück
- Ab und an kommen JSON-Strings zurück die fehlerhaft sind
- Fehlerhafte Boolean Werte
- Fehlerhaftes Escaping (der ganze JSON String ist escapt)
- Teilweise ist das JSON eingepackt (```json ```)
- Natürlich auch insgesamt nicht auf dem Level von Chat-GPT
Getestete Einsatzmöglichkeiten
- Rechnungserkennung: mittel (Basisdaten, Endbeträge, UID)
- CV-Parsing: gut (alle Daten)
- Programmiersupport
- PowerShell: Beispiel „Lege mir einen VM Server an mit DVD Laufwerk, ISO“
- Fehler 1: alte Switches bei New-VM (u.a. Prozessorsettings, Enable-Migration)
- Fehler 2: altes Cmdlet Set-VMIntegrationService verwendet (nicht mehr vorhanden)
- Fehler 3: altes Cmdlet Set-VMNetworkAdapterVirtualSwitch verwendet (nicht mehr vorhanden)
- Gesamt: vom Ansatz her ok, sah auch nett aus. Aber im Grunde dann doch eher Recherche notwendig