Gut genug und lokal: Ein erfundenes Beispiel prüft, wann ein kleines Modell auf eigener Hardware für einen Verwaltungsablauf genügt und wer seine Antworten kontrolliert.

Dieses frei erfundene Gespräch prüft eine praktische Auswahl: Für einen klar begrenzten Verwaltungsablauf soll ein System eingehende Fragen mit vorhandenen Dokumenten verbinden. Ich betrachte dabei nicht nur die Antwortqualität. Entscheidend sind auch Datenzugang, Laufzeit, Kosten und die Frage, wer eine Antwort freigibt.

Die Aufgabe bestimmt das Modell

Im Entwurf beschreibt Mara Beispiel einen Ablauf, in dem Beschäftigte häufig dieselben internen Vorschriften durchsuchen. Die Beispieldokumente enthalten viele Ausnahmen und verweisen aufeinander. Ein Modell muss daher passende Textstellen finden, eine Antwort verständlich formulieren und die Fundstellen nennen. Es entscheidet weder über einen Anspruch noch versendet es eigenständig einen Bescheid.

Ich würde die Auswahl mit einer Sammlung typischer und schwieriger Fragen beginnen. Für jede Antwort prüft ein Mensch, ob die genannten Stellen tatsächlich tragen und ob eine wichtige Ausnahme fehlt. Ein starkes Ergebnis bei einfachen Fragen reicht nicht. Ich will ebenso sehen, wann das System Unsicherheit anzeigt, eine Suche ohne Treffer meldet oder eine Person an die zuständige Stelle verweist.

EU AI:Warum nicht das größte Modell?

GAST:Für diese Suche zählen verlässliche Fundstellen und ein klarer Prüfweg.

Der Betrieb gehört zum Vergleich

Für den fiktiven Kostenvergleich setze ich drei Varianten an: ein großes gemietetes Modell, ein mittelgroßes Modell in einer Cloud-Umgebung und ein kleines Modell auf einem eigenen Server. Die Zahlen sind reine Platzhalter. Im wirklichen Betrieb müsste ich neben den Anfragekosten auch Einrichtung, Wartung, Auslastung, Energie und die Zeit für menschliche Prüfung erfassen.

Die Tabelle macht die Entscheidung enger. Ein kleineres Modell ist nur dann die passende Wahl, wenn es die festgelegte Aufgabe ausreichend gut löst und seine Fehler beherrschbar bleiben. Eigene Hardware schafft zugleich neue Arbeit: Updates, Zugriffsrechte, Überwachung und Wiederherstellung müssen organisiert werden. Ich würde den Betrieb deshalb mit klaren Abbruchregeln und einer benannten verantwortlichen Person beginnen.

3×günstiger als das gemietete Großmodell im fiktiven Vergleich.