Werkzeugkasten fuer lokale Ausfuehrung erreicht Version 3 (KI in der Finanzwelt, Test 04)

Das Projekt setzt auf schlanke Abhaengigkeiten und laeuft auf gewoehnlicher Hardware. Die neue Fassung beschleunigt vor allem das Nachladen von Modellen.

Die Messungen im Projektarchiv zeigen: Auf einer einzelnen Grafikkarte sinkt die Wartezeit beim ersten Token um rund ein Drittel, weil Gewichte anders vorsortiert werden. Fuer den Dauerbetrieb aendert sich wenig.