Hallo liebe Linux-Gruppe,

auf der Suche nach dem „besten und schnellsten" LLM bin ich auf folgendes Video gestoßen:
https://www.youtube.com/watch?v=utJEkStLaok

Dort testet der YouTuber das neue ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF auf einer NVIDIA A6000 (48 GB VRAM, 300 W) – u. a. mit diesem Prompt:

A tank contains a saturated solution of lead(II) iodide (PbI₂) in equilibrium with excess solid PbI₂ at 25°C, where Ksp = 7.1 × 10⁻⁹. At t = 0, 2.00 L of this saturated solution is mixed with 3.00 L of a 0.0400 M KI solution. Assume volumes are additive and that solid PbI₂ present ensures the system re-equilibrates. Calculate the molar solubility of PbI₂ in pure water at 25°C. Calculate [Pb²⁺] and [I⁻] in the original saturated solution before mixing. After mixing, determine the new equilibrium concentration of [I⁻] and [Pb²⁺], accounting for the common-ion effect from the added KI. Calculate the final mass (in mg) of solid PbI₂ that has precipitated out due to the common-ion effect, given that the total system initially contained 0.500 g of solid PbI₂ in contact with the saturated solution before mixing. Report all concentrations to 3 significant figures and the final mass to the nearest 0.1 mg.

Seine Ergebnisse: Rechenzeit ca. 13 min, 31.780 Tokens, 38,40 t/s.

Ich habe denselben Prompt meiner lokalen KI auf einer NVIDIA A4000 Blackwell Pro SFF (24 GB VRAM, max. 70 W) gestellt – und war über das identische Ergebnis erstaunt, das sie in nur 5 min 48 s lieferte: 12.840 Tokens bei 36,81 t/s.

Meine Rätselfrage für das nächste Treffen: Wie kann es sein, dass meine kleinere GPU das Ergebnis schneller lieferte? Was hat der YouTuber übersehen oder hätte besser einstellen können?

Wer mag, darf gern vorab auf der Liste mitraten. 🙂

Viele Grüße
Martin