Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- elo:ai_server [2026/08/01 20:13] – 2003:da:3717:37d5:d31:bd62:eaca:5beb
+++ elo:ai_server [2026/08/01 20:56] (aktuell) – 2003:da:3717:37d5:d31:bd62:eaca:5beb
@@ Zeile 2: / Zeile 2: @@
 ===== Ausgangssituation =====
+Hardware-Setting 1:
   * Lenovo X1 Yoga (ältere Hardware)
+    * 16 GB RAM
+    * i7 Generation 8
   * Thunderbolt 3
-  * Nvidia 3080
+  * NVIDIA 3080 als eGPU (10 GB VRAM)
+Hardware-Setting 2:
+  * Systemtreff Workstation (Ende 2025)
+    * 32 GB RAM
+    * AMD Ryzen 7 5800 XT
+    * 8-Core
+  * Native PCIe Bus
+  * NVIDIA 5060 Ti (16 GB VRAM)
+===== Installation Grafiktreiber =====
+Die Verlagerung von CPU Nutzung bei AI auf die GPU ist hier wesentlich. GPU und GPU-Speicher sind ungefähr 10-fach so schnell als CPU und RAM. Eine Anfrage, die mittels GPU also 4 Sekunden dauert, würde Wohl oder Übel bei Nutzung von CPU alleine 10 mal so lange dauern. Bei Nutzung von C# Komponenten die hier LlamaSharp verwenden, ist die Abstimmung der Treiber der Grafikkarte und die richtige Wahl des Entwicklungsframeworks dazu essentiell.
-===== Installation Treiber =====
+Unter Windows sind also folgende Pakete für NVIDIA GPUs notwendig.
   * NVIDIA Treiber GameReady
@@ Zeile 13: / Zeile 30: @@
   * CUDA 12
     * Idealerweise hier 12.9 installieren (oder innerhalb der Major-Version)
-    * Ist die Minor-Version zu gering, dann hier
+    * Ist die Minor-Version zu gering, dann schlägt die Installation hier fehl, wenn das Grafiktreiber Paket zu aktuell ist.
+  * CUDA 13
+    * CUDA 13 kann man zwar parallel installieren (egal ob 13.0, 13.1, 13.2) allerdings hat es keinen Effekt für LlamaSharp, da es noch keinen Support gibt.
 ===== Installation Software =====