====== Installation eines AI Servers ======

===== Ausgangssituation =====

Hardware-Setting 1:

  * Lenovo X1 Yoga (ältere Hardware)
    * 16 GB RAM
    * i7 Generation 8
  * Thunderbolt 3
  * NVIDIA 3080 als eGPU (10 GB VRAM)

Hardware-Setting 2:

  * Systemtreff Workstation (Ende 2025)
    * 32 GB RAM
    * AMD Ryzen 7 5800 XT
    * 8-Core
  * Native PCIe Bus
  * NVIDIA 5060 Ti (16 GB VRAM)

===== Installation Grafiktreiber =====

Die Verlagerung von CPU Nutzung bei AI auf die GPU ist hier wesentlich. GPU und GPU-Speicher sind ungefähr 10-fach so schnell als CPU und RAM. Eine Anfrage, die mittels GPU also 4 Sekunden dauert, würde Wohl oder Übel bei Nutzung von CPU alleine 10 mal so lange dauern. Bei Nutzung von C# Komponenten die hier LlamaSharp verwenden, ist die Abstimmung der Treiber der Grafikkarte und die richtige Wahl des Entwicklungsframeworks dazu essentiell.

Unter Windows sind also folgende Pakete für NVIDIA GPUs notwendig.

  * NVIDIA Treiber GameReady
    * 595.97-desktop-win10-win11-64bit-international-dch-whql
  * CUDA 12
    * Idealerweise hier 12.9 installieren (oder innerhalb der Major-Version)
    * Ist die Minor-Version zu gering, dann schlägt die Installation hier fehl, wenn das Grafiktreiber Paket zu aktuell ist.
  * CUDA 13
    * CUDA 13 kann man zwar parallel installieren (egal ob 13.0, 13.1, 13.2) allerdings hat es keinen Effekt für LlamaSharp, da es noch keinen Support gibt.

===== Installation Software ===== 

SDKs

  * .NET 8.0 SDK
    * Sinnvoll bei .NET Programmen  mit Version 8
  * .NET 10.0 SDK
    * Sinnvoll bei .NET Programmen mit Version 10.0
  * Amazon Corretto Version 21
    * Sinnvoll bei Kompilierung von Java-Programmen
    * Oder bei Dekompilierung oder Deep-Dives
    * Beispiel: ELO-Plugins oder ELO Java Programme