Installation eines AI Servers

Hardware-Setting 1:

• Lenovo X1 Yoga (ältere Hardware)
  • 16 GB RAM
  • i7 Generation 8
• Thunderbolt 3
• NVIDIA 3080 als eGPU (10 GB VRAM)

Hardware-Setting 2:

• Systemtreff Workstation (Ende 2025)
  • 32 GB RAM
  • AMD Ryzen 7 5800 XT
  • 8-Core
• Native PCIe Bus
• NVIDIA 5060 Ti (16 GB VRAM)

Die Verlagerung von CPU Nutzung bei AI auf die GPU ist hier wesentlich. GPU und GPU-Speicher sind ungefähr 10-fach so schnell als CPU und RAM. Eine Anfrage, die mittels GPU also 4 Sekunden dauert, würde Wohl oder Übel bei Nutzung von CPU alleine 10 mal so lange dauern. Bei Nutzung von C# Komponenten die hier LlamaSharp verwenden, ist die Abstimmung der Treiber der Grafikkarte und die richtige Wahl des Entwicklungsframeworks dazu essentiell.

Unter Windows sind also folgende Pakete für NVIDIA GPUs notwendig.

• NVIDIA Treiber GameReady
  • 595.97-desktop-win10-win11-64bit-international-dch-whql
• CUDA 12
  • Idealerweise hier 12.9 installieren (oder innerhalb der Major-Version)
  • Ist die Minor-Version zu gering, dann schlägt die Installation hier fehl, wenn das Grafiktreiber Paket zu aktuell ist.
• CUDA 13
  • CUDA 13 kann man zwar parallel installieren (egal ob 13.0, 13.1, 13.2) allerdings hat es keinen Effekt für LlamaSharp, da es noch keinen Support gibt.

SDKs

• .NET 8.0 SDK
  • Sinnvoll bei .NET Programmen mit Version 8
• .NET 10.0 SDK
  • Sinnvoll bei .NET Programmen mit Version 10.0
• Amazon Corretto Version 21
  • Sinnvoll bei Kompilierung von Java-Programmen
  • Oder bei Dekompilierung oder Deep-Dives
  • Beispiel: ELO-Plugins oder ELO Java Programme