ELO Wiki

Eine ältere Version des Dokuments wurde geladen! Beim Speichern wird eine neue Version des Dokuments mit diesem Inhalt erstellt.

====== Installation eines AI Servers ======

===== Ausgangssituation =====

Hardware-Setting 1:

* Lenovo X1 Yoga (ältere Hardware)
    * 16 GB RAM
    * i7 Generation 8
  * Thunderbolt 3
  * NVIDIA 3080 als eGPU (10 GB VRAM)

Hardware-Setting 2:

* Systemtreff Workstation (Ende 2025)
    * 32 GB RAM
    * AMD Ryzen 7 5800 XT
    * 8-Core
  * Native PCIe Bus
  * NVIDIA 5060 Ti (16 GB VRAM)

===== Installation Grafiktreiber =====

Die Verlagerung von CPU Nutzung bei AI auf die GPU ist hier wesentlich. GPU und GPU-Speicher sind ungefähr 10-fach so schnell als CPU und RAM. Eine Anfrage, die mittels GPU also 4 Sekunden dauert, würde Wohl oder Übel bei Nutzung von CPU alleine 10 mal so lange dauern. Bei Nutzung von C# Komponenten die hier LlamaSharp verwenden, ist die Abstimmung der Treiber der Grafikkarte und die richtige Wahl des Entwicklungsframeworks dazu essentiell.

Unter Windows sind also folgende Pakete für NVIDIA GPUs notwendig.

* NVIDIA Treiber GameReady
    * 595.97-desktop-win10-win11-64bit-international-dch-whql
  * CUDA 12
    * Idealerweise hier 12.9 installieren (oder innerhalb der Major-Version)
    * Ist die Minor-Version zu gering, dann hier

===== Installation Software =====

SDKs

* .NET 8.0 SDK
    * Sinnvoll bei .NET Programmen  mit Version 8
  * .NET 10.0 SDK
    * Sinnvoll bei .NET Programmen mit Version 10.0
  * Amazon Corretto Version 21
    * Sinnvoll bei Kompilierung von Java-Programmen
    * Oder bei Dekompilierung oder Deep-Dives
    * Beispiel: ELO-Plugins oder ELO Java Programme

Zusammenfassung

Hinweis: Durch das Bearbeiten dieser Seite geben Sie Ihr Einverständnis, dass Ihr Inhalt unter der folgenden Lizenz veröffentlicht wird: CC Attribution-Share Alike 4.0 International