Exklusive Hardware · KI-Testumgebung

NVIDIA DGX Spark als exklusives Komplettsystem mieten

Ein komplettes System pro Kunde, im Rechenzentrum in Tokio, Japan.

Für lokale Inferenz mit großen Sprachmodellen, Fine-Tuning-Experimente, CUDA-Entwicklung und KI-Prototypen. Zuerst die ARM64-Kompatibilität prüfen, dann Mietdauer für Download, Ausführung und Export der Modelldateien planen.

Feste Ausstattung, keine vorinstallierten Modelle. Vollständige Spezifikationen und Nutzungshinweise weiter unten.

Netzwerkverkabelung und Anschlusskabel als Teil der Infrastruktur für den Komplettsystem-Service
Beispiel einer Netzwerkverkabelung. Maßgeblich sind die auf dieser Seite aufgeführten Spezifikationen; das Foto zeigt nicht das DGX Spark-Gerät.
Feste Konfiguration

Vom Superchip bis zum System: die komplette Ausstattung im Überblick

CPU, Unified Memory, Speicher und Netzwerk des DGX Spark werden als einheitliche Konfiguration bereitgestellt. Geeignet für reproduzierbare Experimente innerhalb klar definierter Hardwaregrenzen, nicht für Projekte, die nachträglich mehr Ressourcen benötigen.

OnuCloud NVIDIA DGX Spark – Systemkonfiguration
Komponente Spezifikation und Hinweise
Superchip NVIDIA GB10 Grace Blackwell
CPU 20 Arm-Kerne: 10 × Cortex-X925 + 10 × Cortex-A725
Unified Memory 128 GB LPDDR5x Unified Memory, gemeinsam von CPU und GPU genutzt – keine zwei separaten Speicherbereiche, die addiert werden können.
Lokaler Speicher 4 TB NVMe, feste Kapazität, kein zusätzlicher Datenträger möglich.
Netzwerk 1 Gbit/s ohne Traffic-Limit, Bandbreite nicht anpassbar.
Öffentliche IP-Adresse 1 feste IPv4-Adresse, keine zusätzlichen IP-Adressen möglich.
Betriebssystem NVIDIA DGX OS auf Basis von Ubuntu 24.04, mit vorinstalliertem CUDA und NVIDIA AI-Software-Stack; keine Modelle vorinstalliert.
Architektur ARM64. Die Architekturkompatibilität von Projektabhängigkeiten, Container-Images und Binärdateien muss geprüft werden.

Als Betriebssystem steht ausschließlich NVIDIA DGX OS zur Verfügung. Ein Wechsel zu Windows, Proxmox VE oder einer anderen Distribution ist nicht möglich. Die feste Konfiguration bietet keine Optionen für mehr Arbeitsspeicher, Speicherplatz, Bandbreite oder IPv4-Adressen.

Mietdauer passend zum Experiment planen

Der Preis richtet sich nach den Tagen, nicht nach der Konfiguration

Der Tagessatz beträgt $15; die Mietdauer ist von 1 bis 365 Tagen wählbar. Gesamtpreis = Anzahl der Tage × Tagessatz. Keine Rabatte, keine Vertragsbindung. Die Beispiele dienen der Preisplanung und sind keine Zusage zur Dauer von Leistungstests.

1 Tag Mietdauer

$15Gesamtpreis für diesen Zeitraum:

1 × $15 = $15

Geeignet für konzentrierte Tests, wenn Abhängigkeiten bereits geprüft und Testskripte vorbereitet sind. Zeit für Modelldownloads und den Export der Ergebnisse einplanen.

7 Tage Mietdauer

$105Gesamtpreis für diesen Zeitraum:

7 × $15 = $105

Geeignet, um Modelle rundenweise zu vergleichen, Inferenzparameter anzupassen oder Fine-Tuning-Ansätze zu prüfen. Zeit für erneute Downloads, die Fehlersuche bei Abhängigkeiten und Wiederholungstests einplanen.

30 Tage Mietdauer

$450Gesamtpreis für diesen Zeitraum:

30 × $15 = $450

Geeignet für Prototypen mit festgelegtem Endtermin. Die Abrechnung erfolgt weiterhin nach Tagen zum unveränderten Tagessatz.

Die Mietdauer sollte Vorbereitung, Download, Experimente und Export abdecken. Ein abgeschlossener Download bedeutet nicht, dass auch das Experiment abgeschlossen ist. Für die Datensicherung nach Ende der Aufgaben ebenfalls Zeit einplanen.

Erst den Speicherbedarf einschätzen, dann die Aufgabe wählen

Modellgrößen sind Richtwerte, keine Durchsatzgarantie

Laut Angaben von NVIDIA eignen sich 128 GB Unified Memory für die quantisierte Inferenz von Modellen mit etwa 200B Parametern sowie für LoRA-/QLoRA-Fine-Tuning mit etwa 70B Parametern. Beide Aufgaben haben unterschiedliche Ressourcenanforderungen und lassen sich nicht allein anhand der Parameterzahl vergleichen.

Quantisierte Inferenz: etwa 200B Parameter

Quantisierte Gewichte benötigen weniger Speicher. Zur Laufzeit muss jedoch zusätzlicher Platz für Kontext-Cache, Framework und System verfügbar sein. Der Richtwert zur Modellgröße garantiert nicht, dass beliebige Kontextlängen oder Parallelität unterstützt werden.

Vor der Bereitstellung Quantisierungsgrad, Kontextlänge, gewünschte Parallelität und Abhängigkeitsversionen dokumentieren. Speicherverbrauch und Antwortverhalten anschließend mit der tatsächlichen Arbeitslast testen.

128 GB Unified Memory · gemeinsam von CPU und GPU genutzt

LoRA / QLoRA: etwa 70B Parameter

Gemeint ist parameter-effizientes Fine-Tuning, nicht das Training aller Parameter. Sequenzlänge, Batch-Größe, Optimierer und Framework-Implementierung beeinflussen den tatsächlichen Speicherbedarf.

Geeignet, um die Trainingspipeline zunächst mit kleinen Datensätzen zu prüfen und Experimente anschließend auszuweiten. Aufgaben, die Multi-Node-Training oder einen größeren Ressourcenpool erfordern, fallen nicht in den vorgesehenen Einsatzbereich dieses Systems.

128 GB Unified Memory · mit den tatsächlichen Trainingseinstellungen prüfen
Einsatz und Abwägung

Das Komplettsystem für zeitlich begrenzte Experimente

DGX Spark eignet sich für kurzfristige KI-Projekte mit klar definierten Hardwareanforderungen. Ausschlaggebend sind Software-Stack und Aufgabenprofil – die Kapazität des Unified Memory allein sagt nicht aus, ob andere Server ersetzt werden können.

Geeignet für Modelltests und Prototypen

Quantisierte Modelle vergleichen, Schnittstellen für Inferenzdienste prüfen, RAG-Abläufe testen oder LoRA-/QLoRA-Experimente durchführen. Sind Eingabedaten, Evaluierungskriterien und Speicherort für Ergebnisse bereits festgelegt, lässt sich die Mietdauer besser nutzen.

Auch bei der CUDA-Entwicklung müssen ARM64-Abhängigkeiten geprüft werden. Ein exklusives System klärt die Ressourcenzuweisung, ersetzt aber keine Kompatibilitätsprüfung der Anwendung.

Abhängigkeiten und Daten zuerst prüfen, dann Experimente planen

Nicht geeignet für andere Architekturen oder Ressourcenmodelle

x86-Programme und Windows werden nicht unterstützt. Es gibt weder einen Multi-Node-Cluster noch Erweiterungen durch zusätzliche Laufwerke oder Arbeitsspeicher. Werden diese Funktionen benötigt, ist eine andere Umgebung erforderlich.

Projekte, deren Beschaffung auf einem langfristigen monatlichen Betrieb beruht, eignen sich ebenfalls nicht für dieses Mietmodell. Abgerechnet wird ausschließlich nach Tagen.

Kompatibilität und Erweiterungsbedarf vor der Bestellung klären
Modelldownloads sind Teil der Mietdauer

Die Übertragungsplanung beginnt bei den Modelldateien

Es sind keine Modelle vorinstalliert; Gewichte und Datensätze müssen selbst heruntergeladen werden. 1 Gbit/s bezeichnet die Verbindungsgeschwindigkeit. Die tatsächliche Downloadzeit hängt auch von der Quelle, dem Netzwerkpfad, der Parallelität und dem Entpacken ab. Der theoretische Wert ist keine Zusage zur Bereitstellung oder Downloadzeit.

Netzwerkkabel und Internetverbindung als Beispiel für die Netzwerkstrecke beim Download von Modellgewichten
Beispiel einer Netzwerkverbindung. Die Downloadzeit hängt vom gesamten Übertragungsweg ab, nicht nur von der Portgeschwindigkeit.

Theoretischer Richtwert bei 1 Gbit/s

Schätzung anhand von Dateigröße und Verbindungsgeschwindigkeit, gerundet. Protokoll-Overhead, Drosselung, Prüfsummen und Dateiverarbeitung sind nicht berücksichtigt.

Nur zur Planung der Mietdauer, keine gemessenen Werte
Dateigröße Theoretische Dauer, ca.
40 GB 5,5 Minuten
100 GB 14 Minuten
140 GB 19 Minuten

Die 4 TB NVMe werden gemeinsam für System, Modellgewichte, Datensätze, Cache und Versuchsergebnisse genutzt und stehen nicht vollständig als Modell-Speicherplatz zur Verfügung. Mehrere Gewichtsversionen und Zwischen-Checkpoints bei der Kapazitätsplanung berücksichtigen.

Datenexport vor dem Start planen

Daten werden bei Mietende gelöscht – Ergebnisse vorher sichern

Die Daten auf dem DGX Spark werden bei Mietende gelöscht. Modellgewichte, Trainings-Checkpoints, Evaluierungsprotokolle, Code und Endergebnisse müssen vor Ablauf selbst gesichert werden. Das Mietsystem sollte nicht als einzige Kopie dienen.

Daten während der Mietdauer verwalten

Vor Beginn der Aufgaben ein Backup-Ziel festlegen und während der Experimente wiederherstellbare Checkpoints speichern. Nach dem Export die Dateiintegrität prüfen und Laufparameter sowie Umgebungsdetails dokumentieren, damit Experimente nicht nur anhand der Modelldateien reproduziert werden können.

Auch der Export großer Dateien benötigt Zeit. Zwischen der letzten Aufgabe und dem Mietende sollte ausreichend Zeit für Export und Integritätsprüfung bleiben.

Vor Mietende exportieren und Integrität prüfen

Zugang und Systemverwaltung

Nach der Bereitstellung die SSH-Zugangsdaten in der Konsole abrufen und über die bereitgestellte IPv4-Adresse eine Verbindung zu NVIDIA DGX OS herstellen. Das System verfügt nicht über BMC / IPMI. Ein erzwungener Neustart oder eine Neuinstallation des Betriebssystems wird über ein Konsolen-Ticket angefordert.

Im Ticket die Aufgabenphase, das Fehlerbild und bereits durchgeführte Prüfungen beschreiben. Passwörter, Schlüssel und andere Zugangsdaten weder in öffentlichen Inhalten noch im Betreff einer E-Mail angeben.

Vor der Bestellung alles prüfen

Drei Voraussetzungen entscheiden über die Umsetzbarkeit

Alle Bedingungen sind auf dieser Seite vollständig aufgeführt. Vor der Auswahl der Mietdauer auf der Bestellseite müssen diese drei Punkte bestätigt werden.

  1. 01

    ARM64-Architektur

    x86-Programme und Windows werden nicht unterstützt. Prüfen, ob Binärabhängigkeiten, Python-Erweiterungen und Container-Images des Projekts ARM64 unterstützen. Sind Abhängigkeiten nicht portierbar, sollte nicht allein wegen der passenden Speicherkapazität bestellt werden.

  2. 02

    Ausschließlich DGX OS

    Fest installiert ist NVIDIA DGX OS auf Basis von Ubuntu 24.04 mit CUDA und dem NVIDIA AI-Software-Stack. Andere Distributionen und Windows sind nicht verfügbar. Modelle müssen selbst bereitgestellt und heruntergeladen werden.

  3. 03

    Datenlöschung bei Mietende

    Experimente und Modelle müssen selbst gesichert werden. Vor der Mietplanung Exportziel und Prüfmethode festlegen. Nach Mietende können Gewichte, Checkpoints und Projektdateien nicht auf dem System gespeichert bleiben.

Versuchsrahmen festlegen, dann Mietdauer wählen

NVIDIA DGX Spark bei OnuCloud für $15 pro Tag, Mietdauer 1–365 Tage. Nach Prüfung von ARM64, DGX OS und Datenexport bei Mietende die Mietdauer auf der separaten Bestellseite auswählen.