Machine dédiée · environnement d’expérimentation IA

Location DGX Spark : NVIDIA DGX Spark complet

Une machine entière réservée à un seul client, hébergée dans un centre de données à Tokyo, au Japon.

Pour l’inférence de modèles de langage locaux, les tests de fine-tuning, le développement CUDA et la validation de prototypes d’applications IA. Vérifiez d’abord la compatibilité logicielle ARM64, puis prévoyez la durée nécessaire au téléchargement des poids, à l’exécution et à l’export des résultats.

Configuration fixe, sans modèle préinstallé. Les caractéristiques complètes et les limites d’utilisation sont détaillées ci-dessous.

Détail de câbles réseau et de raccordement illustrant l’infrastructure nécessaire à un service sur machine complète
Exemple de câblage réseau. La configuration du service est celle indiquée dans les caractéristiques de cette page ; la photo ne représente pas un DGX Spark.
Configuration fixe

Du superprocesseur au système : les caractéristiques de la machine

Le CPU, la mémoire unifiée, le stockage et le réseau du DGX Spark sont fournis dans une configuration unique. Cette machine convient aux expériences menées dans un cadre matériel défini, mais pas aux projets qui comptent augmenter les ressources après la location.

Configuration du NVIDIA DGX Spark d’OnuCloud
Élément Caractéristiques et informations d’utilisation
Superprocesseur NVIDIA GB10 Grace Blackwell
CPU 20 cœurs Arm : 10 × Cortex-X925 + 10 × Cortex-A725
Mémoire unifiée 128 Go de mémoire unifiée LPDDR5x, partagée entre le CPU et le GPU ; il ne s’agit pas de deux mémoires indépendantes à additionner.
Stockage local 4 To NVMe, capacité fixe, sans possibilité d’ajouter un disque.
Réseau 1 Gbit/s sans limite de trafic, débit non ajustable.
Adresse publique 1 IPv4 fixe, sans possibilité d’ajouter d’adresse IP.
Système d’exploitation NVIDIA DGX OS basé sur Ubuntu 24.04, avec CUDA et la pile logicielle NVIDIA AI préinstallés ; aucun modèle n’est préinstallé.
Architecture ARM64. La compatibilité de l’architecture doit être vérifiée pour les dépendances du projet, les images de conteneurs et les exécutables.

Seul NVIDIA DGX OS est fourni. Il n’est pas possible de le remplacer par Windows, Proxmox VE ou une autre distribution. La configuration fixe ne propose aucune option de mémoire, de stockage, de débit ou d’adresse IPv4 supplémentaire.

Une durée adaptée aux expériences

Le montant dépend du nombre de jours, pas de la configuration

Le tarif est de $15 par jour, pour une durée de 1 à 365 jours. Montant dû = nombre de jours × tarif journalier, sans remise ni engagement. Ces exemples illustrent le calcul de la durée de location et ne garantissent pas le temps nécessaire aux tests de performance.

1 jour

$15Montant dû

1 × $15 = $15

Adapté à une validation ciblée, lorsque les dépendances sont confirmées et les scripts de test prêts. Le téléchargement des poids et l’export des résultats sont également à prévoir.

7 jours

$105Montant dû

7 × $15 = $105

Adapté à la comparaison de modèles par étapes, à l’ajustement des paramètres d’inférence ou à la validation d’une approche de fine-tuning. Prévoir du temps pour retélécharger des fichiers, résoudre les dépendances et relancer les tests.

30 jours

$450Montant dû

30 × $15 = $450

Adapté aux itérations de prototypes avec une date de fin définie. Le montant reste calculé au tarif journalier, sans changement du prix par jour en fonction de la durée.

La durée doit couvrir quatre étapes : préparation, téléchargement, expérimentation et export. Le téléchargement terminé ne signifie pas que les tests le sont ; il faut aussi prévoir le transfert des données une fois les tâches achevées.

Estimer la mémoire avant de choisir la tâche

La taille des modèles donne un ordre de grandeur, pas une garantie de débit

Selon les indications de NVIDIA, les 128 Go de mémoire unifiée permettent l’inférence quantifiée de modèles d’environ 200B de paramètres et le fine-tuning LoRA / QLoRA de modèles d’environ 70B de paramètres. Les besoins en ressources diffèrent selon la tâche : le nombre de paramètres ne suffit pas à les comparer.

Inférence quantifiée : environ 200B de paramètres

Les poids quantifiés sont plus compacts, mais de l’espace doit aussi être réservé aux caches de contexte, au framework et au système. Cette taille indicative ne garantit pas le fonctionnement avec n’importe quelle longueur de contexte ou n’importe quel niveau de concurrence.

Avant le déploiement, consigner la précision de quantification, la longueur du contexte, le niveau de concurrence visé et les versions des dépendances, puis vérifier l’utilisation mémoire et les performances avec une charge de travail réelle.

128 Go de mémoire unifiée · partagée entre CPU et GPU

LoRA / QLoRA : environ 70B de paramètres

Il s’agit de fine-tuning économe en paramètres, et non d’une promesse d’entraînement sur l’ensemble des paramètres. La longueur des séquences, la taille des lots, l’optimiseur et l’implémentation du framework influent sur les besoins réels en mémoire.

Une approche consiste à valider d’abord le pipeline d’entraînement sur un petit échantillon, puis à élargir l’expérience. Les tâches nécessitant un entraînement multi-machine ou un parc de ressources plus important ne correspondent pas à ce service sur une seule machine.

128 Go de mémoire unifiée · validation selon les paramètres réels
Choix et compromis

Organiser les tests autour d’une expérience avec une échéance claire

Le DGX Spark convient aux projets d’IA de courte durée dont les besoins matériels sont déjà définis. Le choix doit reposer sur la pile logicielle et les limites de la tâche, pas uniquement sur la capacité de mémoire unifiée pour déterminer s’il peut remplacer un autre serveur.

Adapté : évaluation de modèles et validation de prototypes

Comparer des modèles quantifiés, valider l’interface d’un service d’inférence, tester un processus de génération augmentée par récupération ou mener des expériences LoRA / QLoRA. La durée de location est plus facile à planifier lorsque les données d’entrée, les critères d’évaluation et l’emplacement d’export des résultats sont déjà définis.

Le développement CUDA nécessite également de vérifier les dépendances ARM64. La machine dédiée garantit que les ressources sont réservées à un seul client, mais ne remplace pas les tests de compatibilité de l’application.

Vérifier les dépendances et les données avant de planifier les tests

Inadapté : besoins liés à une autre architecture ou à d’autres ressources

Les programmes x86 et Windows ne peuvent pas être exécutés. Aucun cluster multi-machine n’est fourni et il n’est pas possible d’augmenter le stockage ou la mémoire. Les tâches qui exigent ces capacités nécessitent un autre environnement.

Les projets qui prévoient une utilisation continue à long terme avec une facturation mensuelle ne sont pas adaptés à cette formule ; ce produit est facturé au nombre de jours.

Vérifier la compatibilité et les besoins d’extension avant la commande
Le téléchargement des poids compte dans la durée de location

Le budget de transfert commence avec les fichiers du modèle

Aucun modèle n’est préinstallé ; les poids et les jeux de données sont à télécharger. Le débit de 1 Gbit/s est celui de la liaison. Le téléchargement réel dépend aussi du serveur source, du trajet réseau, du nombre de transferts simultanés et de la décompression : le débit théorique ne constitue pas un délai de livraison ou de téléchargement garanti.

Câbles réseau et connexion Internet, pour illustrer le transfert des poids de modèles
Connexion réseau ; la durée de téléchargement dépend de l’ensemble du trajet de transfert, pas seulement du débit du port.

Repères théoriques à 1 Gbit/s

Estimations arrondies à partir de la taille des fichiers et du débit de la liaison, sans tenir compte de la surcharge protocolaire, des limitations de débit, de la vérification ni du traitement des fichiers.

Repères pour planifier la durée de location, sans garantie de résultats mesurés
Taille du fichier Durée théorique estimée
40 Go 5,5 minutes
100 Go 14 minutes
140 Go 19 minutes

Le SSD NVMe de 4 To accueille le système, les poids, les jeux de données, le cache et les résultats des expériences : il ne peut pas être entièrement consacré aux modèles. Les poids de plusieurs versions et les points de contrôle intermédiaires doivent aussi être pris en compte dans le calcul de capacité.

Prévoir la sortie des données avant de commencer

Les données sont effacées à l’échéance : exportez les résultats à l’avance

Les données du DGX Spark sont effacées à l’expiration de la location. Les poids des modèles, les points de contrôle d’entraînement, les rapports d’évaluation, le code et les résultats finaux doivent être sauvegardés avant cette échéance. La machine louée ne doit pas être l’unique copie.

Gérer les données pendant la location

Définir la destination des sauvegardes avant le début des tâches et enregistrer des points de contrôle restaurables au fil des expériences. Après l’export, vérifier l’intégrité des fichiers et conserver les paramètres d’exécution ainsi que les informations sur l’environnement, afin de pouvoir reproduire les tests au-delà des seuls fichiers du modèle.

Le transfert de fichiers volumineux prend aussi du temps. Prévoir une période suffisante entre la dernière tâche et l’échéance pour exporter et vérifier les données.

Exporter les données et vérifier leur intégrité avant l’échéance

Connexion et opérations système

Après la livraison, les identifiants SSH sont disponibles dans la console. La connexion au système NVIDIA DGX OS s’effectue avec l’adresse IPv4 fournie. La machine ne dispose pas de BMC / IPMI ; les redémarrages forcés et la réinstallation du système sont traités par ticket dans la console.

Le ticket doit préciser l’étape de la tâche, le problème rencontré et les vérifications déjà effectuées. Ne pas inclure de mots de passe, de clés ou d’autres identifiants dans des contenus publics ou dans l’objet d’un e-mail.

À vérifier avant de commander

Trois conditions déterminent la faisabilité du projet

Toutes les conditions sont détaillées sur cette page. Avant de choisir la durée de location sur la page de commande, les trois points suivants doivent être confirmés.

  1. 01

    Architecture ARM64

    Les programmes x86 et Windows ne peuvent pas être exécutés. Vérifier la compatibilité ARM64 des dépendances binaires, des extensions Python et des images de conteneurs du projet. Si les dépendances ne peuvent pas être portées, la capacité mémoire à elle seule ne justifie pas la commande.

  2. 02

    NVIDIA DGX OS uniquement

    Le système est fixé à NVIDIA DGX OS, basé sur Ubuntu 24.04 et comprenant CUDA ainsi que la pile logicielle NVIDIA AI. Aucune autre distribution ni Windows n’est fourni. Les modèles doivent être préparés et téléchargés séparément.

  3. 03

    Effacement des données à l’échéance

    Les résultats des expériences et les modèles doivent être sauvegardés séparément. Définir le chemin de transfert et la méthode de vérification avant de planifier la location ; après l’échéance, les poids, les points de contrôle et les fichiers de projet ne pourront plus être conservés sur la machine.

Définir les limites de l’expérience, puis choisir la durée

Le DGX Spark d’OnuCloud est proposé à $15 par jour, pour une durée de 1 à 365 jours. Après vérification de la compatibilité ARM64, de NVIDIA DGX OS et de l’export des données à l’échéance, la durée se choisit sur la page de commande dédiée.