量子化推論:約200Bパラメーター
量子化すると重みのサイズは小さくなりますが、実行時にはコンテキストキャッシュ、フレームワーク、システム用のメモリも必要です。モデル規模の目安は、任意のコンテキスト長や同時実行数で動作することを示すものではありません。
導入前に量子化精度、コンテキスト長、目標同時実行数、依存関係のバージョンを記録し、実際のワークロードでメモリ使用量と応答性能を検証してください。
1台を1契約者専用で提供。設置場所は日本・東京です。
ローカルLLMの推論、ファインチューニング実験、CUDA開発、AIアプリのプロトタイプ検証に適しています。ARM64のソフトウェア互換性を確認したうえで、モデルのダウンロード、実行、結果のエクスポートに必要な利用期間をお決めください。
固定構成で提供し、モデルはプリインストールされていません。詳細な仕様と利用条件は以下をご確認ください。
DGX Sparkは、CPU、統合メモリ、ストレージ、ネットワークを一つの固定構成で提供します。決められたハードウェアの範囲で実験を再現したい場合に適しています。利用開始後の増設を前提とするプロジェクトには適しません。
| 項目 | 提供仕様・利用上の注意 |
|---|---|
| スーパーチップ | NVIDIA GB10 Grace Blackwell |
| CPU | 20コア Arm:10 × Cortex-X925 + 10 × Cortex-A725 |
| 統合メモリ | 128GB LPDDR5x統合メモリ。CPUとGPUで共有するため、独立したメモリ2つ分として合算できません。 |
| ローカルストレージ | 4TB NVMe固定。ドライブの追加はできません。 |
| ネットワーク | 1 Gbps・転送量無制限。帯域幅の変更はできません。 |
| パブリックIPアドレス | 固定IPv4アドレス1個。IPアドレスの追加はできません。 |
| OS | NVIDIA DGX OS(Ubuntu 24.04ベース)。CUDAとNVIDIA AIソフトウェアスタックをプリインストール。モデルは含まれません。 |
| アーキテクチャ | ARM64。プロジェクトの依存関係、コンテナイメージ、バイナリのアーキテクチャ互換性をご確認ください。 |
OSはNVIDIA DGX OSのみです。Windows、Proxmox VE、その他のディストリビューションには変更できません。固定構成のため、メモリ、ストレージ、帯域幅、IPv4のオプション追加もできません。
料金は1日$15、利用期間は1~365日です。合計金額 = 日数 × 1日あたりの料金。割引や契約期間の設定はありません。以下は料金計算例であり、性能テストに必要な時間を保証するものではありません。
$15今回のお支払い額
1 × $15 = $15
依存関係の確認とテストスクリプトの準備が済んでいる場合の集中的な検証に適しています。モデルのダウンロードと結果の転送に必要な時間も考慮してください。
$105今回のお支払い額
7 × $15 = $105
モデルを複数回比較したり、推論パラメーターを調整したり、ファインチューニング方法を検証したりする場合に適しています。再ダウンロード、依存関係の調査、再テストの時間も確保してください。
$450今回のお支払い額
30 × $15 = $450
終了日が明確なプロトタイプの反復開発に適しています。料金は日数×日額で計算され、利用期間が延びても日額は変わりません。
準備、ダウンロード、実験、エクスポートの4段階を含めて利用期間を見積もってください。ダウンロード完了は実験の完了を意味しません。作業終了後のデータ転送時間も必要です。
NVIDIAの公式情報によると、128GBの統合メモリは約200Bパラメーターの量子化推論、および約70BパラメーターのLoRA / QLoRAファインチューニングに利用できます。必要なリソースはタスクごとに異なるため、パラメーター数だけで単純比較はできません。
量子化すると重みのサイズは小さくなりますが、実行時にはコンテキストキャッシュ、フレームワーク、システム用のメモリも必要です。モデル規模の目安は、任意のコンテキスト長や同時実行数で動作することを示すものではありません。
導入前に量子化精度、コンテキスト長、目標同時実行数、依存関係のバージョンを記録し、実際のワークロードでメモリ使用量と応答性能を検証してください。
ここで示すのはパラメーター効率の高いファインチューニングであり、全パラメーター学習を保証するものではありません。シーケンス長、バッチサイズ、オプティマイザー、フレームワークの実装によって、実際のメモリ要件は変わります。
まず少量のデータで学習パイプラインを検証し、その後実験を拡大する用途に適しています。マルチノード学習や、より大規模なリソースプールを必要とするタスクには適しません。
DGX Sparkは、必要なハードウェアが明確な短期AIプロジェクトに適しています。選定時は統合メモリ容量だけで他のサーバーの代替可否を判断せず、ソフトウェアスタックとタスクの要件をご確認ください。
量子化モデルの比較、推論サービスのAPI検証、検索拡張ワークフローのテスト、LoRA / QLoRA実験などに適しています。入力データ、評価基準、結果の保存先を事前に用意すると、利用期間を有効に活用できます。
CUDA開発でもARM64の依存関係確認が必要です。実機を専有できるサービスですが、アプリケーションの互換性検証に代わるものではありません。
x86プログラムやWindowsは実行できません。マルチノードクラスターも提供しておらず、ストレージやメモリの増設もできません。これらの機能が必須の場合は、別の実行環境をご検討ください。
月単位で長期間稼働させることを前提としたプロジェクトにも、本ページの利用方法は適しません。本製品は日数単位の料金設定です。
モデルはプリインストールされていないため、重みやデータセットはご自身でダウンロードしてください。1 Gbpsは回線速度です。実際のダウンロード時間は、配信元、ネットワーク経路、同時接続数、展開処理などにも左右されます。理論値を提供時間やダウンロード所要時間として扱わないでください。
ファイル容量と回線速度から概算し、数値を丸めています。プロトコルのオーバーヘッド、速度制限、検証、ファイル処理は含みません。
| ファイル容量 | 理論所要時間 |
|---|---|
| 40GB | 約5.5分 |
| 100GB | 約14分 |
| 140GB | 約19分 |
4TB NVMeにはシステム、モデルの重み、データセット、キャッシュ、実験結果が保存されます。すべてをモデル用の空き容量として使えるわけではありません。複数バージョンの重みや中間チェックポイントも含めて容量を計画してください。
DGX Sparkは利用終了後にデータが削除されます。モデルの重み、学習チェックポイント、評価記録、コード、最終結果は、利用終了前にご自身でバックアップしてください。レンタル機を唯一の保存先にしないでください。
作業開始前にバックアップ先を決め、実験中は復元可能なチェックポイントを保存してください。エクスポート後はファイルの完全性を確認し、実行パラメーターと環境の記録も保管しましょう。モデルファイルだけでは実験を再現できない場合があります。
大容量ファイルの転送にも時間がかかります。最終タスクの完了から利用終了までに、エクスポートと検証の時間を十分に確保してください。
提供後、コントロールパネルでSSH認証情報を確認し、指定されたIPv4でNVIDIA DGX OSに接続してください。本機にはBMC / IPMIがありません。強制再起動とOSの再インストールは、コントロールパネルからチケットで依頼してください。
チケットには作業段階、問題の内容、実施済みの調査を記載してください。公開情報やメールの件名にパスワードや鍵などの認証情報を記載しないでください。
以下の条件をすべて本ページに記載しています。折りたたみ表示にせず、注文ページで3項目を確認してから利用日数を選択してください。
x86プログラムやWindowsは実行できません。プロジェクトのバイナリー依存関係、Python拡張、コンテナイメージがARM64に対応しているか確認してください。依存関係を移行できない場合、メモリ容量が適切という理由だけで注文しないでください。
OSはUbuntu 24.04ベースのNVIDIA DGX OS固定で、CUDAとNVIDIA AIソフトウェアスタックが含まれます。他のディストリビューションやWindowsは利用できません。モデルはご自身で用意し、ダウンロードしてください。
実験結果とモデルはご自身でバックアップしてください。転送先と検証方法を決めてから利用期間を設定してください。利用終了後は、重み、チェックポイント、プロジェクトファイルを本機に保存し続けることはできません。
OnuCloud DGX Sparkは固定料金で1日$15、利用期間は1~365日です。ARM64、DGX OS、利用終了前のデータ転送について確認後、専用注文ページで日数を選択してください。