ファインチューニングでは、利用可能な演算能力を十分に活用する前にメモリが不足する場合があります。
トレーニングジョブでは、モデルの重み以外にもメモリが必要です。勾配、オプティマイザの状態、アクティベーション、中間データ、入力シーケンス、バッチにもメモリが必要です。
モデルサイズ、シーケンス長、またはバッチサイズを増やすと、システムが演算能力を使い切る前に高速メモリが不足する可能性があります。
Pascari aiDAPTIV™は、モデルのトレーニング時に利用可能な容量を、GPUメモリのみの場合よりも拡張することで、メモリ制約下でのファインチューニングを実用化します。
aiDAPTIVTMが対応するトレーニング統合環境では、ワーキングセット全体をGPUメモリに同時に保持するのではなく、モデルおよびトレーニングに必要なメモリをGPUメモリ、システムメモリ、キャッシュメモリにわたってステージングできます。
具体的な処理方法は、モデル、ランタイム、トレーニング手法、ハードウェア構成、シーケンス長、バッチサイズによって異なります。ワークロードに応じて、容量と実行時間のバランスを取るために、データを保持したり、メモリシステム内で移動したり、再計算したりする場合があります。
管理下の環境にデータを保持しながら、より大規模な候補モデルや、より要件の厳しいファインチューニング構成を検討できます。
パラメータ効率の高いチューニングでも、モデルサイズ、シーケンス長、バッチ構成によってはメモリ制限に直面する場合があります。
sequence length, and batch configuration.
クラウドでのトレーニングが適さない場合でも、ドメインデータをローカルに保持できます。
Fine-tuning performance depends on the model, runtime, training method, hardware configuration, sequence length, batch size, and data movement through the memory tiers.
The value is added training capacity when GPU memory alone is the limiting factor.
English English 
繁體中文
简体中文
日本語
