aiDAPTIV TM

オンプレミスで実現する、プライベートかつ高速なLLM 推論と大規模学習

aiDAPTIV キャッシュメモリ

aiDAPTIV 
Cache Memory

SSDはAIメモリシステムの一部 

Pascari aiDAPTIV™ キャッシュメモリは、aiDAPTIVTMメモリアーキテクチャにおけるフラッシュベースの容量階層です。 

aiDAPTIVTM ミドルウェアと連携し、GPUメモリ、ユニファイドメモリ、またはシステムメモリの容量が制約されている場合に、対象となるAI処理に必要なメモリ情報を保持します。ワークロードとランタイムに応じて、その状態にはKVキャッシュ、アクティブ度の低いMoEエキスパート、モデルデータ、トレーニング状態データなどが含まれます。 

これは単なるオーバーフロー用ストレージではありません。aiDAPTIVTMキャッシュメモリはアクティブなAIワークフローの一部として機能し続け、有用な状態を破棄して後で再構築するのではなく、より大容量の階層に保持します。 

aiDAPTIV Cache Memory system

コントローラとファームウェアが重要な理由 

aiDAPTIVTMキャッシュメモリは、単にフラッシュ容量を提供するだけではありません。 

SSDコントローラとファームウェアは、継続的な書き込み、レイテンシの変動、摩耗管理、データ配置、リカバリ動作、ワークロード間の競合をドライブがどのように処理するかに影響します。SSDをパッシブストレージではなくAIメモリ階層として使用する場合、これらの特性が重要になります。 

ファイソン社は、より広範なソリューションの一環として、コントローラ、ファームウェア、NAND構成、aiDAPTIVTMミドルウェアスタックを開発しています。これにより、AIキャッシュワークロードで求められる継続的なデータ移動と耐久性の要件にSSDの動作を適合させるための基盤をプラットフォームに提供します。 

目的は、フラッシュをGPUメモリと同様に動作させることではありません。目的は、高速メモリが制約される場合に、有用なAI処理状態を保持できる、耐久性と予測可能性を備えた下位階層を提供することです。 

継続的なAIキャッシュ処理向けに設計 

AIのメモリトラフィックは、一般的なファイルストレージとは異なります。 

汎用SSDは通常、オペレーティングシステム、アプリケーション、ユーザーファイル、および断続的なストレージ処理を想定して容量設定とチューニングが行われています。
AIキャッシュ階層では、ワークロードがメモリ階層間を移動する中で、データの保持、更新、退避、復元、上書きが繰り返し行われる場合があります。 

これには、長いコンテキストのKVキャッシュ、取得したRAGデータ、非アクティブなMoEエキスパート、モデルレイヤーのデータ、アクティベーション、その他のトレーニング状態が含まれる場合があります。 

したがって、耐久性は二次的な仕様ではなく、アーキテクチャの一部です。

aiDAPTIV キャッシュメモリは、高耐久性フラッシュ、専用SSD設計、高度なNANDエラー訂正技術を採用し、継続的なAIキャッシュ処理向けに設計されています。製品レベルの耐久性および保証仕様はSKUによって異なります。

aiDAPTIV キャッシュメモリの
2つの導入方法 

aiDAPTIV キャッシュメモリには、2つの導入モデルがあります。 

専用aiDAPTIV キャッシュメモリ SSD 
専用aiDAPTIVTMキャッシュメモリ SSDは、AIワークロード専用のドライブ容量を提供します。 

この構成は、M.2、U.2、E1.S、またはE3.Sスロットに空きがあり、AIキャッシュ処理をオペレーティングシステム、アプリケーションファイル、ユーザーデータから分離する必要があるシステムを対象としています。 

専用aiDAPTIV キャッシュメモリは、長いコンテキストの推論、繰り返し使用されるRAGまたはコーディングコンテキスト、より大規模なMoEエキスパートプール、メモリ制約下でのファインチューニングなど、より大規模なメモリ保持ワーキングセットに適しています。

製品ファミリ 
インターフェース 
フォームファクター 
ロードマップに記載されている容量 
AI100E 
PCIe 4.0 
M.2 2280, U.2, E1.S 
320 GB to 2 TB 
AI200E 
PCIe 5.0 
U.2, E3.S 
2 TB to 8 TB 
AI250E 
PCIe 5.0 
M.2 2280 
2 TB 
AI20E
PCIe 5.0 
M.2 2280 
320 GB and 1 TB 

製品ファミリ 

AI100E 

インターフェース 

PCIe 4.0 

フォームファクター 

M.2 2280, U.2, E1.S 

ロードマップに記載されている容量 

320 GB to 2 TB 

製品ファミリ 

AI200E  

インターフェース 

PCIe 5.0 

フォームファクター 

U.2, E3.S 

ロードマップに記載されている容量 

2 TB to 8 TB 

製品ファミリ 

AI250E

インターフェース 

PCIe 5.0 

フォームファクター 

M.2 2280 

ロードマップに記載されている容量 

2 TB 

製品ファミリ 

AI20E 

インターフェース 

PCIe 5.0 

フォームファクター 

M.2 2280 

ロードマップに記載されている容量 

320 GB and 1 TB 

ハイブリッドストレージ + キャッシュSSD 

ハイブリッド構成では、従来のストレージとaiDAPTIVTMキャッシュメモリを1台のドライブに統合します。 

オペレーティングシステム、アプリケーション、ユーザーファイルはストレージ領域を使用し、aiDAPTIVTMは割り当てられたキャッシュメモリ容量を対象となるAI処理のメモリキャッシュ領域として使用します。 

これは、2台目のドライブ用スロットを確保できない場合があるAI PC、ノートPC、ミニPC、コンパクトデスクトップ、その他のシステムに適した実用的な構成です。

製品ファミリ 
インターフェース 
フォームファクター 
ロードマップに記載されている容量 
AI20EH 
PCIe 5.0 
M.2 2280 
768 GBストレージ + 85 GBキャッシュ
1,638 GBストレージ + 128 GBキャッシュ
3,686 GBストレージ + 128 GBキャッシュ

製品ファミリ 

AI20EH 

インターフェース 

PCIe 5.0 

フォームファクター 

M.2 2280 

ロードマップに記載されている容量 

768 GB storage + 85 GB cache

1.6 TB storage + 128 GB cache

3.3 TB storage + 256 GB cache

aiDAPTIV Cache Memory configurations

Laptop form factors M.2 2280 & 2242

Laptop form factors
M.2 2280 & 2242

システムに適した構成を選択 

構成 
使用条件: 
代表的なシステム 
専用aiDAPTIV キャッシュメモリ SSD 
システムに利用可能なドライブスロットがあり、AIワークロードでオペレーティングシステムやユーザーストレージの処理と競合することなく、大容量の保持キャッシュを必要とする場合 
ディスクリートGPUデスクトップ、ワークステーション、エッジシステム、サーバー 
ハイブリッドストレージ + キャッシュSSD 
ドライブスロットが限られており、同じM.2フォームファクターで従来のストレージとaiDAPTIV キャッシュメモリの両方が必要な場合 
ノートPC、ミニPC、コンパクトデスクトップ、およびドライブ容量が限られた統合型またはユニファイドメモリシステム 

構成 

専用aiDAPTIV キャッシュメモリ SSD 

使用条件: 

システムに利用可能なドライブスロットがあり、AIワークロードでオペレーティングシステムやユーザーストレージの処理と競合することなく、大容量の保持キャッシュを必要とする場合 

代表的なシステム 

ディスクリートGPUデスクトップ、ワークステーション、エッジシステム、サーバー 

構成 

ハイブリッドストレージ + キャッシュSSD 

使用条件: 

ドライブスロットが限られており、同じM.2フォームファクターで従来のストレージとaiDAPTIV キャッシュメモリの両方が必要な場合 

代表的なシステム 

ノートPC、ミニPC、コンパクトデスクトップ、およびドライブ容量が限られた統合型またはユニファイドメモリシステム 

適切な選択肢は、対象プラットフォーム、利用可能なドライブベイまたはスロット、ランタイムのサポート、モデルとコンテキストの要件、およびワークロードに必要なキャッシュメモリ容量によって異なります。 

SEAMLESS INTEGRATION

  • Optimized middleware to extends GPU memory capacity
  • 2x 2TB aiDAPTIVCache to support 70B model
  • 低遅延

HIGH ENDURANCE

  • 業界をリードするDWPD 5 年以内に 1 日あたり 100 回の書き込み
  • 高度な NAND 修正アルゴリズムを備えた SLC NAND

aiDAPTIV+ BENEFITS

  • 簡単に実装
  • AI アプリケーションを変更する必要はありません
  • Reuse existing HW or add nodes

aiDAPTIV+ MIDDLEWARE

  • モデルを分割して各GPUに割り当てる
  • Hold pending slices on aiDAPTIVCache
  • Swap pending slices w/ finished slices on GPU

FOR SYSTEM INTEGRATORS

  • Access to ai100E SSD
  • Middleware library license

  • Full Phison support to bring up