aiDAPTIV TM

オンプレミスで実現する、プライベートかつ高速なLLM 推論と大規模学習

技術リソース 

ベンチマークは、その測定方法が明確であってこそ意味を持ちます

公開するすべての結果には、ワークロード、システム、ランタイム、比較条件、制限事項を明記します。

記載項目
内容
ワークロード
モデル、精度、プロンプトまたはデータセット、タスク
システム
CPU/GPU、ユニファイドメモリまたはディスクリートメモリアーキテクチャ、オペレーティングシステム、キャッシュメモリ構成
ランタイム
バージョン、量子化、関連設定
比較
ベースライン、指標、条件、トレードオフ、制限事項
記載項目

ワークロード

内容

モデル、精度、プロンプトまたはデータセット、タスク

記載項目

システム

内容

CPU/GPU、ユニファイドメモリまたはディスクリートメモリアーキテクチャ、オペレーティングシステム、キャッシュメモリ構成

記載項目

ランタイム

内容

バージョン、量子化、関連設定

記載項目

比較

内容

ベースライン、指標、条件、トレードオフ、制限事項

ホワイトペーパーおよび技術ガイド

VRAMとDRAMを超えて:KVキャッシュの拡張と再利用 

Pascari aiDAPTIV™が、対象となるKVキャッシュの保持容量を拡張し、ドキュメント、RAG、コーディング、エージェントの各ワークフローで、互換性のある共有入力を再利用する仕組みをご覧ください。

aiDAPTIV ミドルウェアのリソース

最新のミドルウェアであるaiDAPTIVLink 2のインストールガイド、環境要件、ファインチューニングワークフローのリソースをご覧いただけます。

SEAMLESS INTEGRATION

  • Optimized middleware to extends GPU memory capacity
  • 2x 2TB aiDAPTIVCache to support 70B model
  • 低遅延

HIGH ENDURANCE

  • 業界をリードするDWPD 5 年以内に 1 日あたり 100 回の書き込み
  • 高度な NAND 修正アルゴリズムを備えた SLC NAND

aiDAPTIV+ BENEFITS

  • 簡単に実装
  • AI アプリケーションを変更する必要はありません
  • Reuse existing HW or add nodes

aiDAPTIV+ MIDDLEWARE

  • モデルを分割して各GPUに割り当てる
  • Hold pending slices on aiDAPTIVCache
  • Swap pending slices w/ finished slices on GPU

FOR SYSTEM INTEGRATORS

  • Access to ai100E SSD
  • Middleware library license

  • Full Phison support to bring up