無料AWS Trainiumクレジットの価値は？
AWS Trainiumクレジットは、Amazon独自のAIアクセラレーターでモデルをトレーニングまたはサーブするスタートアップ向けに最大30万ドルまで提供されます。これは、初期段階のチームが利用できる単一のコンピューティンググラントとしては最大級の部類に入ります。
この金額が大きいのは、ワークロードが高価だからです。モデルの重みを自社で所有する企業にとって、アクセラレーター時間は、製品に顧客がつく前に給与を上回る可能性のある唯一の項目です。
対象となるかどうかは、構築予定の製品ではなく、ステージと資金調達状況によって決まります。AI Perks は、現在の条件と、194社に194社に770万ドルのクレジットを追跡しています。
AWS Trainiumの実際の用途
Trainiumはサービスではなく、チップです。AWSはこれをディープラーニングのトレーニングと高ボリュームの推論のために設計しており、ホストされたAPIとしてではなく、独自のスタックを実行するEC2 Trnインスタンスとして利用します。
この区別が、クレジットがあなたにとって有用かどうかを決定します。それにより、次の2つのことが導き出されます。
トレーニングコードはあなたが持ち込む。 Trainiumインスタンスは、生のアクセラレーター容量を提供します。フレームワーク、分散トレーニング設定、チェックポインティング、オーケストレーションなど。
ソフトウェアレイヤーはAWS Neuron SDKです。 Neuronは、PyTorchまたはJAXグラフをTrainiumランタイムにコンパイルするものです。これにより、モデルがこのシリコン上で高速に実行され、また、移植が容易ではないものにもなります。
Trainiumには、推論を目的としたInferentiaという姉妹ラインがありますが、新しい世代のTrainiumは両方でマーケティングされています。AWSはチップ世代を定期的に改良しており、実際に利用できる世代は、クレジット残高ではなく、リージョンと容量によって異なります。
Trainiumは、オープンウェイトモデルをファインチューニングしたり、ドメインデータで継続的な事前トレーニングを行ったり、大量の推論をセルフホストしたりするチームに適しています。製品がAPI経由で他社のモデルを呼び出すだけの場合、これは間違ったレイヤーであり、モデルクレジットが必要になります。AI Perks は両方のカテゴリを並べてリストしています。
Trainiumのコストはスケールするとどのように振る舞うか
アクセラレータの支出はリクエスト単位ではなく、インスタンス時間単位で請求されるため、請求書はクラスターが稼働している時間と、どれだけ効率的に利用しているかを追跡し、生成された出力の量ではありません。
これは、大規模なクレジットグラントを使用する前に、単一で最も重要なことを理解することです。
| ワークロード | 請求を推進するもの | 30万ドルはどのように振る舞うか |
|---|---|---|
| オープンウェイトモデルのファインチューニング | 短時間のマルチノードバースト | 多くの実験をカバーし、使い切るのが難しい |
| ドメインデータでの継続的な事前トレーニング | 数週間にわたる持続的なクラスター時間 | シリーズではなく、1回の真剣な実行 |
| 定常負荷でのセルフホスト推論 | 常時稼働のインスタンス時間 | 毎月予測可能に消費される |
| 評価とリサーチスイープ | ジョブ間のアイドルクラスター | 他のどのパターンよりも速く無駄になる |
| フロンティアスケールのゼロからのトレーニング | 数千時間のアクセラレーター時間 | 丸め誤差 |
計画を立てる価値のある3つのコストの振る舞いがあります。
利用率がレートを支配する。 40%の利用率のクラスターは、90%のクラスターと同じ時間あたりのコストがかかります。半分アイドル状態のジョブを実行しながら、より安い時間あたりのレートを追いかけるのは間違った最適化です。
マルチノードスケーリングはサブ線形である。 ノードを2倍にしても、壁時計時間が半分になることはめったにありません。相互接続とデータローディングが制限となり、理論的スループットと実現スループットのギャップがクレジットが消える場所です。
ストレージとデータ移動は2番目の請求です。 チェックポイント、データセット、クロスゾーントラフィックは、アクセラレータラインの隣で静かに蓄積され、コンピューティングに適用されるクレジットがすべてをカバーしない場合があります。
AWSは、Trainiumをヘッドラインの時間あたりの価格ではなく、比較可能なGPUインスタンスに対する価格性能で位置づけています。公開されている比較はベンダーの主張として扱い、アーキテクチャとシーケンス長に大きく依存するため、独自のモデルをベンチマークしてください。
AWS Trainiumクレジットは何とスタックできるか
コンピューティングクレジットとモデルクレジットは異なる請求であり、最も強力な資金調達ポジションは、単一の大きなグラントを単一のレイヤーに持つのではなく、異なるレイヤーにわたる複数の小さなグラントを保持することです。
ほとんどのAIスタートアップは、4つの別々の請求書を支払います。そのうちの1つをカバーするグラントは役立ちます。3つをカバーする組み合わせは、1年間のランウェイです。
| スタックのレイヤー | 何を支払うか | 一般的なクレジット規模 |
|---|---|---|
| アクセラレーターコンピューティング（Trainium） | トレーニング実行、セルフホスト推論 | 最大30万ドル |
| 一般的なクラウド（ストレージ、データ、サービング） | モデルをラップするすべて | 5桁から6桁 |
| モデルAPI（Anthropic、OpenAI、Google） | 製品が行う呼び出し | 4桁から6桁 |
| 開発ツールとオブザーバビリティ | 構築、監視、評価 | 数百から数千 |
Trainiumは最初の行にのみ存在します。自分でトレーニングしていない部分のモデルをトレーニングし、フロンティアAPIを呼び出す場合、同時に1行目と3行目を支払っており、両方を申請すべきです。プログラム間の互換性は異なります。そして、AI Perks が解決するために存在する詳細です。
創業者が見誤るTrainium
最も高価な間違いは、TrainiumをドロップインGPU交換として予算計上し、クレジットがすでにカウントダウンしている後にポートコストを発見することです。
4つの繰り返し発生するエラー：
ポートの過小評価。 サポートされているフレームワークパスを通過する標準的なトランスフォーマーアーキテクチャは、きれいに移行する傾向があります。カスタムCUDAカーネル、エキゾチックなアテンションバリアント、最先端の研究コードはそうではありません。ロードマップにコミットする前に、実際のデータで実際のトレーニングステップをベンチマークしてください。
クレジットが容量を解決すると仮定する。 クレジット残高は請求手段です。希望するリージョンで、希望する時間に大規模なマルチノードクラスターを取得することは、お金だけでは解決できない容量と予約の問題です。
時計を早めに開始する。 コンピューティングクレジットは時間制限があります。それを吸収できるワークロードの数ヶ月前に大規模なグラントをアクティブ化することは、創業者があらゆる機会を浪費する最も一般的な方法であり、シーケンスはヘッドラインの金額よりも重要です。
間違った単位を測定する。 時間あたりのレートはあなたのコストではありません。完了したトレーニング実行あたりのコスト、またはサーブされた100万トークンあたりのコストです。時間あたりの数値を追跡するチームは、最も安いインスタンスを最適化し、結果あたりの支払いが多くなります。
5番目の、静かな間違いは、1つのプログラムに申請して停止することです。プロバイダー間の承認基準は十分に異なるため、少数の申請は1つの慎重な申請よりも優れています。getaiperks.com は、完全なセットが存在する場所です。
コンピューティングクレジットプログラムにおけるTrainiumの位置づけ
Trainiumは、混雑したアクセラレータープログラムの分野における1つの選択肢であり、有用な比較は、どのヘッドラインの数値が最大かではなく、各プログラムが実際にどの請求書の部分を退職させるかということです。
AWS、Google Cloud、Azure、Nvidia、および多数のサーバーレスGPUプロバイダーはすべてAIスタートアップを対象としたクレジットプログラムを実行しています。宣伝されている金額は、それぞれがアクセラレーター時間、一般的なクラウドサービス、およびマネージドモデルエンドポイントの異なる組み合わせをカバーするため、それらの間で比較することはできません。使用しないサービスのみを支払う大規模なグラントは、実際のボトルネックをカバーする控えめなグラントよりも価値が低くなります。
コンピューティンググラントから価値を得るチームと、未使用のグラントを保持するチームを分ける3つのこと：
準備がサイズに勝る。 グラントは、それが有効な間に吸収できる価値があります。トレーニングコードを実行する準備ができているチームは、アクセラレータークレジットを結果に変換します。ベースモデルを選択中のチームは、残高が静止しているのを watching しがちです。
幅が集中に勝る。 プロバイダー間の承認基準は十分に異なるため、アクセラレーターコンピューティング、一般クラウド、モデルAPI、およびツールの複数の小さなグラントを保持することは、単一のレイヤーの1つの大規模なグラントよりも強力なポジションです。
条件が移動する。 インフラストラクチャプログラムは、他のどのクレジットカテゴリよりも頻繁に金額、カバレッジ、および資格基準を改訂するため、ランドスケープのスナップショットは、創業者が予想するよりも速く古くなります。AI Perksは、その画像を最新の状態に保つことがそれ自体で仕事であるため存在します。
よくある質問
無料AWS Trainiumクレジットはいくらですか？
AWSアクセラレーターインスタンスでモデルをトレーニングまたはサーブするスタートアップ向けに、最大30万ドル（30万ドルAWSクレジットと表記されることもあります）です。これは、初期段階の企業が利用できる単一のコンピューティンググラントとしては最大級のものです。対象となるかどうかは、使用ケースではなく、ステージと資金調達状況によって決まります。現在の条件はgetaiperks.comで追跡されています。
AWS Trainiumは何に使われますか？
TrainiumはAmazonのカスタムディープラーニングアクセラレーターです。チームは、モデルをゼロからトレーニングしたり、継続的な事前トレーニングを行ったり、オープンウェイトモデルをファインチューニングしたり、大量のセルフホスト推論を行ったりするために使用します。EC2 Trnインスタンスとして消費され、AWS Neuron SDKを通じてプログラムされるため、トレーニングスタックは自分で提供する必要があります。
TrainiumはGPUを借りるより安いですか？
AWSはTrainiumを時間あたりの価格ではなく、価格性能で位置づけており、正直な答えはモデルによります。Neuronコンパイラにきれいにマッピングされる標準的なトランスフォーマーワークロードは、うまくいく傾向があります。異常なアーキテクチャやカスタムカーネルは、ポート作業と低い実現利用率にアドバンテージを失う可能性があります。
TrainiumクレジットをモデルAPIクレジットと組み合わせることができますか？
はい、そしてほとんどのチームはそうすべきです。それらは異なる請求書をカバーします。Trainiumは、独自のモデルをトレーニングおよび実行する場所であり、Anthropic、OpenAI、Googleのクレジットは、その周囲で製品が行うフロンティアAPI呼び出しをカバーします。両方を保持することが、創業者が1年をカバーする方法です。スタックするものについては、AI Perks を参照してください。
PyTorchコードをTrainium用に書き直す必要がありますか？
通常は書き直しではありませんが、ポートを期待してください。AWS Neuron SDKはPyTorchとJAXにプラグインされ、一般的なモデルアーキテクチャは構成変更で移行します。カスタムカーネルとサポートされていない操作が実際の作業が座る場所なので、計画を立てる前に完全なトレーニングステップをベンチマークしてください。
スタートアップは他にどのようなコンピューティングクレジットを申請すべきですか？
AWS、Google Cloud、Azure、Nvidia、およびいくつかのサーバーレスGPUプロバイダーはすべてスタートアッププログラムを実行しており、それらのいくつかは互換性があります。AI Perksは、getaiperks.com で、現在の条件とともに、194社にわたる770万ドルのクレジットを追跡しています。
モデルをトレーニングする。シリコンは他の誰かに支払わせる。