Databricks スタートアップ プログラムが提供するもの
Databricksは、データインテリジェンスプラットフォームの利用に最大50,000ドル相当のクレジットを提供しており、Sparkコンピューティング、SQLウェアハウス、Delta Lakeパイプライン、Mosaic AI機械学習スタックを単一プラットフォームの請求でカバーします。
これは、データプラットフォームカテゴリにおける比較的大きな助成金の一つです。AI Perksは、194社にわたる1,000万ドル相当のクレジットと並んでこれを追跡しています。
実際に重要な数字は50,000ドルではありません。重要なのは、このクレジットがDatabricksプラットフォームの消費をカバーするものであり、一般的にプラットフォームが実行されるクラウド仮想マシン（AWS、Azure、Google Cloudに直接支払い続けるもの）はカバーしないという事実です。この構造を見誤った創業者たちは、請求書1枚のために予算を立て、実際には2枚の請求書を受け取ることになります。条件はルートによって異なり、現在の条件はgetaiperks.comに記載されています。
Databricksは実際には何のためにあるのか
Databricksは、分析と機械学習の両方に対する単一のガバナンスレイヤーを販売しているため、BIダッシュボードが読み取るテーブルとモデルがトレーニングされるテーブルは、同じ権限を持つ同じテーブルになります。
その各部分は、個別に、そして安価に存在します。Postgresは驚くべき規模までの分析を処理します。dbtは変換を処理します。S3とParquetはストレージを処理します。Airflowはオーケストレーションを処理します。MLflowはオープンソースであり、自分でホストすることもできます。
あなたが購入しているのは、それらの間の連携、そして顧客について矛盾する5つのシステムを維持するデータエンジニアの不在です。Delta Lakeは、オブジェクトストレージ上でACIDトランザクションとタイムトラベルを提供します。Unity Catalogは、SQL、ノートブック、モデルトレーニング全体で単一の権限モデルを提供します。
あなたがこれを必要としているかどうかの正直なテスト：あなたのビジネスが依存するクエリの実行に、あなたの忍耐力よりも時間がかかりますか、またはあなたのダッシュボードとは異なる場所からトレーニングデータが来ていますか？ どちらも真実でない場合、Postgresとdbtで十分であり、クレジットは後で使った方が良いでしょう。単一のPostgresインスタンスは、数千万行のデータとほとんどのシード段階の分析を問題なく処理します。
イベントストリームをトランザクションデータに結合したり、数百ギガバイトのSparkジョブを実行したり、ガバナンスが必要なデータでトレーニングしたりしている場合、このカテゴリが存在する理由をすでに理解しているはずです。
Databricksの価格設定はスケールするとどのように動作するか
DatabricksはDBU（Databricks Unit）で請求します。これは秒単位の消費単位であり、そのレートはどの製品で作業を実行するかによって変化し、その請求書はプロバイダーに支払う個別のクラウドインフラストラクチャ請求書の上にあります。
同じSparkジョブでも、どのレーンで実行するかによって劇的に異なる金額がかかります。これは、クレジットを有効にする前に理解すべき最も重要なことです。
| メーター | おおよそのリスト価格の挙動 | スパイクの原因 |
|---|---|---|
| ジョブコンピューティング | 1 DBUあたり約0.15ドル、AWSプレミアムティア | 問題になることはめったにない、これは安価なレーン |
| オールパーパスコンピューティング | 1 DBUあたり約0.55ドル、ジョブコンピューティングの約3.5倍 | インタラクティブクラスタに残された本番パイプライン |
| サーバーレスSQL | 1 DBUあたり約0.70ドル | 自動更新ダッシュボード、自動停止が未設定 |
| Delta Live Tables | 機能セットによるティア制 | トリガーで十分な場合に継続モード |
| モデルサービング | プロビジョニングされたスループットのDBU時間あたり | 到着しないトラフィックのためにウォームに保たれているエンドポイント |
| 基盤となるクラウドVM | AWS、Azure、またはGCPに支払われ、Databricksには支払われない | 頻繁にDBU料金自体と同程度の規模 |
これらは執筆時点でのAWSプレミアムティアにおける公開リスト価格であり、変動します。何らかのモデリングを行う前に、現在のレートを確認してください。
具体的な例。4ノードのジョブクラスタで、ノード時間あたり約2 DBU、夜間2時間実行すると、月間約480 DBU、プラットフォーム料金で約72ドルになります。単一の2X-SmallサーバーレスSQLウェアハウスを平日の8時間稼働させると、月間約700 DBU、約490ドルを消費します。その下のEC2請求を追加すると、シード段階のフットプリントは月額約1,100ドルになり、50,000ドルのクレジットで約3年半カバーできます。
逆がチームが苦しむところです。自動終了が無効になっている5ノードのオールパーパスクラスタは、月間約7,200 DBU、DBUだけで約3,960ドルを消費しますが、誰も使用していない作業のためです。誰もそれを意図して選択しません。誰かが金曜日にラップトップを閉じたために起こります。AI Perksはクレジットの条件をリストしていますが、規律はあなた次第です。
Databricksクレジットはどのようなものと組み合わせられるか
Databricksクレジットはプラットフォームの消費をカバーし、その下のクラウドVMはプロバイダーによって請求されるため、クラウドクレジットとDatabricksクレジットはインフラストラクチャにおいて最もクリーンな組み合わせです。
これは珍しいことです。ほとんどのクレジットプログラムは重複しており、2つを保持すると1つを無駄にすることがよくあります。ここではそれらは真に補完的です。AWS、Azure、またはGoogle Cloudの助成金はコンピューティングとストレージレイヤーを吸収し、Databricksの助成金はその上のプラットフォームレイヤーを吸収します。両方を保持しているチームは、実質的に同じ期間、データスタック全体をカバーしています。
初期AI製品の完全な全体像：
- クラウドクレジットは、マシンが実行される場所とデータが保存される場所をカバーします。
- Databricksクレジットは、そのストレージをガバナンスされたテーブルとパイプラインに変換するプラットフォームをカバーします。
- モデルおよびAPIクレジットは、実行時にアプリケーションが呼び出す推論をカバーします。
- オブザーバビリティクレジットは、それらのどれかが機能しているかどうかを知ることをカバーします。
どの助成金が互換性があり、どれが静かに除外しているかを知ることが、AI Perksがブックマークのフォルダではなく、維持されているリストとして存在する理由です。
創業者たちがデータプラットフォームクレジットについて間違っていること
最も高価な間違いは、大きなクレジットを無料のデータエンジニアリングとして扱うのではなく、それが終了した後に支払えるコスト習慣を築くための固定された期間として扱うことです。
5つの失敗パターン、コストの高い順に並べられています：
オールパーパスコンピューティングでの本番稼働。 インタラクティブクラスタは開発を行う場所です。ジョブコンピューティングはスケジュールされた作業が属する場所であり、ほぼ同じ出力でDBUレートの約3分の1です。チームはノートブックでプロトタイプを作成し、ノートブックをスケジュールし、永遠に3倍の料金を支払います。
自動終了がない。 アイドル状態のクラスタは、ビジー状態のクラスタと同じコストがかかります。最初の請求書の後ではなく、作成した日にすべてのオールパーパスクラスタに積極的な自動終了を設定し、すべてのSQLウェアハウスに自動停止を設定してください。
2番目の請求書を忘れる。 クレジットはDBUを相殺します。クラウドプロバイダーは依然としてインスタンス、ストレージ、およびエグレスに請求します。両方の予算を立て、getaiperks.comでこのプログラムと一緒にどのクラウドプログラムが利用できるかを確認してください。
データが正当化する前にレイクハウスを採用する。 クレジットは、チームがデフォルトを選択するまさにその瞬間に価格シグナルを削除します。データが5GBの時点でDatabricksに移行すると、速度ではなく複雑さが得られ、その後運用モデルを引き継ぐことになります。
出口計画が遅すぎる。 クレジットはリスト価格で評価されるため、50,000ドルのクレジットは交渉済みの支出50,000ドルよりも価値が低く、終了月はランプではなくクリフになります。70%消費された時点でカットするものを決定してください。100%ではありません。
データプラットフォームクレジットを取得する前に決定すべきこと
データプラットフォームクレジットは、それが隠しているコスト習慣が、それなしでも支払える習慣である場合に最も価値があります。
AI Perksは、Databricksをデータおよびインフラストラクチャカテゴリの他のウェアハウス、ストリーミング、パイプラインプログラムと並んで、それぞれの現在の条件と金額とともにリストしており、カテゴリは一度に1つのプログラムではなく、1つの全体像として読み取れます。
メーターが開始される前に決定する価値のある4つのこと：
2番目の請求書。 プラットフォームの消費とクラウドインフラストラクチャは、異なる会社によって請求されます。Databricksの助成金だけでは、実際のデータプラットフォームコストの約半分がカバーされません。これが、同じ場所にリストされているクラウドプログラムがこのプログラムと同じくらい重要である理由です。
パートナールート。 大規模なインフラストラクチャクレジットの大部分は、直接ルートではなく、アクセラレーター、投資家、およびクラウドマーケットプレイスを通じてスタートアップに到達し、条件はルートによって異なります。1つのパスがあると仮定する前に、既存の関係がすでに何をアンロックしているかを知る価値があります。
ワークロードに対するタイミング。 クレジットクロックは通常、アカウントが承認されたときではなく、アクティブ化されたときに開始されます。パイプラインがまだ設計中である間に実行されているクレジットは、何も消費していないクレジットです。
あなたの非補助金番号。 初日にプラットフォームがフルプライスでいくらかかるかを書き留め、次にクラスタポリシー、自動終了、およびウェアハウスサイジングを設定して、クレジットが終了したときにそこに到達するようにします。発見した場所ではありません。
よくある質問
Databricksスタートアッププログラムの価値はいくらですか？
Databricksプラットフォームのクレジットで最大50,000ドル相当。Sparkジョブ、SQLウェアハウス、Delta Live Tablesパイプライン、機械学習ワークロードをカバーします。月額約1,100ドルを消費するシード段階のチームにとって、それはプラットフォーム請求で約3年半のランウェイになります。現在の条件と適格性はgetaiperks.comで追跡されています。
DatabricksクレジットはAWSまたはAzureの請求書をカバーしますか？
一般的にいいえ。DatabricksクレジットはDBUで測定されるプラットフォームの消費を相殺しますが、その下の仮想マシン、オブジェクトストレージ、およびネットワークエグレスはクラウドプロバイダーによって請求されます。予算を立てる前に特定の条件を確認し、1つの大きな助成金ではなく、クラウド助成金とDatabricks助成金の両方を保持する計画を立ててください。
Pre-seedスタートアップにとってDatabricksは過剰ですか？
しばしばそうです。Postgresとdbtは、数千万行のデータとほとんどのシード段階の分析をほとんど費用なしで処理します。Databricksは、イベントデータをトランザクションデータに結合したり、数百ギガバイトのSparkを実行したり、ガバナンスと再現性が必要なデータでモデルをトレーニングしたりするときに、その価格に見合う価値があります。
DBUとは何ですか、なぜレートが変わるのですか？
DBUはDatabricks Unitの略で、消費された処理の秒単位の測定値です。DBUあたりのレートは、どの製品が作業を実行するかによって異なります。ジョブコンピューティングは最も安価なレーンであり、オールパーパスコンピューティングは約3.5倍のコストがかかり、サーバーレスSQLはさらに高くなります。インタラクティブクラスタでスケジュールされた作業を実行することは、最も一般的な回避可能な過剰支出です。
Databricksクレジットを他のスタートアップクレジットと組み合わせることはできますか？
はい、そして請求書が重複しないため、この組み合わせは異常にクリーンです。クラウドクレジットはマシンをカバーし、Databricksクレジットはプラットフォームをカバーし、モデルクレジットは実行時の推論をカバーします。どのプログラムが互換性があるかは、getaiperks.comで194社にわたって追跡されています。
Databricksクレジットが尽きたらどうなりますか？
無料だった間に形成された習慣によってサイズ設定された請求書を引き継ぎます。それは交渉されたレートではなく、リスト価格です。修正策は、クレジットが失効したときに実行しているものに、非補助金のフットプリントがすでにそうなるように、早期にクラスタポリシー、自動終了、およびウェアハウス制限を設定することです。
データプラットフォームを構築しましょう。最初の3年間は誰かに資金を出してもらいましょう。