Confluentスタートアッププログラムが提供するもの
Confluentは、完全に管理されたApache KafkaサービスであるConfluent Cloudで最大20,000ドルのクレジットを提供します。これは、クラスターの使用量、データ転送、保持ストレージ、およびその上位のストリーム処理レイヤーをカバーします。
AI Perksは、194社で770万ドルのクレジットとともにそれを追跡しています。
構造的な詳細は、見出しの数値よりも重要です。Confluent Cloudクラスターは、あなたのクラウドアカウントではなく、Confluent自身のクラウドアカウント内で実行されます。したがって、クレジットはストリーミング請求をクリーンにカバーし、議論する共有メーターはありません。また、プロデューサーとコンシューマーを実行するコンピューティングリソースや、それらの間に配置したプライベートネットワーキングは一切カバーしません。現在の利用規約はgetaiperks.comに記載されています。
Confluentの実際の用途
Kafkaは、複数の独立したコンシューマーが同じイベントストリームを自分のペースで読み取ることができる、耐久性があり、順序付けられ、再生可能なログです。Confluentは、そのログをあなたのために運用するものであり、さらに、ほとんどのチームが自分で組み立てるスキーマ、コネクター、ストリーム処理レイヤーも提供します。
それが必要かどうかを決定する区別は、ログとキューです。キューはメッセージを一度に1つのワーカーに配信し、それを忘れます。ログはイベントを保持し、6か月後に新たに追加されたコンシューマーは最初からすべての履歴を読み取ることができます。
3つの質問が2つのケースを分けます。
- 複数のシステムが同じイベントを必要としますか？ 1つのプロデューサー、4つのコンシューマー、それらは互いを認識する必要はありません。これはKafkaが構築されたケースです。
- 再生したいことはありますか？ 派生テーブルの再構築、新しいフィーチャーストアのバックフィル、バグ後の再処理。キューではこれはできません。ログはそれを日常にします。
- コンシューマーは独立して失敗しますか？ 分析シンクがダウンしてもチェックアウトをブロックできない場合、ログが提供する分離が必要です。
これらすべてに正直な答えが「いいえ」の場合は、** jobsテーブルを備えたPostgres、Redisストリーム、またはSQSで、はるかに少ない費用と運用サーフェスで対応できます。** 多くの成功した製品はそれ以上成長しません。クレジットは後で使う方が良いです。
決定のもう半分は、ビルド対購入です。Kafkaはフリーソフトウェアであり、ライセンスがコストのかかる部分であったことはありません。パーティションの再バランス、保持チューニング、ブローカーのアップグレード、深夜3時のディスク圧力、そしてそれらすべてを理解している担当者がコストのかかる部分です。KRaftはZooKeeperの依存関係を削除し、セルフホスティングを大幅に簡素化しましたが、オンコールローテーションを削除したわけではありません。
Confluent Cloudの価格設定がスケールでどのように振る舞うか
Confluent Cloudの請求は主にバイト単位で行われます：データイン、データアウト、および保持されるデータ。創業者が驚くメーターはアウトバウンドトラフィックです。なぜなら、同じトピックを読み取るコンシューマーグループの数で乗算されるからです。
| メーター | それを駆動するもの | それが急増する原因 |
|---|---|---|
| インバウンドトラフィック | プロデューサーによって書き込まれたGB | 詳細なイベント、圧縮なし、イベントとして扱われるログ |
| アウトバウンドトラフィック | コンシューマーによって読み取られたGB | 追加のコンシューマーグループごとに、ストリーム全体を再読み込みします |
| ストレージ | GB × 保持期間 | 無限またはデフォルトの保持期間を検査せずに放置 |
| クラスターベース | クラスタータイプとプロビジョニングされた容量 | スループットが正当化する前に購入された専用容量 |
| コネクター | 実行中のタスクとスループット | 移行完了後に実行されたままのアイドルコネクター |
| ストリーム処理 | Flinkの使用量、独自のメーターで課金 | スケジュールされたバッチで済む連続ジョブ |
| ネットワーク | プライベートネットワーキングとクロスゾーンパス | コンプライアンスのために追加されたPrivateLinkまたはピアリング、予算化なし |
レートは、クラスタータイプ、クラウドプロバイダー、およびリージョンによって異なり、変更されます。何かをモデリングする前に、Confluent自身の価格設定ページで現在の数値を検証してください。
実際に重要な計算は、ファンアウト乗数です。月に50GBのイベントを書き込む製品を考えてみましょう。4つのコンシューマーグループがそのトピックを読み取ります：アプリケーション、検索インデクサー、ウェアハウスシンク、および不正チェック。これは、50GBのインバウンドトラフィックと200GBのアウトバウンドトラフィックであり、実際のデータ50GBに対して約250GBがメーターに表示されます。これは5倍の乗数です。
スケールしても、その形状は維持されます。月に1TBのインバウンドトラフィックで、同じ4つのコンシューマーがいる場合、約5TBがメーターに表示されます。インバウンドトラフィックの数ではなく、価格設定計算機に自身の数値を入力してください。インバウンドトラフィックのみで予算を組むチームは、ファンアウトの状況によって間違っており、それゆえに20,000ドルの助成金が一部の製品では他の製品よりもはるかに長く続く理由でもあります。AI Perksはクレジットの条件をリストしており、ファンアウトはあなた次第です。
請求に最も影響を与える2つのレバーがあります。プロデューサー側の圧縮は、ワイヤーを越えるバイト数を減らし、zstdまたはlz4をJSONペイロードに適用することは、1行の設定変更で通常大幅な削減につながります。保持期間はストレージの純粋な乗数であり、デフォルトは意図的に選択した数値であることがめったにありません。
Confluentクレジットがスタックするもの
Confluentクレジットは、ストリーミングレイヤーのみをカバーします。プロデューサーとコンシューマーを実行するコンピューティング、ストリームが着陸するウェアハウス、およびそれが供給するモデルはすべて個別の請求であり、ストリーミングクレジットは異常にスタックしやすいです。
機能するイベントパイプラインは、4つの異なるベンダーに触れ、それぞれに助成金が存在します。
- クラウドクレジットは、プロデューサーとコンシューマーが実行されるマシン、およびワイヤーのあなたの側でのストレージとアウトバウンドトラフィックをカバーします。
- Confluentクレジットは、その間のトランスポート、スキーマレジストリ、およびストリーム処理をカバーします。
- データプラットフォームクレジットは、ストリームが着陸するウェアハウスまたはレイクハウスをカバーします。
- モデルおよびAPIクレジットは、実行時にコンシューマーが呼び出す可能性のある推論をカバーします。
これらの4つのうち3つを保持しているチームは、同じ期間でリアルタイムデータスタックの大部分をカバーしています。どの助成金が互換性があり、どの助成金が静かに互いを排除するかを知ることが、AI Perksがブックマークのフォルダではなくリストとして維持されている理由です。
創業者たちがストリーミングクレジットについて誤解していること
最も高価な間違いは、Kafkaをタスクキューとして使用することです。なぜなら、ログが提供するものは何も必要とせずに、ログの運用およびコストモデルを採用することになるからです。
5つの失敗パターン、コストの順に並べています。
Kafkaをジョブキューとして採用する。 1つのワーカーが各メッセージを消費し、誰も再生しない場合、データベーステーブルとcronジョブがすでに実行していたことを実行するために、パーティション管理とコンシューマーグループの再バランスを購入することになります。
ファンアウトの盲目。 新しいコンシューマーグループは、トピックの完全な追加読み込みです。1四半期に1つのコンシューマーを追加する3つのチームは、誰も設定を変更していない請求を3倍にすることができます。コンシューマーを追加する前に、既存のコンシューマーが代わりに派生トピックを公開できないか尋ねてください。
ログのストリーミング。 アプリケーションログは大量であり、バイトあたりの価値は低く、その形状に合わせて価格設定されたログプラットフォームに属します。それらをKafkaに通すことは、誰も再生しないデータでクレジットを消費する最も速い方法です。
早期の過剰パーティショニング。 パーティションは並列処理の単位であり、無料ではありません。チームは安全のために大きな数を選択し、パーティション数は増やすのが簡単で減らすのが痛みを伴うことを発見します。
出口計画が遅すぎる。 Kafkaプロトコルは真にポータブルです。それを取り巻くものはそうではありません。請求書が届いた後ではなく、クレジット消費量の70% で、非補助付きのアーキテクチャがどのようになるかを決定してください。
Confluentおよびその他のデータプラットフォームクレジットの計画方法
ストリーミングクレジットは、アーキテクチャがそれをどれだけ価値あるものにするかによって価値が決まり、それらの決定は最初のトピックがライブになる前に下されます。
早期に決めるべき5つの価値、コストインパクトの順に並べています。
請求全体をマッピングする、Confluentの行だけではない。 getaiperks.comのカタログには、ストリーミング、ウェアハウス、パイプラインプログラムが並べてリストされており、リアルタイムスタックのどの部分がカバーされ、どの部分があなたのものとして残るかのビューが表示されます。
クラウド請求を別途予算化する。 プロデューサー、コンシューマー、およびプライベートネットワーキングは、Confluentがカバーするものであれ、AWS、Azure、またはGoogle Cloudによって請求されます。ストリーミング行が減少しても、その行は減少しません。
コンシューマーが存在する前に、保持期間と圧縮を設定する。 どちらも1行の決定であり、クレジットの寿命にわたって累積し、下流システムがそれに依存するようになると変更するのが気まずくなります。
新しいコンシューマーグループをコスト決定として扱う。 ファンアウトは、誰も設定を編集せずに成長するメーターなので、既存のコンシューマーが代わりに派生トピックを公開できないか尋ねてください。
ポータブルな境界がどこにあるかを決定する。 単純なKafkaプロトコル使用は移動します。マネージドFlinkジョブ、Confluentコネクター、およびガバナンス構成は移動しないため、最初から移動可能な部分をクリーンに保ちます。
よくある質問
Confluentスタートアッププログラムの価値はいくらですか？
Confluent Cloudで最大20,000ドルのクレジット。クラスターの使用量、インバウンドトラフィック、アウトバウンドトラフィック、保持ストレージ、およびストリーム処理をカバーします。月に数十ギガバイトをストリーミングする製品の場合、これはストリーミング請求における長いランウェイです。現在の金額と適格性はgetaiperks.comで追跡されています。
Confluentクレジットは私のAWSまたはGoogle Cloud請求をカバーしますか？
いいえ。Confluent CloudクラスターはConfluent自身のクラウドアカウントで実行されるため、クレジットはConfluentの請求書のみを相殺します。プロデューサーとコンシューマーを実行するコンピューティング、あなた自身のストレージ、および設定したプライベートネットワーキングは、クラウドプロバイダーによって請求されます。クラウド助成金とConfluent助成金の両方を保持することを計画してください。
Kafkaは初期段階のスタートアップには過剰ですか？
多くの場合、そうです。1つのワーカーが各メッセージを消費し、履歴を再生しない場合は、Postgres、Redisストリーム、またはSQSの方が安価でシンプルです。Kafkaは、複数の独立したシステムが同じイベントを読み取る場合、再生が重要な場合、または1つの遅いコンシューマーが製品の残りをブロックしてはならない場合に、そのコストに見合います。
Confluentのアウトバウンドトラフィック請求がインバウンドトラフィックより高いのはなぜですか？
すべてのコンシューマーグループが完全なストリームを読み取るためです。1つのトピックの4つのコンシューマーは、インバウンドトラフィック量の約4倍のアウトバウンドトラフィックになります。インバウンドトラフィックではなく、ファンアウト乗数で計算された数値から予算を組み、5番目のリーダーを追加する代わりに、1つのコンシューマーに派生トピックを公開させることを検討してください。
Confluentクレジットを他のスタートアップクレジットと組み合わせることはできますか？
はい、請求が重複しないため、ストリーミングクレジットは異常にクリーンにスタックします。クラウドクレジットはマシンをカバーし、Confluentはトランスポートをカバーし、データプラットフォームクレジットは着陸するウェアハウスをカバーし、モデルクレジットは推論をカバーします。どのプログラムが互換性があるかは、getaiperks.comで194社にわたって追跡されています。
Confluentクレジットがなくなった場合、どうなりますか？
無料期間中に選択された保持期間、圧縮、およびファンアウトのデフォルトによってサイズ設定された請求書を引き継ぎます。それらを最初から意図的に設定し、統合をポータブルなままであるKafkaプロトコルレベルに保ち、クレジット消費量の70%でカットするものを請求書が到着した後ではなく決定してください。
イベントを移動させます。あなたがそれを構築している間、誰かにトランスポートの資金を調達させてください。