Statsig スタートアッププログラムで得られるもの
Statsig のスタートアッププログラムでは、Statsig のクレジットを最大 5,000 ドル分提供します。これにより、フィーチャーフラグ、実験、プロダクト分析、セッションリプレイを 1 つのイベントストリームで利用できるようになり、ユーザーを暴露したフラグと変更を評価したメトリックが同じレコードになります。
AI Perks は、194 社で 770 万ドルのクレジットとともに、分析カテゴリでこれを追跡しています。
5,000 ドルは、ランウェイではありません。これは、リリースを測定するコストがゼロになる期間を確保するためのもので、その期間にチームは、本当に実験を実行するか、単にリリースして期待するかを判断します。
構築する前に、ベンダーに関する 1 つのコンテキストを共有します。Statsig は 2025 年に OpenAI に買収され、スタンドアロンでの販売を継続しています。ロードベアリングにする前に、それがまだ真実であることを確認してください。現在の詳細は getaiperks.com に記載されています。
実験プラットフォームの本来の目的
実験プラットフォームは、ダッシュボードでは答えられない 1 つの質問に答えます。変更によって数字が動いたのか、それとも数字はどうせ動くだろうと考えていたのか？
代替案は、何もしないということではありません。それは、機能をリリースし、1 週間グラフを監視し、勝利を宣言することです。これは、季節性、プレスリリース、月末、そしてその週にリリースした他の 3 つの要因など、地味な理由で失敗します。
Statsig が販売している具体的なことは、フラグとメトリックが 1 つのシステムであるということです。個別のベンダーから組み立てられたスタックでは、露出はフラグツールにあり、コンバージョンは分析ツールにありますが、それらを結合することは、静かに決して完了しないデータエンジニアリングの作業です。
これは何ではありません。
- プロダクト分析の代替ではありません。 分析機能は含まれていますが、ファネルチャートはユーザーがどこで離脱するかを示します。実験は、修正が効果があったかどうかを示します。
- ランダム化できない決定には役立ちません。 40 のエンタープライズアカウント全体での価格変更は、サンプルサイズ 40 の判断ミスです。
- 定義されたメトリックの代わりではありません。 その議論はテスト前に行われるか、後で行われて結果を台無しにします。
正直なテストはトラフィックであり、計算は非情です。
実験が意味を持つ前に必要なトラフィック量
ほとんどの初期段階のチームは、実際にリリースしている改善の規模を検出できません。10% のベースラインコンバージョン率で 5% の相対改善を検出するには、テストで約 115,000 人のユーザーが必要であり、小さな改善ほど多くのトラフィックが必要です。
以下の表は、2 側テストにおける 10% のベースラインコンバージョン率、80% の統計的検出力、95% の信頼度 を想定しています。数値はベースラインによって変動しますが、形状は変動しません。
| 検出したい相対的なリフト | 10% ベースラインでの変化 | アームあたりのユーザー数 | テストあたりの合計ユーザー数 |
|---|---|---|---|
| 50% | 10% から 15% | ~580 | ~1,200 |
| 20% | 10% から 12% | ~3,600 | ~7,200 |
| 10% | 10% から 11% | ~14,400 | ~28,800 |
| 5% | 10% から 10.5% | ~57,600 | ~115,000 |
| 2% | 10% から 10.2% | ~360,000 | ~720,000 |
これは、落胆させるものではなく、シーケンスのルールとして読んでください。月間数千人未満の場合、測定できるのは大規模な変更のみです。 そのため、ボタンの色ではなく、再設計やオンボーディングフローをテストしてください。Statsig がサポートする CUPED などの分散削減方法は、これらの数値を、桁数を変更せずに縮小します。
これが、必要になる前にクレジットを保持する価値がある理由です。プラットフォームは早期に計装するのが安価で、トラフィックは後で到着します。
Statsig の価格設定は、スケールするとどのように動作するか
Statsig は歴史的に、開発者シートではなく、分析イベントに基づいてメーターを計ってきました。フィーチャーフラグと実験の評価は、分析の取り込みよりもはるかに寛大に扱われています。したがって、請求額は、採用したエンジニアの数ではなく、ログに記録した量を示します。
これは、シート単位の価格設定ツールとは大きく異なる形状であり、両面に作用します。トラフィックが多い 5 人のチームは、静かな B2B 製品を持つ 50 人のチームよりも多く支払う可能性があります。
| メーター | それを駆動するもの | それを急増させるもの |
|---|---|---|
| 分析イベント | 分析のために送信するすべてのログイベント | 高トラフィックのマーケティングサイト全体で自動キャプチャがオンになっている |
| フィーチャーフラグチェック | アプリでのフラグ評価 | 歴史的に最も寛大なメーターであり、問題になることはめったにありません |
| セッションリプレイ | キャプチャされ保持されたセッション | トラフィックの急増中にサンプリングなしで 100% でリプレイ |
| リテンションウィンドウ | イベント履歴がクエリ可能である期間 | 大量のイベントストリームでの長期的な遡及 |
| ウェアハウスネイティブ | 独自のウェアハウスで実行される分析 | Snowflake または BigQuery によって請求され、Statsig によって請求されるわけではありません |
公開されているティアと無料の許容量は頻繁に変更されるため、モデリングする前に現在の数値を検証してください。
2 つのメカニズムがほとんどの請求書を決定します。自動キャプチャ: すべてのページでのすべてのクリックを計装すると、膨大なイベント量が発生し、追加の洞察はほとんど得られません。これは、オンにする 1 行です。サンプリング: トラフィックが急増したページでフルキャプチャでリプレイすることは、古典的なサプライズ請求項目です。
ウェアハウスネイティブ分析には注意が必要です。独自の Snowflake、BigQuery、または Databricks データに対して実行すると、そのコンピューティングがウェアハウスの請求書に移動しますが、クレジットはそれをカバーしません。これは正しいアーキテクチャである可能性がありますが、それでも、ヘッダーが示唆するよりもグラントを長持ちさせる可能性があります。
Statsig クレジットがスタックするもの
実験はそれ自体で請求されます。クラウドクレジットはそれを吸収せず、モデルクレジットはそれを吸収せず、オブザーバビリティクレジットはそれを吸収しません。そのため、Statsig グラントは、重複するのではなく、真に付加価値があります。
大規模な AWS または Google Cloud グラントを保持している創業者は、SaaS ツーリングをカバーしていると日常的に想定しています。それは違います。
機能するリリース・測定ループは 4 つのレイヤーに触れ、スタートアッププログラムはそれぞれのために存在します。
- コンピューティング - デプロイするクラウド、通常は最も大きなクレジット
- リリース - フラグと実験、このクレジットがカバーするレイヤー
- シグナル - オブザーバビリティとエラー追跡。これにより、コンバージョンメトリックよりも数分前にロールアウトがうまくいっていないことがわかります。
- ストレージ - ベンダーを変更した場合でも保持する信頼のソースとして生のイベントを保持するウェアハウス
最後のレイヤーは、クレジットが資金を供給すべきアーキテクチャ上の決定です。イベントを、独自のウェアハウスにも着陸させるパイプラインを通じてログに記録すると、Statsig はスワップ可能になります。SDK のみに直接計装すると、履歴はベンダー内に保存されます。クレジットは、資金を供給するものが後で交換可能である場合に最も安価です。 どのプログラムがどのレイヤーをカバーしているかが、AI Perks が追跡リストとして維持されている理由です。
創業者が実験クレジットについて間違っていること
最も高価な間違いは、チームがまだログ記録のデフォルトを形成している間に、無料クレジットに価格シグナルを削除させることです。コストがかからなかったときにオンにしたものは何でも、後で定価で引き継ぎます。
5 つのパターン。コストがかかる順に並べると次のようになります。
結果を覗き見して早期に停止すること。 統計的有意性に達した瞬間にテストを毎日チェックして停止すると、偽陽性が大幅に増加します。固定ホライズン テストには、事前にコミットされたサンプルサイズが必要か、連続監視用に設計された逐次テスト手法が必要です。
パワー不足のテストを実行して、フラットと呼ぶこと。 必要なトラフィックの 1/4 のテストは、通常、有意な差を返しません。チームはこれを「機能は何も行わなかった」と読みますが、「わからなかった」わけではありません。
初日から自動キャプチャをオンにすること。 これは、予期せぬイベント請求に最も速くつながる方法であり、生成されるデータは、最終的に分析するデータではありません。
パーセンテージ ロールアウトを実験として扱うこと。 事前に宣言されたメトリックとコントロール グループなしで 10% に引き上げることは、追加の手順を伴うデプロイです。
オフボーディングを遅すぎる計画すること。 クレジットは、ランプではなく、崖として終了します。70% 消費時に、ログに記録するイベントとサンプリング率がどうなるかを決定し、getaiperks.com で分析カテゴリの他のものが移行を緩和できるかを確認してください。
Statsig が分析クレジットの中でどこに位置するか
getaiperks.com の分析カテゴリには、Statsig が他の実験、プロダクト分析、ウェアハウス プログラムと共に、それぞれの現在の金額と条件とともにリストされています。
アクセラレータと投資家チャネルは、公開ルートよりも異なる金額を持つことが多いため、まずネットワークがすでにカバーしているものを確認してください。クレジット時計は通常、アクティベーション時に開始されるため、テスト可能なトラフィックが得られるまで保持されたグラントは、空のファネルで消費されたものよりも価値があります。
いずれにしても、規律は同じです。維持できる非補助金の月額請求額を書き留め、次に自動キャプチャ、リプレイサンプリング、リテンションウィンドウを、クレジットが終了したときにそこに到達するように設定します。
よくある質問
Statsig スタートアッププログラムの価値はいくらですか？
Statsig のクレジットとして最大 5,000 ドルで、フィーチャーフラグ、実験、プロダクト分析、セッションリプレイを 1 つのプラットフォームでカバーします。中程度のトラフィックを持つチームにとっては、実験ラインで十分なランウェイですが、大量のイベントボリュームはそれをより速く消費します。現在の金額は getaiperks.com で追跡されています。
A/B テストが価値があるようになるには、どのくらいのトラフィックが必要ですか？
リリースする改善の規模が検出できる程度です。10% のベースラインで 20% の相対リフトを検出するには、テストあたり約 7,200 人のユーザーが必要ですが、5% のリフトには約 115,000 人が必要です。月間数千人未満の場合、小さな調整ではなく、大規模な再設計をテストしてください。
Statsig はフィーチャーフラグには無料ですか？
Statsig は歴史的に、寛大な月間イベント許容量と異常に緩やかなフラグ評価を備えた無料ティアを提供しており、有料の使用量は主に分析イベントに基づいてメーターを計っています。無料ティアは定期的に変更されるため、特定の数値を変動するものとして扱い、計画する前に現在の条件を確認してください。
AWS または Google Cloud クレジットは Statsig をカバーしますか？
いいえ。Statsig は、クラウドプロバイダーとは別に請求されるサードパーティの SaaS ベンダーであるため、AWS Activate または Google Cloud グラントは実験請求書に影響を与えません。その分離は、2 つがきれいにスタックする理由です。コンピューティング、リリース、分析レイヤー全体で互換性のあるプログラムは、getaiperks.com で追跡されています。
ウェアハウスネイティブ実験とは何ですか？請求額は変わりますか？
それは、実験分析が、ベンダーが保持するコピーではなく、Snowflake、BigQuery、または Databricks ウェアハウスにあるデータに対して実行されることを意味します。チームは、データ管理とガバナンスのためにそれを選択します。コストの結果は重要です。クエリコンピューティングはウェアハウスの請求書に移動し、Statsig クレジットではカバーされません。
Statsig クレジットがなくなるとどうなりますか？
無料だった間に選択された自動キャプチャ、リプレイサンプリング、リテンション設定によって形成された請求書を、定価で引き継ぎます。最初に意図的に設定し、所有するウェアハウスに生のイベントを保持してプラットフォームがスワップ可能になるようにし、最初の非補助金の請求書の後ではなく、その前に何が変更されるかを決定してください。
変更をリリースしてください。それが効果があったかどうかを学ぶのに費やす 1 年間を誰かに資金提供させましょう。