Chương trình Khởi nghiệp của Statsig Cung cấp Những Gì Cho Bạn
Chương trình khởi nghiệp của Statsig cung cấp tới 5.000 đô la tín dụng cho Statsig, tích hợp cờ tính năng, thử nghiệm, phân tích sản phẩm và xem lại phiên trên một luồng sự kiện duy nhất, do đó, cờ đã hiển thị cho người dùng và chỉ số đánh giá sự thay đổi là cùng một bản ghi.
AI Perks theo dõi điều này trong danh mục Phân tích cùng với 7,7 triệu đô la tín dụng trên 194 công ty.
5.000 đô la không phải là thời gian hoạt động. Nó mang lại một khoảng thời gian mà việc đo lường một bản phát hành hoàn toàn miễn phí, đây là lúc một nhóm phát hiện ra liệu họ có thực sự chạy thử nghiệm hay chỉ đơn giản là phát hành và hy vọng.
Một lưu ý về nhà cung cấp trước khi bạn xây dựng dựa trên nó: Statsig đã được OpenAI mua lại vào năm 2025 và tiếp tục được bán độc lập. Hãy xác nhận điều này vẫn đúng trước khi sử dụng nó làm nền tảng quan trọng. Chi tiết hiện tại được liệt kê trên getaiperks.com.
Nền tảng Thử nghiệm Thực sự Dùng Để Làm Gì
Một nền tảng thử nghiệm trả lời câu hỏi mà bảng điều khiển không thể: sự thay đổi của bạn có làm cho con số đó thay đổi không, hay con số đó vốn dĩ sẽ thay đổi?
Sự thay thế không phải là không có gì. Đó là việc phát hành tính năng, theo dõi biểu đồ trong một tuần và tuyên bố chiến thắng. Điều đó thất bại vì những lý do không hào nhoáng: tính thời vụ, một bài báo được đề cập, cuối tháng và ba thứ khác bạn đã phát hành trong tuần đó.
Điều cụ thể mà Statsig bán là cờ và chỉ số là một hệ thống. Trong một ngăn xếp được lắp ráp từ các nhà cung cấp riêng biệt, việc hiển thị nằm trong công cụ cờ và việc chuyển đổi nằm trong công cụ phân tích, và việc kết hợp chúng là một công việc kỹ thuật dữ liệu mà âm thầm không bao giờ được hoàn thành.
Điều này không phải là:
- Không phải là sự thay thế cho phân tích sản phẩm. Nó bao gồm phân tích, nhưng biểu đồ phễu cho bạn biết mọi người rời đi ở đâu. Một thử nghiệm cho bạn biết liệu bản sửa lỗi của bạn có hiệu quả không.
- Không hữu ích cho các quyết định mà bạn không thể ngẫu nhiên hóa. Thay đổi giá đối với 40 tài khoản doanh nghiệp là một quyết định dựa trên đánh giá với cỡ mẫu là 40.
- Không phải là sự thay thế cho một chỉ số được xác định. Cuộc tranh luận đó xảy ra trước bài kiểm tra, hoặc nó xảy ra sau đó và làm sai lệch kết quả.
Bài kiểm tra trung thực là lưu lượng truy cập, và phép toán là không tình cảm.
Cần Bao Nhiêu Lưu Lượng Truy Cập Trước Khi Một Thử Nghiệm Có Ý Nghĩa
Hầu hết các nhóm giai đoạn đầu không thể phát hiện ra quy mô của chiến thắng mà họ thực sự đang phát hành. Phát hiện mức cải thiện tương đối 5% trên tỷ lệ chuyển đổi cơ bản 10% cần khoảng 115.000 người dùng trong thử nghiệm, và những chiến thắng nhỏ là những thứ cần nhiều lưu lượng truy cập nhất.
Bảng dưới đây giả định tỷ lệ chuyển đổi cơ bản 10%, sức mạnh thống kê 80% và độ tin cậy 95% trong một thử nghiệm hai mặt. Các con số sẽ thay đổi theo cơ sở của bạn, nhưng hình dạng thì không.
| Mức tăng tương đối muốn phát hiện | Thay đổi trên cơ sở 10% | Người dùng trên mỗi nhánh | Tổng số người dùng mỗi thử nghiệm |
|---|---|---|---|
| 50% | 10% đến 15% | ~580 | ~1.200 |
| 20% | 10% đến 12% | ~3.600 | ~7.200 |
| 10% | 10% đến 11% | ~14.400 | ~28.800 |
| 5% | 10% đến 10,5% | ~57.600 | ~115.000 |
| 2% | 10% đến 10,2% | ~360.000 | ~720.000 |
Hãy đọc điều đó như một quy tắc trình tự, không phải là sự cản trở. Dưới vài nghìn người dùng mỗi tháng, chỉ những thay đổi lớn mới có thể đo lường được, vì vậy hãy thử nghiệm thiết kế lại và luồng onboarding, không phải màu sắc nút. Các phương pháp giảm phương sai như CUPED, mà Statsig hỗ trợ, thu hẹp các con số này mà không thay đổi bậc độ lớn.
Đây là lý do tại sao tín dụng lại đáng giữ trước khi bạn cần nó. Nền tảng này rẻ để trang bị công cụ sớm và lưu lượng truy cập đến sau.
Giá Statsig Hoạt Động Như Thế Nào Khi Mở Rộng Quy Mô
Statsig trong lịch sử đo lường dựa trên sự kiện phân tích thay vì chỗ ngồi của nhà phát triển, với việc đánh giá cờ tính năng và thử nghiệm được đối xử hào phóng hơn nhiều so với việc thu nạp phân tích. Do đó, hóa đơn của bạn theo dõi số lượng bạn ghi nhật ký, chứ không phải số lượng kỹ sư bạn thuê.
Đó là một hình dạng có ý nghĩa khác biệt so với các công cụ định giá theo chỗ ngồi, và nó có cả hai mặt. Một nhóm năm người có lưu lượng truy cập cao có thể trả nhiều hơn một nhóm năm mươi người với một sản phẩm B2B yên tĩnh.
| Đo lường | Điều gì thúc đẩy nó | Điều gì làm nó tăng đột biến |
|---|---|---|
| Sự kiện phân tích | Mọi sự kiện đã ghi nhật ký bạn gửi để phân tích | Tự động chụp được bật trên trang web tiếp thị có lưu lượng truy cập cao |
| Kiểm tra cờ tính năng | Đánh giá cờ trong ứng dụng của bạn | Trong lịch sử là phép đo hào phóng nhất, vì vậy hiếm khi là vấn đề |
| Xem lại phiên | Các phiên được chụp và lưu giữ | Xem lại không được lấy mẫu ở 100% trong thời gian lưu lượng truy cập tăng đột biến |
| Cửa sổ lưu giữ | Lịch sử sự kiện còn truy vấn được bao lâu | Xem lại lâu trên các luồng sự kiện có khối lượng lớn |
| Warehouse native | Phân tích chạy trên kho dữ liệu của riêng bạn | Tính phí bởi Snowflake hoặc BigQuery, không phải bởi Statsig |
Các cấp độ công khai và các khoản miễn phí thay đổi thường xuyên, vì vậy hãy xác minh các con số hiện tại trước khi mô hình hóa bất cứ điều gì.
Hai cơ chế quyết định hầu hết các hóa đơn. Tự động chụp: trang bị mọi cú nhấp chuột trên mọi trang sẽ tạo ra khối lượng sự kiện khổng lồ và ít thông tin chi tiết bổ sung, và đó là một dòng để bật. Lấy mẫu: xem lại với việc chụp đầy đủ trên một trang trở nên phổ biến là mục hóa đơn bất ngờ cổ điển.
Phân tích native kho dữ liệu xứng đáng được lưu ý. Chạy nó với Snowflake, BigQuery hoặc Databricks của riêng bạn sẽ chuyển tính toán đó sang hóa đơn kho dữ liệu của bạn, mà tín dụng không chi trả. Nó có thể là kiến trúc phù hợp và vẫn làm cho khoản tài trợ đó sử dụng ít hơn so với tiêu đề cho thấy.
Tín dụng Statsig Tích hợp Với Những Gì
Thử nghiệm là hóa đơn riêng của nó. Tín dụng đám mây không hấp thụ nó, tín dụng mô hình không hấp thụ nó, và tín dụng khả năng quan sát không hấp thụ nó, vì vậy một khoản tài trợ Statsig thực sự là bổ sung chứ không phải trùng lặp.
Những người sáng lập nắm giữ khoản tín dụng AWS hoặc Google Cloud lớn thường giả định nó bao gồm các công cụ SaaS. Nó không.
Một vòng lặp phát hành và đo lường hoạt động chạm vào bốn lớp, và các chương trình khởi nghiệp tồn tại cho mỗi lớp:
- Tính toán - đám mây bạn triển khai, thường là khoản tín dụng lớn nhất bạn sẽ giữ
- Phát hành - cờ và thử nghiệm, lớp mà tín dụng này bao phủ
- Tín hiệu - khả năng quan sát và theo dõi lỗi, cho bạn biết một bản triển khai đang hoạt động xấu trước khi chỉ số chuyển đổi làm điều đó vài phút
- Lưu trữ - kho dữ liệu giữ các sự kiện thô làm nguồn sự thật bạn giữ nếu bạn chuyển đổi nhà cung cấp
Lớp cuối cùng đó là quyết định kiến trúc mà tín dụng nên tài trợ. Ghi nhật ký các sự kiện thông qua một đường ống dẫn cũng đưa chúng vào kho dữ liệu của riêng bạn và Statsig vẫn có thể thay thế được. Trang bị công cụ trực tiếp vào SDK một mình và lịch sử của bạn nằm bên trong một nhà cung cấp. Tín dụng rẻ nhất khi thứ mà nó tài trợ có thể được thay thế sau này. Các chương trình nào bao phủ lớp nào là lý do tại sao AI Perks được duy trì như một danh sách được theo dõi.
Những Điều Những Người Sáng Lập Hiểu Sai Về Tín Dụng Thử Nghiệm
Sai lầm tốn kém nhất là cho phép các tín dụng miễn phí loại bỏ tín hiệu giá trong khi nhóm của bạn vẫn đang hình thành các mặc định ghi nhật ký của mình. Bất cứ điều gì bạn bật khi nó hoàn toàn miễn phí là những gì bạn thừa hưởng với giá niêm yết sau này.
Năm mẫu, theo thứ tự chi phí tương đối:
Nhìn trộm kết quả và dừng sớm. Kiểm tra bài kiểm tra hàng ngày và dừng ngay khi nó vượt qua ý nghĩa sẽ làm sai lệch tỷ lệ dương tính giả rất nhiều. Các bài kiểm tra có giới hạn cố định cần cỡ mẫu đã cam kết trước, hoặc bạn cần một phương pháp thử nghiệm tuần tự được thiết kế để giám sát liên tục.
Chạy các bài kiểm tra thiếu sức mạnh và gọi chúng là bằng phẳng. Một bài kiểm tra với một phần tư lưu lượng truy cập cần thiết sẽ thường không trả về sự khác biệt đáng kể, mà các nhóm đọc là "tính năng không làm gì cả" thay vì "chúng tôi không thể nói."
Bật tự động chụp vào ngày đầu tiên. Đó là cách nhanh nhất để có được hóa đơn sự kiện bất ngờ, và dữ liệu mà nó tạo ra hiếm khi là dữ liệu bạn cuối cùng phân tích.
Coi việc triển khai theo phần trăm là một thử nghiệm. Tăng lên 10% mà không có chỉ số được khai báo trước và nhóm kiểm soát là một lần triển khai với các bước bổ sung.
Lên kế hoạch cho việc ngừng hoạt động quá muộn. Tín dụng kết thúc đột ngột, không phải tăng dần. Quyết định khi tiêu thụ 70% những sự kiện nào bạn sẽ ngừng ghi nhật ký và tốc độ lấy mẫu của bạn trở thành bao nhiêu, và kiểm tra những gì khác trong danh mục Phân tích có thể giảm nhẹ quá trình chuyển đổi tại getaiperks.com.
Vị Trí Của Statsig Trong Số Các Tín Dụng Phân Tích
Danh mục Phân tích trên getaiperks.com liệt kê Statsig bên cạnh các chương trình thử nghiệm, phân tích sản phẩm và kho dữ liệu khác, mỗi chương trình với số tiền và điều khoản hiện tại.
Các kênh tăng tốc và nhà đầu tư thường có các khoản tiền khác với kênh công khai, vì vậy hãy kiểm tra những gì mạng lưới của bạn đã bao phủ trước. Đồng hồ tín dụng cũng có xu hướng bắt đầu khi kích hoạt, điều này làm cho một khoản tài trợ được giữ cho đến khi bạn có lưu lượng truy cập có thể thử nghiệm có giá trị hơn một khoản bị đốt cháy trên một phễu trống.
Dù bằng cách nào, kỷ luật cũng giống nhau: hãy ghi lại hóa đơn hàng tháng không trợ cấp mà bạn có thể duy trì, sau đó đặt cài đặt tự động chụp, lấy mẫu xem lại và cửa sổ lưu giữ để đáp ứng ở đó khi tín dụng kết thúc.
Câu Hỏi Thường Gặp
Chương trình khởi nghiệp của Statsig trị giá bao nhiêu?
Tới 5.000 đô la tín dụng cho Statsig, bao gồm cờ tính năng, thử nghiệm, phân tích sản phẩm và xem lại phiên trên một nền tảng duy nhất. Đối với một nhóm có lưu lượng truy cập vừa phải, đó là thời gian hoạt động có ý nghĩa trên dòng thử nghiệm, mặc dù khối lượng sự kiện lớn sẽ tiêu thụ nó nhanh hơn. Số tiền hiện tại được theo dõi tại getaiperks.com.
Tôi cần bao nhiêu lưu lượng truy cập trước khi thử nghiệm A/B có ý nghĩa?
Đủ để quy mô chiến thắng mà bạn phát hành có thể phát hiện được. Phát hiện mức tăng tương đối 20% trên cơ sở 10% cần khoảng 7.200 người dùng mỗi thử nghiệm, trong khi mức tăng 5% cần khoảng 115.000 người dùng. Dưới vài nghìn người dùng hàng tháng, hãy thử nghiệm các thiết kế lại lớn thay vì các tinh chỉnh nhỏ.
Statsig có miễn phí cho các cờ tính năng không?
Statsig trong lịch sử đã cung cấp một bậc miễn phí với khoản trợ cấp sự kiện hàng tháng hào phóng và đánh giá cờ đặc biệt linh hoạt, chủ yếu đo lường việc sử dụng trả phí dựa trên các sự kiện phân tích. Các bậc miễn phí thay đổi thường xuyên, vì vậy hãy coi bất kỳ con số cụ thể nào là biến động và xác minh các điều khoản hiện tại trước khi lên kế hoạch xung quanh chúng.
Tín dụng AWS hoặc Google Cloud có bao gồm Statsig không?
Không. Statsig là một nhà cung cấp SaaS của bên thứ ba tính phí riêng biệt với nhà cung cấp đám mây của bạn, vì vậy khoản tài trợ AWS Activate hoặc Google Cloud không ảnh hưởng đến hóa đơn thử nghiệm. Sự tách biệt đó chính xác là lý do tại sao hai thứ này tích hợp sạch sẽ. Các chương trình tương thích trên các lớp tính toán, phát hành và phân tích được theo dõi tại getaiperks.com.
Thử nghiệm native kho dữ liệu là gì và nó có làm thay đổi hóa đơn của tôi không?
Nó có nghĩa là phân tích thử nghiệm chạy dựa trên dữ liệu đã có trong kho dữ liệu Snowflake, BigQuery hoặc Databricks của bạn thay vì một bản sao do nhà cung cấp giữ. Các nhóm chọn nó để kiểm soát và quản trị dữ liệu. Hậu quả về chi phí rất quan trọng: tính toán truy vấn chuyển sang hóa đơn kho dữ liệu của bạn, mà khoản tín dụng Statsig không chi trả.
Điều gì xảy ra khi tín dụng Statsig hết hạn?
Bạn sẽ thừa hưởng một hóa đơn được định hình bởi cài đặt tự động chụp, lấy mẫu xem lại và lưu giữ đã chọn khi nó miễn phí, với giá niêm yết. Hãy đặt chúng một cách có chủ đích ngay từ đầu, giữ các sự kiện thô trong một kho dữ liệu bạn sở hữu để nền tảng có thể thay thế được và quyết định những gì cần thay đổi trước hóa đơn không trợ cấp đầu tiên, không phải sau đó.
Phát hành sự thay đổi. Hãy để người khác tài trợ cho năm bạn dành để tìm hiểu xem nó có hiệu quả không.