Chương trình Khởi nghiệp Confluent mang đến cho bạn những gì
Confluent cung cấp tín dụng lên đến 20.000 đô la cho Confluent Cloud, dịch vụ Apache Kafka được quản lý hoàn toàn của họ, bao gồm việc sử dụng cụm, truyền dữ liệu, lưu trữ được giữ lại và lớp xử lý luồng phía trên nó.
AI Perks theo dõi cùng với 7,7 triệu đô la tín dụng trên 194 công ty.
Chi tiết cấu trúc quan trọng hơn con số tiêu đề. Các cụm Confluent Cloud chạy bên trong tài khoản đám mây của Confluent, không phải của bạn. Do đó, tín dụng bao gồm hóa đơn phát trực tuyến một cách gọn gàng, không có đồng hồ đo dùng chung để tranh cãi, và nó không bao gồm bất kỳ phần tính toán nào chạy các producer và consumer của bạn, cũng như không bao gồm bất kỳ mạng riêng nào bạn đặt giữa chúng. Các điều khoản hiện tại được liệt kê trên getaiperks.com.
Confluent Thực sự Dùng để làm gì
Kafka là một bản ghi bền bỉ, có thứ tự, có thể phát lại, cho phép nhiều consumer độc lập đọc cùng một luồng sự kiện theo tốc độ của riêng họ. Confluent là bản ghi đó được vận hành cho bạn, cộng với lớp schema, connector và xử lý luồng mà hầu hết các nhóm khác tự lắp ráp.
Sự khác biệt quyết định xem bạn có cần nó hay không là bản ghi so với hàng đợi. Hàng đợi gửi một tin nhắn một lần, đến một worker và quên nó đi. Bản ghi lưu giữ các sự kiện và một consumer bạn thêm sau sáu tháng có thể đọc toàn bộ lịch sử từ đầu.
Ba câu hỏi phân biệt hai trường hợp:
- Có nhiều hơn một hệ thống cần cùng một sự kiện không? Một producer, bốn consumer, không ai trong số họ nên biết về nhau. Đó là trường hợp Kafka được xây dựng cho.
- Bạn có bao giờ muốn phát lại không? Xây dựng lại bảng dẫn xuất, điền dữ liệu trở lại kho tính năng mới, xử lý lại sau lỗi. Hàng đợi không thể làm điều này. Bản ghi làm cho nó trở thành thông lệ.
- Các consumer có lỗi độc lập không? Nếu kho lưu trữ phân tích của bạn bị sập không được phép chặn việc thanh toán, bạn cần sự tách biệt mà bản ghi cung cấp.
Nếu câu trả lời trung thực là không cho cả ba, Postgres với bảng công việc, luồng Redis hoặc SQS sẽ đáp ứng nhu cầu của bạn với chi phí thấp hơn nhiều và bề mặt vận hành ít hơn nhiều. Nhiều sản phẩm thành công không bao giờ vượt quá giới hạn đó. Tín dụng nên được chi tiêu sau.
Nửa còn lại của quyết định là tự xây dựng so với mua. Kafka là phần mềm miễn phí và giấy phép không bao giờ là phần tốn kém. Cân bằng lại phân vùng, điều chỉnh lưu giữ, nâng cấp broker, áp lực đĩa lúc 3 giờ sáng và người hiểu tất cả những điều đó mới là phần tốn kém. KRaft đã loại bỏ sự phụ thuộc vào ZooKeeper và làm cho việc tự lưu trữ đơn giản hơn đáng kể, nhưng nó không loại bỏ vòng trực ca đêm.
Cách định giá Confluent Cloud Hoạt động ở Quy mô lớn
Confluent Cloud tính phí chủ yếu dựa trên byte: dữ liệu vào, dữ liệu ra và dữ liệu được giữ lại. Đồng hồ đo khiến những người sáng lập ngạc nhiên là băng thông ra (egress), bởi vì nó nhân với số lượng nhóm consumer đọc cùng một chủ đề.
| Đồng hồ đo | Điều gì thúc đẩy nó | Điều gì khiến nó tăng đột biến |
|---|---|---|
| Băng thông vào (Ingress) | GB được ghi bởi producer | Sự kiện chi tiết, không nén, nhật ký được coi là sự kiện |
| Băng thông ra (Egress) | GB được đọc bởi consumer | Mỗi nhóm consumer bổ sung đọc lại toàn bộ luồng |
| Lưu trữ | GB được giữ lại x cửa sổ lưu giữ | Lưu giữ vô hạn hoặc mặc định chưa được kiểm tra |
| Cơ sở cụm | Loại cụm và công suất dự phòng | Công suất chuyên dụng được mua trước khi thông lượng yêu cầu |
| Kết nối (Connectors) | Nhiệm vụ đang chạy cộng với thông lượng | Các kết nối đang chờ xử lý vẫn chạy sau khi quá trình di chuyển kết thúc |
| Xử lý luồng | Sử dụng Flink, tính phí theo đồng hồ đo riêng | Các công việc liên tục mà một lô theo lịch trình có thể làm được |
| Mạng | Mạng riêng và đường dẫn xuyên vùng | PrivateLink hoặc peering được thêm vào để tuân thủ, không được lập ngân sách |
Tỷ lệ khác nhau tùy theo loại cụm, nhà cung cấp đám mây và khu vực, và chúng thay đổi. Xác minh số liệu hiện tại với trang định giá của Confluent trước khi bạn mô hình hóa bất cứ điều gì.
Số học thực sự quan trọng là hệ số nhân phân tán (fan-out multiplier). Lấy một sản phẩm ghi 50GB mỗi tháng sự kiện. Bốn nhóm consumer đọc chủ đề đó: ứng dụng, bộ lập chỉ mục tìm kiếm, kho lưu trữ dữ liệu và kiểm tra gian lận. Đó là 50GB băng thông vào và 200GB băng thông ra, vì vậy bạn được đo lường khoảng 250GB cho 50GB dữ liệu thực tế, hệ số nhân 5 lần.
Mở rộng nó và hình dạng vẫn giữ nguyên. Với 1TB băng thông vào mỗi tháng với cùng bốn consumer, bạn được đo lường khoảng 5TB. Hãy chạy con số của riêng bạn vào công cụ tính toán định giá, không phải con số băng thông vào của bạn. Các nhóm lập ngân sách chỉ từ băng thông vào sẽ sai với bất kỳ hệ số phân tán nào của họ, đó cũng là lý do tại sao khoản tài trợ 20.000 đô la kéo dài lâu hơn cho một số sản phẩm hơn những sản phẩm khác. AI Perks liệt kê các điều khoản tín dụng, việc phân tán là do bạn.
Hai đòn bẩy di chuyển hóa đơn nhiều hơn bất cứ điều gì khác. Nén phía producer giảm byte đi trên đường truyền, và zstd hoặc lz4 trên tải JSON thường là một sự giảm đáng kể đối với một thay đổi cấu hình một dòng. Lưu giữ là một hệ số nhân thuần túy cho bộ nhớ, và mặc định hiếm khi là số mà bạn đã chọn một cách có chủ ý.
Tín dụng Confluent Kết hợp với những gì
Tín dụng Confluent chỉ bao gồm lớp phát trực tuyến. Phần tính toán chạy các producer và consumer của bạn, kho dữ liệu mà luồng hạ cánh và các mô hình mà nó cung cấp đều là các hóa đơn riêng biệt, điều này làm cho tín dụng phát trực tuyến dễ dàng kết hợp một cách bất thường.
Một quy trình sự kiện hoạt động chạm vào bốn nhà cung cấp riêng biệt và có các khoản tài trợ cho mỗi nhà cung cấp:
- Tín dụng đám mây bao gồm các máy mà producer và consumer của bạn chạy trên đó, cộng với bộ nhớ và băng thông ra ở phía bạn của đường truyền
- Tín dụng Confluent bao gồm việc vận chuyển, registry schema và xử lý luồng ở giữa
- Tín dụng nền tảng dữ liệu bao gồm kho dữ liệu hoặc lakehouse mà luồng hạ cánh
- Tín dụng mô hình và API bao gồm bất kỳ suy luận nào mà consumer của bạn gọi khi chạy
Một nhóm nắm giữ ba trong số bốn khoản tín dụng này đã bao phủ phần lớn một ngăn xếp dữ liệu thời gian thực trong cùng một khoảng thời gian. Biết khoản tài trợ nào tương thích và khoản nào âm thầm loại trừ lẫn nhau là lý do tại sao AI Perks được duy trì dưới dạng danh sách thay vì thư mục dấu trang.
Những gì những người sáng lập hiểu sai về tín dụng phát trực tuyến
Sai lầm tốn kém nhất là sử dụng Kafka làm hàng đợi tác vụ, bởi vì bạn gánh vác mô hình vận hành và chi phí của một bản ghi mà không cần bất kỳ thứ gì mà bản ghi cung cấp.
Năm mẫu lỗi, theo thứ tự đại khái về chi phí của chúng:
Áp dụng Kafka làm hàng đợi công việc. Nếu một worker tiêu thụ mỗi tin nhắn và không ai phát lại bất cứ điều gì, bạn đã mua quản lý phân vùng và cân bằng lại nhóm consumer để làm những gì mà một bảng cơ sở dữ liệu và một công việc cron đã làm.
Mù quáng về phân tán. Mỗi nhóm consumer mới là một lần đọc chủ đề đầy đủ bổ sung. Ba nhóm thêm một consumer mỗi quý có thể làm tăng gấp ba lần hóa đơn mà không ai thay đổi. Trước khi thêm consumer, hãy hỏi liệu một consumer hiện có có thể xuất bản một chủ đề dẫn xuất thay thế không.
Phát trực tuyến nhật ký. Nhật ký ứng dụng có khối lượng lớn, giá trị thấp trên mỗi byte và thuộc về một nền tảng nhật ký được định giá cho hình dạng đó. Đưa chúng qua Kafka là cách nhanh nhất để tiêu thụ tín dụng trên dữ liệu mà không ai sẽ phát lại.
Quá nhiều phân vùng sớm. Phân vùng là đơn vị song song hóa và chúng không miễn phí. Các nhóm chọn một số lượng lớn để an toàn, sau đó phát hiện ra rằng số lượng phân vùng dễ dàng tăng lên và khó giảm xuống.
Lập kế hoạch thoát quá muộn. Giao thức Kafka thực sự có thể di chuyển được; những gì bạn xây dựng xung quanh nó thì không. Quyết định khi tiêu thụ 70% tín dụng kiến trúc không được trợ cấp của bạn trông như thế nào, không phải khi tiêu thụ 100%.
Cách lập kế hoạch xung quanh Confluent và các Tín dụng Nền tảng Dữ liệu khác
Tín dụng phát trực tuyến có giá trị bất cứ điều gì kiến trúc của bạn cho phép nó có giá trị, và những quyết định đó được đưa ra trước khi chủ đề đầu tiên hoạt động.
Năm giá trị cần được giải quyết sớm, theo thứ tự đại khái về tác động chi phí:
Ánh xạ toàn bộ hóa đơn, không chỉ dòng Confluent. Danh mục tại getaiperks.com liệt kê các chương trình phát trực tuyến, kho dữ liệu và pipeline cạnh nhau, chế độ xem cho thấy những phần nào của ngăn xếp thời gian thực được bảo hiểm và những phần nào thuộc về bạn.
Lập ngân sách hóa đơn đám mây riêng biệt. Producer, consumer và mạng riêng được tính phí bởi AWS, Azure hoặc Google Cloud bất kể Confluent có bao phủ hay không, và dòng đó không giảm vì dòng phát trực tuyến đã giảm.
Đặt lưu giữ và nén trước khi có consumer. Cả hai đều là quyết định một dòng lệnh sẽ nhân lên trong suốt thời gian sử dụng tín dụng, và cả hai đều trở nên khó thay đổi khi các hệ thống hạ nguồn phụ thuộc vào chúng.
Coi mỗi nhóm consumer mới như một quyết định chi phí. Phân tán là đồng hồ đo tăng trưởng mà không ai sửa đổi cấu hình, vì vậy hãy hỏi liệu một consumer hiện có có thể xuất bản một chủ đề dẫn xuất thay thế không.
Quyết định nơi đặt ranh giới có thể di chuyển của bạn. Việc sử dụng Kafka thuần túy có thể di chuyển. Các công việc Flink được quản lý, các connector Confluent và cấu hình quản trị thì không, vì vậy hãy giữ các phần có thể di chuyển sạch sẽ ngay từ đầu.
Câu hỏi thường gặp
Chương trình Khởi nghiệp Confluent có giá trị bao nhiêu?
Lên đến 20.000 đô la tín dụng cho Confluent Cloud, bao gồm việc sử dụng cụm, băng thông vào, băng thông ra, bộ nhớ được giữ lại và xử lý luồng. Đối với một sản phẩm phát trực tuyến hàng chục gigabyte mỗi tháng, đó là một quãng đường dài trên hóa đơn phát trực tuyến cụ thể. Số lượng hiện tại và tính đủ điều kiện được theo dõi tại getaiperks.com.
Tín dụng Confluent có bao gồm hóa đơn AWS hoặc Google Cloud của tôi không?
Không. Các cụm Confluent Cloud chạy trong tài khoản đám mây của Confluent, vì vậy tín dụng chỉ bù trừ cho hóa đơn Confluent. Phần tính toán chạy các producer và consumer của bạn, bộ nhớ của riêng bạn và bất kỳ mạng riêng nào bạn cấu hình đều được tính phí bởi nhà cung cấp đám mây của bạn. Hãy lập kế hoạch giữ cả khoản tài trợ đám mây và khoản tài trợ Confluent.
Kafka có quá mức cần thiết cho một startup giai đoạn đầu không?
Thường là có. Nếu một worker tiêu thụ mỗi tin nhắn và bạn không bao giờ phát lại lịch sử, Postgres, luồng Redis hoặc SQS sẽ rẻ hơn và đơn giản hơn. Kafka kiếm được chi phí của nó khi nhiều hệ thống độc lập đọc cùng các sự kiện, khi việc phát lại quan trọng, hoặc khi một consumer chậm không được phép chặn phần còn lại của sản phẩm.
Tại sao hóa đơn băng thông ra Confluent của tôi cao hơn băng thông vào của tôi?
Bởi vì mỗi nhóm consumer đọc toàn bộ luồng. Bốn consumer trên một chủ đề có nghĩa là khối lượng băng thông ra gấp khoảng bốn lần khối lượng băng thông vào của bạn. Hãy lập ngân sách từ con số nhân với hệ số phân tán của bạn thay vì từ băng thông vào, và cân nhắc có một consumer xuất bản một chủ đề dẫn xuất thay vì thêm một người đọc thứ năm.
Tôi có thể kết hợp tín dụng Confluent với các tín dụng khởi nghiệp khác không?
Có, và tín dụng phát trực tuyến kết hợp với nhau một cách bất thường vì các hóa đơn không chồng chéo. Tín dụng đám mây bao gồm các máy, Confluent bao gồm việc vận chuyển, tín dụng nền tảng dữ liệu bao gồm kho dữ liệu mà nó hạ cánh, và tín dụng mô hình bao gồm suy luận. Chương trình nào tương thích được theo dõi trên 194 công ty tại getaiperks.com.
Điều gì xảy ra khi tín dụng Confluent hết hạn?
Bạn sẽ kế thừa một hóa đơn được định kích thước theo các mặc định lưu giữ, nén và phân tán đã chọn khi nó miễn phí. Hãy thiết lập chúng một cách có chủ ý ngay từ đầu, giữ tích hợp của bạn ở cấp độ giao thức Kafka nơi nó di chuyển được và quyết định bạn sẽ cắt giảm những gì khi tiêu thụ 70% tín dụng thay vì sau khi hóa đơn đến.
Di chuyển các sự kiện. Hãy để người khác tài trợ việc vận chuyển trong khi bạn xây dựng dựa trên nó.