Confluent 스타트업 프로그램이 제공하는 것
Confluent는 자체적으로 관리되는 Apache Kafka 서비스인 Confluent Cloud에 대한 최대 $20,000 상당의 크레딧을 제공하며, 이는 클러스터 사용량, 데이터 전송, 보관된 스토리지 및 그 위에 있는 스트림 처리 계층을 포함합니다.
AI Perks는 194개 회사에 걸쳐 770만 달러 상당의 크레딧과 함께 이를 추적합니다.
헤드라인 수치보다 구조적 세부 사항이 더 중요합니다. Confluent Cloud 클러스터는 귀하의 계정이 아닌 Confluent 자체 클라우드 계정 내에서 실행됩니다. 따라서 크레딧은 스트리밍 청구서를 깔끔하게 처리하며, 논쟁할 공유 미터가 없으며, 귀하의 프로듀서 및 컨슈머를 실행하는 컴퓨팅 비용이나 그들 사이에 배치한 개인 네트워킹 비용은 포함되지 않습니다. 현재 조건은 getaiperks.com에 나열되어 있습니다.
Confluent의 실제 용도
Kafka는 여러 독립적인 컨슈머가 자신의 속도로 동일한 이벤트 스트림을 읽을 수 있도록 하는 내구성 있고 순서가 있으며 재생 가능한 로그입니다. Confluent는 귀하를 위해 운영되는 해당 로그에 스키마, 커넥터 및 스트림 처리 계층이 추가된 것으로, 대부분의 팀이 자체적으로 조립해야 하는 것입니다.
필요 여부를 결정하는 구분은 로그 대 큐입니다. 큐는 메시지를 한 번, 한 명의 작업자에게 전달하고 잊어버립니다. 로그는 이벤트를 유지하며, 6개월 후에 추가되는 컨슈머는 처음부터 전체 기록을 읽을 수 있습니다.
세 가지 질문이 두 경우를 구분합니다.
- 하나 이상의 시스템이 동일한 이벤트를 필요로 합니까? 하나의 프로듀서, 네 명의 컨슈머, 누구도 서로 알 필요가 없습니다. 이것이 Kafka가 구축된 경우입니다.
- 재생하고 싶을 때가 있습니까? 파생된 테이블을 다시 구축하거나, 새 기능 저장소를 백필링하거나, 버그 후 재처리하는 경우입니다. 큐는 이를 수행할 수 없습니다. 로그는 이를 일상화합니다.
- 컨슈머가 독립적으로 실패합니까? 분석 싱크가 다운되어도 결제를 차단할 수 없다면 로그가 제공하는 디커플링이 필요합니다.
세 가지 질문 모두에 대한 정직한 대답이 "아니오"라면, 작업 테이블이 있는 Postgres, Redis 스트림 또는 SQS가 훨씬 적은 비용과 훨씬 적은 운영 표면으로 귀하를 처리합니다. 많은 성공적인 제품은 이를 넘어서지 않습니다. 크레딧은 나중에 더 잘 사용됩니다.
결정의 나머지 절반은 구축 대 구매입니다. Kafka는 무료 소프트웨어이며 라이선스가 비싼 부분이었던 적은 없습니다. 파티션 재조정, 보존 튜닝, 브로커 업그레이드, 새벽 3시의 디스크 압박 및 이 모든 것을 이해하는 사람은 비싼 부분입니다. KRaft는 ZooKeeper 종속성을 제거하고 자체 호스팅을 상당히 단순화했지만, 온콜 교대를 제거하지는 않았습니다.
Confluent Cloud 가격 책정이 대규모로 작동하는 방식
Confluent Cloud는 주로 바이트 단위로 청구됩니다. 데이터 입력, 데이터 출력 및 보관된 데이터입니다. 창업자를 놀라게 하는 미터는 나가는 데이터(egress)인데, 이는 동일한 토픽을 읽는 컨슈머 그룹 수에 따라 배가되기 때문입니다.
| 미터 | 무엇이 주도하는가 | 무엇이 급증하게 하는가 |
|---|---|---|
| 수신 (Ingress) | 프로듀서가 쓴 GB | 장황한 이벤트, 압축 없음, 이벤트로 처리되는 로그 |
| 송신 (Egress) | 컨슈머가 읽은 GB | 추가된 모든 컨슈머 그룹이 전체 스트림을 다시 읽음 |
| 스토리지 | 보관된 GB x 보존 기간 | 검토되지 않은 무한 또는 기본 보존 |
| 클러스터 기본 | 클러스터 유형 및 프로비저닝된 용량 | 처리량으로 정당화되기 전에 구매한 전용 용량 |
| 커넥터 | 실행 중인 작업 + 처리량 | 마이그레이션 완료 후 실행 중인 유휴 커넥터 |
| 스트림 처리 | Flink 사용량, 별도 미터로 청구 | 예약된 배치 작업으로 충분한 지속적인 작업 |
| 네트워킹 | 개인 네트워킹 및 크로스 존 경로 | 컴플라이언스를 위해 추가된 PrivateLink 또는 피어링, 예산에 포함되지 않음 |
요율은 클러스터 유형, 클라우드 제공업체 및 지역에 따라 다르며 변경될 수 있습니다. 모델링하기 전에 Confluent 자체 가격 책정 페이지에서 최신 수치를 확인하십시오.
실제로 중요한 산술은 팬아웃 배수입니다. 월 50GB의 이벤트를 작성하는 제품을 가정해 봅시다. 네 개의 컨슈머 그룹이 해당 토픽을 읽습니다. 애플리케이션, 검색 인덱서, 창고 싱크 및 사기 검사입니다. 이는 50GB의 수신과 200GB의 송신이므로, 실제 데이터 50GB에 대해 약 250GB로 측정되며, 5배의 배수입니다.
확장해도 모양은 유지됩니다. 월 1TB의 수신과 동일한 네 명의 컨슈머의 경우 약 5TB로 측정됩니다. 수신 수치가 아닌 가격 계산기에 귀하의 숫자를 입력하십시오. 수신만으로 예산을 책정하는 팀은 팬아웃에 따라 잘못된 것이며, 이것이 $20,000 보조금이 일부 제품에 다른 제품보다 훨씬 오래 지속되는 이유이기도 합니다. AI Perks는 크레딧 조건을 나열하며, 팬아웃은 귀하에게 달려 있습니다.
두 가지 레버가 다른 어떤 것보다 더 많은 청구서를 움직입니다. 프로듀서 측 압축은 와이어를 통과하는 바이트를 줄이며, JSON 페이로드에 대한 zstd 또는 lz4는 한 줄 구성 변경으로 인해 일반적으로 상당한 감소를 가져옵니다. 보존은 스토리지의 순수한 배수이며, 기본값은 의도적으로 선택한 숫자일 가능성이 거의 없습니다.
Confluent 크레딧이 무엇과 스택되는가
Confluent 크레딧은 스트리밍 계층만 포함합니다. 귀하의 프로듀서 및 컨슈머를 실행하는 컴퓨팅, 스트림이 안착되는 데이터 웨어하우스, 그리고 이들이 공급하는 모델은 모두 별도의 청구서이므로 스트리밍 크레딧은 스택하기가 이례적으로 쉽습니다.
작동하는 이벤트 파이프라인은 네 개의 서로 다른 공급업체와 접촉하며, 각각에 대한 보조금이 존재합니다.
- 클라우드 크레딧은 프로듀서 및 컨슈머가 실행되는 머신, 그리고 귀하 측의 스토리지 및 송신 비용을 포함합니다.
- Confluent 크레딧은 그 사이의 전송, 스키마 레지스트리 및 스트림 처리를 포함합니다.
- 데이터 플랫폼 크레딧은 스트림이 안착되는 데이터 웨어하우스 또는 레이크하우스를 포함합니다.
- 모델 및 API 크레딧은 런타임에 컨슈머가 호출하는 모든 추론을 포함합니다.
이 네 가지 중 세 가지를 보유한 팀은 동일한 기간 동안 실시간 데이터 스택의 대부분을 다룬 것입니다. 어떤 보조금이 호환되는지, 그리고 어떤 보조금이 조용히 서로를 제외하는지 아는 것이 AI Perks가 즐겨찾기 폴더가 아닌 목록으로 유지되는 이유입니다.
창업자들이 스트리밍 크레딧에 대해 잘못 이해하는 것
가장 비싼 실수는 Kafka를 작업 큐로 사용하는 것인데, 이는 로그를 필요로 하지 않으면서 로그의 운영 및 비용 모델을 부담하기 때문입니다.
다섯 가지 실패 패턴 (비용이 많이 드는 순서대로):
Kafka를 작업 큐로 채택. 한 명의 작업자가 각 메시지를 소비하고 아무도 재생하지 않는다면, 데이터베이스 테이블과 cron 작업이 이미 수행한 작업을 수행하기 위해 파티션 관리 및 컨슈머 그룹 재조정을 구매한 것입니다.
팬아웃 맹점. 새로운 컨슈머 그룹마다 토픽을 완전히 다시 읽는 것입니다. 한 분기 동안 각기 다른 세 팀이 컨슈머를 추가하면 아무도 구성을 변경하지 않은 청구서를 세 배로 늘릴 수 있습니다. 컨슈머를 추가하기 전에 기존 컨슈머가 파생 토픽을 게시할 수 있는지 문의하십시오.
스트리밍 로그. 애플리케이션 로그는 볼륨이 높고 바이트당 가치가 낮으며 해당 모양에 대해 가격이 책정된 로그 플랫폼에 속합니다. 이를 Kafka를 통해 처리하는 것은 아무도 재생하지 않을 데이터에 대한 크레딧을 소비하는 가장 빠른 방법입니다.
조기 과다 파티셔닝. 파티션은 병렬 처리의 단위이며 무료가 아닙니다. 팀은 안전을 위해 많은 수를 선택한 다음, 파티션 수를 늘리기는 쉽고 줄이기는 어렵다는 것을 발견합니다.
너무 늦게 종료 계획. Kafka 프로토콜은 진정으로 이식 가능합니다. 그 주위에 구축하는 것은 그렇지 않습니다. 크레딧이 100% 소모되었을 때가 아닌 크레딧의 70%를 소모했을 때 귀하의 보조금 없는 아키텍처가 어떻게 보이는지 결정하십시오.
Confluent 및 기타 데이터 플랫폼 크레딧을 계획하는 방법
스트리밍 크레딧은 귀하의 아키텍처가 이를 어떻게 가치 있게 만들도록 허용하는지에 따라 가치가 결정되며, 이러한 결정은 첫 번째 토픽이 라이브되기 전에 내려집니다.
초기에 결정할 가치가 있는 다섯 가지 (비용 영향 순서대로):
전체 청구서를 매핑하고 Confluent 라인만 보지 마십시오. getaiperks.com의 카탈로그는 스트리밍, 데이터 웨어하우스 및 파이프라인 프로그램을 나란히 나열하여 실시간 스택의 어떤 부분이 포함되고 어떤 부분이 귀하에게 남아 있는지 보여주는 보기입니다.
클라우드 청구서를 별도로 예산에 포함하십시오. 프로듀서, 컨슈머 및 개인 네트워킹은 Confluent가 포함하는 내용에 관계없이 AWS, Azure 또는 Google Cloud에서 청구되며, 스트리밍 라인이 축소된다고 해서 해당 라인이 줄어들지 않습니다.
컨슈머가 존재하기 전에 보존 및 압축을 설정하십시오. 둘 다 크레딧 수명 동안 복합적으로 작용하는 한 줄 결정이며, 둘 다 다운스트림 시스템이 의존하게 된 후에는 변경하기가 까다롭습니다.
새로운 컨슈머 그룹을 비용 결정으로 취급하십시오. 팬아웃은 아무도 구성을 편집하지 않고도 성장하는 미터이므로, 기존 컨슈머가 다섯 번째 독자를 추가하는 대신 파생 토픽을 게시할 수 있는지 문의하십시오.
이식 가능한 경계가 어디에 있는지 결정하십시오. 일반 Kafka 프로토콜 사용은 이동합니다. 관리형 Flink 작업, Confluent 커넥터 및 거버넌스 구성은 이동하지 않으므로, 처음부터 이동 가능한 부분을 깨끗하게 유지하십시오.
자주 묻는 질문
Confluent 스타트업 프로그램의 가치는 얼마입니까?
Confluent Cloud에 대한 최대 $20,000 상당의 크레딧으로, 클러스터 사용량, 수신, 송신, 보관된 스토리지 및 스트림 처리를 포함합니다. 월 수십 기가바이트의 데이터를 스트리밍하는 제품의 경우, 이는 스트리밍 청구서에 대한 긴 런웨이입니다. 현재 금액 및 자격은 getaiperks.com에서 추적됩니다.
Confluent 크레딧이 AWS 또는 Google Cloud 청구서를 포함합니까?
아니요. Confluent Cloud 클러스터는 Confluent 자체 클라우드 계정에서 실행되므로, 크레딧은 Confluent 송장만 상쇄합니다. 프로듀서 및 컨슈머를 실행하는 컴퓨팅, 귀하의 스토리지 및 구성한 모든 개인 네트워킹은 클라우드 제공업체에서 청구합니다. 클라우드 보조금과 Confluent 보조금을 모두 보유할 계획을 세우십시오.
Kafka는 초기 단계 스타트업에게 과도합니까?
종종 그렇습니다. 한 명의 작업자가 각 메시지를 소비하고 기록을 재생하지 않는다면, Postgres, Redis 스트림 또는 SQS가 더 저렴하고 간단합니다. Kafka는 여러 독립적인 시스템이 동일한 이벤트를 읽거나, 재생이 중요하거나, 느린 컨슈머 하나가 제품의 나머지 부분을 차단해서는 안 될 때 비용을 정당화합니다.
Confluent 송장(egress)이 수신(ingress)보다 높은 이유는 무엇입니까?
모든 컨슈머 그룹이 전체 스트림을 읽기 때문입니다. 하나의 토픽에 네 개의 컨슈머는 수신 볼륨의 약 네 배에 해당하는 송신량을 의미합니다. 수신량 대신 팬아웃 곱하기 수치로 예산을 책정하고, 다섯 번째 독자를 추가하는 대신 하나의 컨슈머가 파생 토픽을 게시하도록 고려하십시오.
Confluent 크레딧을 다른 스타트업 크레딧과 결합할 수 있습니까?
예, 스트리밍 크레딧은 청구서가 겹치지 않기 때문에 이례적으로 깔끔하게 스택됩니다. 클라우드 크레딧은 머신을 포함하고, Confluent는 전송을 포함하며, 데이터 플랫폼 크레딧은 안착되는 데이터 웨어하우스를 포함하고, 모델 크레딧은 추론을 포함합니다. 어떤 프로그램이 호환되는지는 getaiperks.com에서 194개 회사에 걸쳐 추적됩니다.
Confluent 크레딧이 소진되면 어떻게 됩니까?
무료인 동안 선택된 보존, 압축 및 팬아웃 기본값으로 크기가 결정된 청구서를 상속합니다. 처음부터 의도적으로 설정하고, 통합을 이식 가능하게 유지되는 Kafka 프로토콜 수준으로 유지하며, 청구서가 도착한 후가 아니라 크레딧의 70%를 소모했을 때 무엇을 삭제할지 결정하십시오.
이벤트를 이동하십시오. 귀하가 그 위에 구축하는 동안 다른 사람이 전송 비용을 부담하도록 하십시오.