O Que o Programa de Startups Confluent Oferece a Você
A Confluent oferece até US$ 20.000 em créditos para o Confluent Cloud, seu serviço Apache Kafka totalmente gerenciado, cobrindo uso de cluster, transferência de dados, armazenamento retido e a camada de processamento de stream acima dele.
O AI Perks o rastreia ao lado de US$ 7,7 milhões em créditos em 194 empresas.
O detalhe estrutural importa mais do que o número principal. Os clusters do Confluent Cloud rodam dentro das contas de nuvem da própria Confluent, não nas suas. Portanto, o crédito cobre a fatura de streaming de forma limpa, sem um medidor compartilhado para discutir, e não cobre nenhum dos recursos de computação que executam seus produtores e consumidores, nem a rede privada que você coloca entre eles. Os termos atuais estão listados em getaiperks.com.
Para Que a Confluent Realmente Serve
Kafka é um log durável, ordenado e reproduzível que permite que muitos consumidores independentes leiam o mesmo fluxo de eventos em seu próprio ritmo. A Confluent é esse log operado para você, mais a camada de esquema, conectores e processamento de stream que a maioria das equipes monta por conta própria.
A distinção que decide se você precisa dela é log versus fila. Uma fila entrega uma mensagem uma vez, para um worker, e a esquece. Um log mantém os eventos, e um consumidor que você adicionar daqui a seis meses pode ler todo o histórico desde o início.
Três perguntas separam os dois casos:
- Mais de um sistema precisa do mesmo evento? Um produtor, quatro consumidores, nenhum deles devendo saber um do outro. Esse é o caso para o qual o Kafka foi construído.
- Você gostaria de reproduzir? Reconstruir uma tabela derivada, preencher um novo data store de recursos, reprocessar após um bug. Uma fila não pode fazer isso. Um log o torna rotineiro.
- Os consumidores falham independentemente? Se a falha do seu sink de análise não deve bloquear o checkout, você precisa do desacoplamento que um log fornece.
Se a resposta honesta for não para todas as três, Postgres com uma tabela de jobs, Redis streams ou SQS cobrem você por um custo muito menor e uma superfície operacional muito menor. Muitos produtos de sucesso nunca superam isso. O crédito é melhor gasto mais tarde.
A outra metade da decisão é construir versus comprar. Kafka é software livre e a licença nunca foi a parte cara. Rebalanceamento de partições, ajuste de retenção, atualizações de broker, pressão de disco às 3 da manhã e a pessoa que entende tudo isso são a parte cara. KRaft removeu a dependência do ZooKeeper e tornou a auto-hospedagem significativamente mais simples, mas não removeu a rotação de plantão.
Como o Preço do Confluent Cloud se Comporta em Escala
O Confluent Cloud fatura principalmente por bytes: dados de entrada, dados de saída e dados retidos. O medidor que surpreende os fundadores é a saída (egress), porque ele se multiplica pelo número de grupos de consumidores que leem o mesmo tópico.
| Medidor | O que o impulsiona | O que o faz disparar |
|---|---|---|
| Ingress | GB escritos por produtores | Eventos verbosos, sem compressão, logs tratados como eventos |
| Egress | GB lidos por consumidores | Cada grupo de consumidor adicional relê todo o stream |
| Armazenamento | GB retidos x janela de retenção | Retenção infinita ou padrão deixada sem exame |
| Base do cluster | Tipo de cluster e capacidade provisionada | Capacidade dedicada comprada antes que o throughput a justifique |
| Conectores | Tarefas em execução mais throughput | Conectores ociosos deixados em execução após a conclusão de uma migração |
| Processamento de stream | Uso de Flink, faturado em seu próprio medidor | Jobs contínuos onde um batch agendado faria |
| Rede | Rede privada e caminhos entre zonas | PrivateLink ou peering adicionados por conformidade, não orçados |
As taxas diferem por tipo de cluster, provedor de nuvem e região, e elas mudam. Verifique os valores atuais na página de preços da Confluent antes de modelar qualquer coisa.
A aritmética que realmente importa é o multiplicador de fan-out. Pegue um produto que escreve 50 GB por mês de eventos. Quatro grupos de consumidores leem esse tópico: o aplicativo, o indexador de busca, o sink do data warehouse e uma verificação de fraude. Isso são 50 GB de ingress e 200 GB de egress, então você é medido em aproximadamente 250 GB para 50 GB de dados reais, um multiplicador de 5x.
Escale e a forma se mantém. Com 1 TB de ingress por mês com os mesmos quatro consumidores, você é medido em cerca de 5 TB. Execute seu próprio número no calculador de preços, não sua cifra de ingress. Equipes que orçam apenas a partir do ingress estão erradas em qualquer quantia que seu fan-out ocorra, que é também por que uma subvenção de US$ 20.000 dura muito mais para alguns produtos do que para outros. AI Perks lista os termos do crédito, o fan-out é com você.
Duas alavancas movem a fatura mais do que qualquer outra coisa. Compressão do lado do produtor reduz os bytes que atravessam o fio, e zstd ou lz4 em payloads JSON é rotineiramente uma grande redução para uma mudança de configuração de uma linha. Retenção é um multiplicador puro no armazenamento, e o padrão raramente é o número que você teria escolhido deliberadamente.
Com o Que os Créditos Confluent se Empilham
Créditos Confluent cobrem apenas a camada de streaming. A computação que executa seus produtores e consumidores, o data warehouse onde o stream aterrissa e os modelos que ele alimenta são todas faturas separadas, o que torna os créditos de streaming incomumente fáceis de empilhar.
Um pipeline de eventos funcional toca em quatro fornecedores distintos, e existem subvenções para cada um:
- Créditos de nuvem cobrem as máquinas em que seus produtores e consumidores rodam, mais armazenamento e egress do seu lado do fio
- Créditos Confluent cobrem o transporte, o registro de esquema e o processamento de stream entre eles
- Créditos de plataforma de dados cobrem o data warehouse ou lakehouse onde o stream aterrissa
- Créditos de modelos e API cobrem qualquer inferência que seus consumidores chamam em tempo de execução
Uma equipe com três desses quatro cobriu a maior parte de uma pilha de dados em tempo real para a mesma janela. Saber quais subvenções são compatíveis e quais se excluem silenciosamente é o motivo pelo qual o AI Perks é mantido como uma lista em vez de uma pasta de favoritos.
O Que os Fundadores Erram Sobre Créditos de Streaming
O erro mais caro é usar Kafka como uma fila de tarefas, porque você assume o modelo operacional e de custos de um log sem precisar de nada que um log fornece.
Cinco padrões de falha, em ordem aproximada de custo:
Adoção do Kafka como fila de jobs. Se um worker consome cada mensagem e ninguém reproduz nada, você comprou gerenciamento de partições e rebalanceamento de grupos de consumidores para fazer o que uma tabela de banco de dados e um job cron já faziam.
Cegueira de fan-out. Cada novo grupo de consumidores é uma leitura adicional completa do tópico. Três equipes adicionando um consumidor cada em um trimestre podem triplicar uma fatura que ninguém mudou. Antes de adicionar um consumidor, pergunte se um existente pode publicar um tópico derivado em vez disso.
Streams de logs. Logs de aplicativos são de alto volume, baixo valor por byte, e pertencem a uma plataforma de log com preço para essa forma. Colocá-los através do Kafka é a maneira mais rápida de consumir um crédito em dados que ninguém reproduzirá.
Over-partitioning precoce. Partições são a unidade de paralelismo e não são gratuitas. As equipes escolhem um grande número para se sentirem seguras, e depois descobrem que o número de partições é fácil de aumentar e doloroso de reduzir.
Planejamento da saída tarde demais. O protocolo Kafka é genuinamente portátil; o que você constrói em torno dele não é. Decida em 70% do crédito consumido como é sua arquitetura não subsidiada, não em 100%.
Como Planejar em Torno de Créditos Confluent e de Outras Plataformas de Dados
Um crédito de streaming vale o que sua arquitetura permite que ele valha, e essas decisões são tomadas antes que o primeiro tópico entre em vigor.
Cinco pontos a serem definidos cedo, em ordem aproximada de impacto de custo:
Mapeie toda a fatura, não a linha Confluent. O catálogo em getaiperks.com lista programas de streaming, data warehouse e pipeline lado a lado, a visão que mostra quais partes de uma pilha em tempo real são cobertas e quais permanecem suas.
Orce a fatura de nuvem separadamente. Produtores, consumidores e rede privada são cobrados por AWS, Azure ou Google Cloud, independentemente do que a Confluent cobre, e essa linha não encolhe porque a linha de streaming o fez.
Defina retenção e compressão antes que os consumidores existam. Ambos são decisões de uma linha que se compõem ao longo da vida do crédito, e ambos se tornam inconvenientes de mudar assim que os sistemas downstream dependem deles.
Trate cada novo grupo de consumidores como uma decisão de custo. Fan-out é o medidor que cresce sem ninguém editar uma configuração, então pergunte se um consumidor existente pode publicar um tópico derivado em vez disso.
Decida onde fica seu limite portátil. O uso puro do protocolo Kafka viaja. Jobs Flink gerenciados, Confluent connectors e configuração de governança não viajam, então mantenha as partes móveis limpas desde o início.
Perguntas Frequentes
Qual é o valor do programa de startups Confluent?
Até US$ 20.000 em créditos para o Confluent Cloud, cobrindo uso de cluster, ingress, egress, armazenamento retido e processamento de stream. Para um produto que transmite dezenas de gigabytes por mês, isso é uma longa pista na fatura de streaming especificamente. Valores atuais e elegibilidade são rastreados em getaiperks.com.
Os créditos Confluent cobrem minha fatura AWS ou Google Cloud?
Não. Os clusters Confluent Cloud rodam nas contas de nuvem da própria Confluent, então o crédito compensa apenas a fatura Confluent. A computação que executa seus produtores e consumidores, seu próprio armazenamento e qualquer rede privada que você configure são faturados pelo seu provedor de nuvem. Planeje ter tanto uma subvenção de nuvem quanto uma subvenção Confluent.
O Kafka é exagero para uma startup em estágio inicial?
Muitas vezes, sim. Se um worker consome cada mensagem e você nunca reproduz o histórico, Postgres, Redis streams ou SQS é mais barato e simples. O Kafka justifica seu custo quando vários sistemas independentes leem os mesmos eventos, quando a reprodução é importante ou quando um consumidor lento não deve bloquear o resto do produto.
Por que minha fatura Confluent de saída (egress) é maior que a de entrada (ingress)?
Porque cada grupo de consumidores lê o fluxo completo. Quatro consumidores em um tópico significam aproximadamente quatro vezes seu volume de ingress em egress. Orce a partir do seu número multiplicado pelo fan-out em vez de a partir do ingress, e considere ter um consumidor publicando um tópico derivado em vez de adicionar um quinto leitor.
Posso combinar créditos Confluent com outros créditos de startup?
Sim, e os créditos de streaming se empilham de forma incomumente limpa porque as faturas não se sobrepõem. Créditos de nuvem cobrem as máquinas, Confluent cobre o transporte, créditos de plataforma de dados cobrem o data warehouse onde ele aterrissa, e créditos de modelo cobrem a inferência. Quais programas são compatíveis é rastreado em 194 empresas em getaiperks.com.
O que acontece quando os créditos Confluent acabam?
Você herda uma fatura dimensionada pelos padrões de retenção, compressão e fan-out escolhidos enquanto estava gratuito. Defina-os deliberadamente no início, mantenha sua integração no nível do protocolo Kafka onde ela permanece portátil e decida o que você cortaria em 70% do crédito consumido em vez de após a fatura chegar.
Inscreva-se em getaiperks.com →
Mova os eventos. Deixe outra pessoa financiar o transporte enquanto você constrói em cima dele.