Cosa offre il Confluent Startup Program
Confluent offre fino a $20.000 in crediti per Confluent Cloud, il suo servizio Apache Kafka completamente gestito, coprendo l'utilizzo del cluster, il trasferimento dati, lo storage conservato e il livello di elaborazione dei flussi sopra di esso.
AI Perks lo monitora insieme a 7,7 milioni di dollari in crediti distribuiti tra 194 aziende.
Il dettaglio strutturale conta più del numero headline. I cluster Confluent Cloud vengono eseguiti all'interno dei propri account cloud di Confluent, non dei tuoi. Pertanto, il credito copre la fattura dello streaming in modo pulito, senza un contatore condiviso su cui discutere, e non copre alcun calcolo che esegue i tuoi produttori e consumatori, né il networking privato che metti tra di essi. I termini attuali sono elencati su getaiperks.com.
A cosa serve effettivamente Confluent
Kafka è un log durevole, ordinato e riproducibile che consente a molti consumatori indipendenti di leggere lo stesso flusso di eventi al proprio ritmo. Confluent è quel log gestito per te, più lo schema, il connettore e il livello di elaborazione dei flussi che la maggior parte dei team assemblano altrimenti da soli.
La distinzione che decide se ne hai bisogno è log contro coda. Una coda consegna un messaggio una volta, a un worker, e lo dimentica. Un log conserva gli eventi e un consumatore che aggiungi tra sei mesi può leggere l'intera cronologia dall'inizio.
Tre domande separano i due casi:
- Più di un sistema ha bisogno dello stesso evento? Un produttore, quattro consumatori, nessuno dei quali dovrebbe conoscersi. Questo è il caso per cui Kafka è stato creato.
- Vorresti mai riprodurre? Ricostruire una tabella derivata, riempire un nuovo feature store, rielaborare dopo un bug. Una coda non può farlo. Un log lo rende una routine.
- I consumatori falliscono in modo indipendente? Se il tuo sistema di analytics che va in crash non deve bloccare il checkout, hai bisogno del disaccoppiamento che fornisce un log.
Se la risposta onesta è no a tutti e tre, Postgres con una tabella di job, Redis streams o SQS ti coprono per molti meno soldi e una superficie operativa molto inferiore. Molti prodotti di successo non superano mai questo limite. Il credito è meglio speso più tardi.
L'altra metà della decisione è build vs buy. Kafka è software libero e la licenza non è mai stata la parte costosa. Il ribilanciamento delle partizioni, la messa a punto della retention, gli aggiornamenti dei broker, la pressione del disco alle 3 del mattino e la persona che comprende tutto questo sono la parte costosa. KRaft ha rimosso la dipendenza da ZooKeeper e ha reso l'auto-hosting significativamente più semplice, ma non ha rimosso il turno di reperibilità.
Come si comporta il prezzo di Confluent Cloud su larga scala
Confluent Cloud fattura principalmente in base ai byte: dati in ingresso, dati in uscita e dati conservati. Il contatore che sorprende i fondatori è l'egress, perché si moltiplica per il numero di gruppi di consumatori che leggono lo stesso argomento.
| Contatore | Cosa lo guida | Cosa lo fa impennare |
|---|---|---|
| Ingress | GB scritti dai produttori | Eventi prolissi, nessuna compressione, log trattati come eventi |
| Egress | GB letti dai consumatori | Ogni gruppo di consumatori aggiuntivo rilegge l'intero flusso |
| Storage | GB conservati x finestra di retention | Retention infinita o predefinita lasciata non esaminata |
| Base del cluster | Tipo di cluster e capacità provisionata | Capacità dedicata acquistata prima che il throughput la giustifichi |
| Connettori | Task in esecuzione più throughput | Connettori inattivi lasciati in esecuzione dopo il completamento di una migrazione |
| Elaborazione dei flussi | Utilizzo di Flink, fatturato su un proprio contatore | Job continui dove un batch schedulato sarebbe sufficiente |
| Networking | Networking privato e percorsi inter-zona | PrivateLink o peering aggiunti per conformità, non preventivati |
Le tariffe differiscono in base al tipo di cluster, al provider cloud e alla regione, e cambiano. Verifica le cifre attuali rispetto alla pagina dei prezzi di Confluent prima di modellare qualsiasi cosa.
L'aritmetica che conta davvero è il moltiplicatore di fan-out. Prendi un prodotto che scrive 50 GB al mese di eventi. Quattro gruppi di consumatori leggono quell'argomento: l'applicazione, l'indicizzatore di ricerca, il sistema di storage dei dati e un controllo frodi. Si tratta di 50 GB di ingress e 200 GB di egress, quindi ti viene fatturato circa 250 GB per 50 GB di dati reali, un moltiplicatore di 5x.
Scala e la forma regge. Con 1 TB di ingress al mese con gli stessi quattro consumatori, ti vengono fatturati circa 5 TB. Inserisci il tuo numero nel calcolatore di prezzi, non la tua cifra di ingress. I team che basano il budget solo sull'ingress sbagliano di quanto sia il loro fan-out, ed è anche per questo che una sovvenzione di $20.000 dura molto più a lungo per alcuni prodotti rispetto ad altri. AI Perks elenca i termini del credito, il fan-out spetta a te.
Due leve spostano la fattura più di ogni altra cosa. La compressione lato produttore riduce i byte che attraversano il filo, e zstd o lz4 sui payload JSON sono regolarmente una grande riduzione per un cambiamento di configurazione di una riga. La retention è un moltiplicatore puro sullo storage, e il valore predefinito raramente è il numero che avresti scelto deliberatamente.
Con cosa si impilano i crediti Confluent
I crediti Confluent coprono solo il livello di streaming. Il calcolo che esegue i tuoi produttori e consumatori, il data warehouse in cui atterra lo stream e i modelli che alimenta sono tutte fatture separate, il che rende i crediti di streaming insolitamente facili da impilare.
Una pipeline di eventi funzionante tocca quattro fornitori distinti e esistono sovvenzioni per ciascuno:
- Crediti cloud coprono le macchine su cui vengono eseguiti i tuoi produttori e consumatori, più lo storage e l'egress dal tuo lato del filo
- Crediti Confluent coprono il trasporto, il registro degli schemi e l'elaborazione dei flussi nel mezzo
- Crediti per la piattaforma dati coprono il data warehouse o lakehouse in cui atterra lo stream
- Crediti per modelli e API coprono qualsiasi inferenza che i tuoi consumatori chiamano a runtime
Un team che detiene tre di questi quattro ha coperto la maggior parte di uno stack di dati in tempo reale per la stessa finestra. Sapere quali sovvenzioni sono compatibili e quali si escludono a vicenda in silenzio è il motivo per cui AI Perks è mantenuto come elenco piuttosto che come cartella di segnalibri.
Cosa sbagliano i fondatori sui crediti di streaming
L'errore più costoso è usare Kafka come coda di attività, perché si assume il modello operativo e di costo di un log senza aver bisogno di nulla che un log fornisce.
Cinque schemi di errore, in ordine approssimativo di costo:
Adozione di Kafka come coda di job. Se un worker consuma ogni messaggio e nessuno riproduce nulla, hai acquistato la gestione delle partizioni e il ribilanciamento dei gruppi di consumatori per fare ciò che una tabella di database e un cron job già facevano.
Cecità al fan-out. Ogni nuovo gruppo di consumatori è una lettura completa aggiuntiva dell'argomento. Tre team che aggiungono un consumatore ciascuno in un trimestre possono triplicare una fattura che nessuno ha modificato. Prima di aggiungere un consumatore, chiediti se uno esistente può pubblicare invece un argomento derivato.
Streaming di log. I log delle applicazioni sono ad alto volume, a basso valore per byte e appartengono a una piattaforma di log con prezzi adatti a tale forma. Farli passare attraverso Kafka è il modo più rapido per consumare un credito su dati che nessuno riprodurrà.
Over-partitioning precoce. Le partizioni sono l'unità di parallelismo e non sono gratuite. I team scelgono un numero elevato per stare tranquilli, poi scoprono che il numero di partizioni è facile da aumentare e doloroso da ridurre.
Pianificazione dell'uscita troppo tardi. Il protocollo Kafka è genuinamente portatile; ciò che costruisci attorno ad esso non lo è. Decidi al 70% del credito consumato come appare la tua architettura non sovvenzionata, non al 100%.
Come pianificare attorno a Confluent e altri crediti per piattaforme dati
Un credito di streaming vale quanto la tua architettura gli permette di valere, e queste decisioni vengono prese prima che il primo argomento vada in diretta.
Cinque aspetti da definire presto, in ordine approssimativo di impatto sui costi:
Mappa l'intera fattura, non la riga Confluent. Il catalogo su getaiperks.com elenca i programmi di streaming, warehouse e pipeline fianco a fianco, la vista che mostra quali parti di uno stack in tempo reale sono coperte e quali rimangono tue.
Prevedi la fattura cloud separatamente. Produttori, consumatori e networking privato vengono fatturati da AWS, Azure o Google Cloud indipendentemente da ciò che copre Confluent, e quella riga non si riduce perché la riga di streaming è diminuita.
Imposta la retention e la compressione prima che esistano i consumatori. Entrambe sono decisioni su una riga che si compongono nel corso della vita del credito, ed entrambe diventano imbarazzanti da cambiare una volta che i sistemi downstream dipendono da esse.
Tratta ogni nuovo gruppo di consumatori come una decisione di costo. Il fan-out è il contatore che cresce senza che nessuno modifichi una configurazione, quindi chiediti se un consumatore esistente può invece pubblicare un argomento derivato.
Decidi dove si trova il tuo confine portatile. L'uso del protocollo Kafka semplice viaggia. I job Flink gestiti, i connettori Confluent e la configurazione di governance non lo fanno, quindi mantieni le parti mobili pulite fin dall'inizio.
Domande frequenti
Quanto vale il programma startup di Confluent?
Fino a $20.000 in crediti per Confluent Cloud, che coprono l'utilizzo del cluster, ingress, egress, storage conservato ed elaborazione dei flussi. Per un prodotto che trasmette decine di gigabyte al mese, questo rappresenta una lunga autonomia per la fattura di streaming in particolare. Gli importi attuali e l'idoneità sono tracciati su getaiperks.com.
I crediti Confluent coprono la mia fattura AWS o Google Cloud?
No. I cluster Confluent Cloud vengono eseguiti nei propri account cloud di Confluent, quindi il credito compensa solo la fattura Confluent. Il calcolo che esegue i tuoi produttori e consumatori, il tuo storage e qualsiasi networking privato che configuri vengono fatturati dal tuo provider cloud. Pianifica di avere sia una sovvenzione cloud che una sovvenzione Confluent.
Kafka è eccessivo per una startup in fase iniziale?
Spesso, sì. Se un worker consuma ogni messaggio e non riproduci mai la cronologia, Postgres, Redis streams o SQS sono più economici e semplici. Kafka giustifica il suo costo quando diversi sistemi indipendenti leggono gli stessi eventi, quando la riproduzione è importante, o quando un consumatore lento non deve bloccare il resto del prodotto.
Perché la mia fattura di egress Confluent è più alta della mia di ingress?
Perché ogni gruppo di consumatori legge l'intero flusso. Quattro consumatori su un argomento significano circa quattro volte il tuo volume di ingress in egress. Basa il tuo budget sulla cifra moltiplicata per il tuo fan-out anziché sull'ingress, e considera di far pubblicare un argomento derivato da un consumatore anziché aggiungere un quinto lettore.
Posso combinare i crediti Confluent con altri crediti startup?
Sì, e i crediti di streaming si impilano in modo insolitamente pulito perché le fatture non si sovrappongono. I crediti cloud coprono le macchine, Confluent copre il trasporto, i crediti della piattaforma dati coprono il data warehouse in cui atterra, e i crediti del modello coprono l'inferenza. Quali programmi sono compatibili è tracciato su 194 aziende su getaiperks.com.
Cosa succede quando i crediti Confluent finiscono?
Erediti una fattura dimensionata in base ai valori predefiniti di retention, compressione e fan-out scelti mentre era gratuito. Impostali deliberatamente all'inizio, mantieni la tua integrazione a livello di protocollo Kafka dove rimane portatile e decidi cosa taglieresti al 70% del credito consumato anziché dopo l'arrivo della fattura.
Sposta gli eventi. Lascia che qualcun altro finanzi il trasporto mentre tu costruisci sopra.