Ce que le programme startup de Confluent vous apporte
Confluent offre jusqu'à 20 000 $ de crédits pour Confluent Cloud, son service Apache Kafka entièrement géré, couvrant l'utilisation des clusters, le transfert de données, le stockage conservé et la couche de traitement des flux au-dessus.
AI Perks le suit aux côtés de 7,7 millions de dollars de crédits dans 194 entreprises.
Le détail structurel est plus important que le chiffre principal. Les clusters Confluent Cloud s'exécutent dans les propres comptes cloud de Confluent, pas les vôtres. Ainsi, le crédit couvre la facture du streaming de manière nette, sans compteur partagé à contester, et il ne couvre aucun des calculs exécutant vos producteurs et consommateurs, ni aucun des réseaux privés que vous mettez entre eux. Les conditions actuelles sont répertoriées sur getaiperks.com.
À quoi sert Confluent en réalité
Kafka est un journal durable, ordonné et rejouable qui permet à de nombreux consommateurs indépendants de lire le même flux d'événements à leur propre rythme. Confluent est ce journal opéré pour vous, plus la couche de schéma, de connecteurs et de traitement de flux que la plupart des équipes assemblent par ailleurs.
La distinction qui détermine si vous en avez besoin est journal contre file d'attente. Une file d'attente délivre un message une fois, à un travailleur, et l'oublie. Un journal conserve les événements, et un consommateur que vous ajoutez six mois plus tard peut lire tout l'historique depuis le début.
Trois questions séparent les deux cas :
- Plusieurs systèmes ont-ils besoin du même événement ? Un producteur, quatre consommateurs, dont aucun ne devrait connaître les autres. C'est le cas pour lequel Kafka a été conçu.
- Voulez-vous jamais rejouer ? Reconstruire une table dérivée, remplir un nouveau magasin de fonctionnalités, retraiter après un bug. Une file d'attente ne peut pas faire cela. Un journal rend cela courant.
- Les consommateurs échouent-ils indépendamment ? Si la défaillance de votre récepteur d'analyse ne doit pas bloquer le paiement, vous avez besoin du découplage qu'un journal offre.
Si la réponse honnête est non aux trois, Postgres avec une table de tâches, Redis streams ou SQS vous couvrent pour beaucoup moins cher et une surface opérationnelle bien moindre. De nombreux produits prospères ne dépassent jamais cela. Le crédit est mieux dépensé plus tard.
L'autre moitié de la décision est de construire ou d'acheter. Kafka est un logiciel libre et la licence n'a jamais été la partie coûteuse. Le rééquilibrage des partitions, l'ajustement de la rétention, les mises à niveau des courtiers, la pression sur le disque à 3 heures du matin et la personne qui comprend tout cela sont la partie coûteuse. KRaft a supprimé la dépendance à ZooKeeper et a rendu l'auto-hébergement significativement plus simple, mais il n'a pas supprimé la rotation d'astreinte.
Comment le prix de Confluent Cloud se comporte à l'échelle
Confluent Cloud facture principalement en octets : données entrantes, données sortantes et données conservées. Le compteur qui surprend les fondateurs est la sortie (egress), car il se multiplie par le nombre de groupes de consommateurs lisant le même sujet.
| Compteur | Ce qui le déclenche | Ce qui le fait monter en flèche |
|---|---|---|
| Entrée (Ingress) | Go écrits par les producteurs | Événements verbeux, pas de compression, journaux traités comme des événements |
| Sortie (Egress) | Go lus par les consommateurs | Chaque groupe de consommateurs supplémentaire relit l'intégralité du flux |
| Stockage | Go conservés x fenêtre de rétention | Rétention infinie ou par défaut laissée sans examen |
| Base du cluster | Type de cluster et capacité provisionnée | Capacité dédiée achetée avant que le débit ne la justifie |
| Connecteurs | Tâches en cours d'exécution plus débit | Connecteurs inactifs laissés en cours d'exécution après la fin d'une migration |
| Traitement des flux | Utilisation de Flink, facturée sur son propre compteur | Travaux continus où un lot planifié suffirait |
| Réseau | Réseau privé et chemins inter-zones | PrivateLink ou peering ajoutés pour la conformité, non budgétés |
Les tarifs diffèrent selon le type de cluster, le fournisseur de cloud et la région, et ils changent. Vérifiez les chiffres actuels sur la page de tarification de Confluent avant de modéliser quoi que ce soit.
L'arithmétique qui compte vraiment est le multiplicateur de diffusion en éventail (fan-out). Prenez un produit écrivant 50 Go par mois d'événements. Quatre groupes de consommateurs lisent ce sujet : l'application, l'indexeur de recherche, le récepteur d'entrepôt de données et une vérification de fraude. Cela représente 50 Go d'entrée et 200 Go de sortie, vous êtes donc facturé sur environ 250 Go pour 50 Go de données réelles, un multiplicateur de 5x.
À l'échelle, la forme se maintient. À 1 To d'entrée par mois avec les mêmes quatre consommateurs, vous êtes facturé sur environ 5 To. Utilisez votre propre chiffre dans le calculateur de prix, pas votre chiffre d'entrée. Les équipes qui établissent leur budget uniquement à partir de l'entrée se trompent du montant de leur diffusion en éventail, ce qui explique également pourquoi une subvention de 20 000 $ dure beaucoup plus longtemps pour certains produits que pour d'autres. AI Perks liste les conditions de crédit, la diffusion en éventail est de votre ressort.
Deux leviers font plus varier la facture que tout le reste. La compression côté producteur réduit les octets qui traversent le réseau, et zstd ou lz4 sur les charges utiles JSON représentent régulièrement une réduction importante pour une modification de configuration d'une seule ligne. La rétention est un multiplicateur pur sur le stockage, et la valeur par défaut est rarement le nombre que vous auriez choisi délibérément.
Avec quoi les crédits Confluent se cumulent
Les crédits Confluent couvrent uniquement la couche de streaming. Le calcul exécutant vos producteurs et consommateurs, l'entrepôt de données dans lequel le flux arrive, et les modèles qu'il alimente sont tous des factures distinctes, ce qui rend les crédits de streaming exceptionnellement faciles à cumuler.
Un pipeline d'événements fonctionnel touche quatre fournisseurs distincts, et des subventions existent pour chacun :
- Crédits cloud couvrent les machines sur lesquelles vos producteurs et consommateurs s'exécutent, ainsi que le stockage et la sortie de votre côté du réseau.
- Crédits Confluent couvrent le transport, le registre de schéma et le traitement des flux intermédiaires.
- Crédits de plateforme de données couvrent l'entrepôt de données ou le lakehouse où le flux arrive.
- Crédits de modèles et d'API couvrent toute inférence que vos consommateurs appellent à l'exécution.
Une équipe détenant trois de ces quatre crédits a couvert la majeure partie d'une pile de données en temps réel pour la même période. Savoir quelles subventions sont compatibles et lesquelles s'excluent mutuellement est la raison pour laquelle AI Perks est maintenu comme une liste plutôt qu'un dossier de signets.
Ce que les fondateurs comprennent mal à propos des crédits de streaming
L'erreur la plus coûteuse est d'utiliser Kafka comme une file d'attente de tâches, car vous assumez le modèle opérationnel et de coût d'un journal sans avoir besoin de quoi que ce soit qu'un journal offre.
Cinq modèles d'échec, dans l'ordre approximatif de leur coût :
Adopter Kafka comme une file d'attente de tâches. Si un seul travailleur consomme chaque message et que personne ne rejoue quoi que ce soit, vous avez acheté la gestion des partitions et le rééquilibrage des groupes de consommateurs pour faire ce qu'une table de base de données et un travail cron faisaient déjà.
Ignorance de la diffusion en éventail. Chaque nouveau groupe de consommateurs est une lecture supplémentaire complète du sujet. Trois équipes ajoutant un consommateur chacune au cours d'un trimestre peuvent tripler une facture que personne n'a modifiée. Avant d'ajouter un consommateur, demandez si un existant peut publier un sujet dérivé à la place.
Streaming des journaux. Les journaux d'application sont à haut volume, faible valeur par octet, et appartiennent à une plateforme de journaux tarifée pour cette caractéristique. Les faire passer par Kafka est le moyen le plus rapide de consommer un crédit sur des données que personne ne rejouera.
Sur-partitionnement précoce. Les partitions sont l'unité de parallélisme et elles ne sont pas gratuites. Les équipes choisissent un grand nombre pour être sûres, puis découvrent que le nombre de partitions est facile à augmenter et douloureux à réduire.
Planification de la sortie trop tardive. Le protocole Kafka est réellement portable ; ce que vous construisez autour, ne l'est pas. Décidez à 70% du crédit consommé à quoi ressemble votre architecture non subventionnée, pas à 100%.
Comment planifier autour de Confluent et d'autres crédits de plateforme de données
Un crédit de streaming vaut ce que votre architecture lui permet de valoir, et ces décisions sont prises avant que le premier sujet ne soit mis en ligne.
Cinq points à régler tôt, dans l'ordre approximatif de l'impact sur les coûts :
Cartographiez l'intégralité de la facture, pas la ligne Confluent. Le catalogue sur getaiperks.com répertorie les programmes de streaming, d'entrepôt de données et de pipeline côte à côte, la vue qui montre quelles parties d'une pile en temps réel sont couvertes et lesquelles restent les vôtres.
Budgétez la facture du cloud séparément. Les producteurs, les consommateurs et le réseau privé sont facturés par AWS, Azure ou Google Cloud, quelle que soit la couverture de Confluent, et cette ligne ne diminue pas parce que la ligne de streaming a diminué.
Définissez la rétention et la compression avant l'existence des consommateurs. Les deux sont des décisions d'une seule ligne qui s'accumulent sur la durée de vie du crédit, et les deux deviennent gênantes à changer une fois que les systèmes en aval en dépendent.
Traitez chaque nouveau groupe de consommateurs comme une décision de coût. La diffusion en éventail est le compteur qui augmente sans que personne ne modifie une configuration, alors demandez si un consommateur existant peut publier un sujet dérivé à la place.
Décidez où se situe votre limite portable. L'utilisation du protocole Kafka simple est portable. Les travaux Flink gérés, les connecteurs Confluent et la configuration de gouvernance ne le sont pas, alors gardez les pièces mobiles propres dès le début.
Foire aux questions
Quelle est la valeur du programme startup de Confluent ?
Jusqu'à 20 000 $ de crédits pour Confluent Cloud, couvrant l'utilisation des clusters, l'entrée, la sortie, le stockage conservé et le traitement des flux. Pour un produit diffusant des dizaines de gigaoctets par mois, cela représente une longue piste sur la facture de streaming spécifiquement. Les montants actuels et l'éligibilité sont suivis sur getaiperks.com.
Les crédits Confluent couvrent-ils ma facture AWS ou Google Cloud ?
Non. Les clusters Confluent Cloud s'exécutent dans les propres comptes cloud de Confluent, de sorte que le crédit compense uniquement la facture Confluent. Le calcul exécutant vos producteurs et consommateurs, votre propre stockage et tout réseau privé que vous configurez sont facturés par votre fournisseur de cloud. Prévoyez de détenir à la fois une subvention cloud et une subvention Confluent.
Kafka est-il excessif pour une startup en phase de démarrage ?
Souvent, oui. Si un seul travailleur consomme chaque message et que vous ne rejouez jamais l'historique, Postgres, Redis streams ou SQS est moins cher et plus simple. Kafka justifie son coût lorsque plusieurs systèmes indépendants lisent les mêmes événements, lorsque le rejeu est important, ou lorsqu'un consommateur lent ne doit pas bloquer le reste du produit.
Pourquoi ma facture de sortie Confluent est-elle plus élevée que mon entrée ?
Parce que chaque groupe de consommateurs lit l'intégralité du flux. Quatre consommateurs sur un sujet signifient environ quatre fois votre volume d'entrée en sortie. Budgétez à partir de votre chiffre multiplié par la diffusion en éventail plutôt qu'à partir de l'entrée, et envisagez qu'un consommateur publie un sujet dérivé au lieu d'ajouter un cinquième lecteur.
Puis-je combiner les crédits Confluent avec d'autres crédits de startup ?
Oui, et les crédits de streaming se cumulent de manière exceptionnellement nette car les factures ne se chevauchent pas. Les crédits cloud couvrent les machines, Confluent couvre le transport, les crédits de plateforme de données couvrent l'entrepôt dans lequel il arrive, et les crédits de modèles couvrent l'inférence. La compatibilité des programmes est suivie sur 194 entreprises sur getaiperks.com.
Que se passe-t-il lorsque les crédits Confluent sont épuisés ?
Vous héritez d'une facture dimensionnée par les valeurs par défaut de rétention, de compression et de diffusion en éventail choisies pendant qu'elle était gratuite. Définissez-les délibérément au début, maintenez votre intégration au niveau du protocole Kafka où elle reste portable, et décidez de ce que vous réduiriez à 70% du crédit consommé plutôt qu'après l'arrivée de la facture.
Abonnez-vous sur getaiperks.com →
Déplacez les événements. Laissez quelqu'un d'autre financer le transport pendant que vous construisez par-dessus.