Was das Confluent Startup Program Ihnen bietet
Confluent bietet bis zu 20.000 US-Dollar an Guthaben für Confluent Cloud, seinen vollständig verwalteten Apache Kafka-Service, der die Cluster-Nutzung, Datenübertragung, gespeicherte Daten und die darauf aufbauende Stream-Processing-Schicht abdeckt.
AI Perks verfolgt dies neben 7,7 Millionen US-Dollar an Guthaben bei 194 Unternehmen.
Das strukturelle Detail ist wichtiger als die Schlagzeilenzahl. Confluent Cloud-Cluster laufen in den eigenen Cloud-Konten von Confluent, nicht in Ihren. Das Guthaben deckt also die Streaming-Rechnung sauber ab, ohne gemeinsame Zähler, über die man streiten müsste, und es deckt weder die Rechenleistung ab, die Ihre Producer und Consumer ausführen, noch das private Netzwerk, das Sie zwischen ihnen einrichten. Die aktuellen Bedingungen sind auf getaiperks.com aufgeführt.
Wofür Confluent eigentlich gedacht ist
Kafka ist ein dauerhaftes, geordnetes, wiederholbares Log, das es vielen unabhängigen Consumern ermöglicht, denselben Ereignisstrom in ihrem eigenen Tempo zu lesen. Confluent ist dieses Log, das für Sie betrieben wird, plus die Schema-, Connector- und Stream-Processing-Schicht, die die meisten Teams ansonsten selbst zusammenstellen.
Die Unterscheidung, die darüber entscheidet, ob Sie es benötigen, ist Log vs. Warteschlange. Eine Warteschlange liefert eine Nachricht einmal an einen Worker und vergisst sie. Ein Log speichert die Ereignisse, und ein Consumer, den Sie sechs Monate später hinzufügen, kann die gesamte Historie von Anfang an lesen.
Drei Fragen trennen die beiden Fälle:
- Benötigt mehr als ein System dasselbe Ereignis? Ein Produzent, vier Konsumenten, von denen keiner voneinander wissen sollte. Das ist der Fall, für den Kafka entwickelt wurde.
- Möchten Sie jemals wiederholen? Wiederaufbau einer abgeleiteten Tabelle, Auffüllen eines neuen Feature-Speichers, Neuverarbeitung nach einem Fehler. Eine Warteschlange kann dies nicht. Ein Log macht es zur Routine.
- Versagen Konsumenten unabhängig voneinander? Wenn das Herunterfahren Ihres Analyse-Sinks den Checkout nicht blockieren darf, benötigen Sie die Entkopplung, die ein Log bietet.
Wenn die ehrliche Antwort auf alle drei Fragen nein ist, decken Postgres mit einer Jobtabelle, Redis-Streams oder SQS Sie für weitaus weniger Geld und eine deutlich geringere operative Fläche ab. Viele erfolgreiche Produkte wachsen nie darüber hinaus. Das Guthaben ist später besser investiert.
Die andere Hälfte der Entscheidung ist Build vs. Buy. Kafka ist kostenlose Software und die Lizenz war nie der teure Teil. Partition-Rebalancing, Retention-Tuning, Broker-Upgrades, Festplattendruck um 3 Uhr morgens und die Person, die all das versteht, sind der teure Teil. KRaft hat die ZooKeeper-Abhängigkeit beseitigt und das Self-Hosting erheblich vereinfacht, aber es hat nicht die On-Call-Rotation beseitigt.
Wie sich die Preisgestaltung von Confluent Cloud im großen Maßstab verhält
Confluent Cloud berechnet hauptsächlich nach Bytes: Daten rein, Daten raus und gespeicherte Daten. Der Zähler, der Gründer überrascht, ist der Egress, da er sich mit der Anzahl der Consumer-Gruppen multipliziert, die dasselbe Thema lesen.
| Zähler | Was ihn antreibt | Was ihn auslösen lässt |
|---|---|---|
| Ingress | Von Produzenten geschriebene GB | Ausführliche Ereignisse, keine Komprimierung, Logs als Ereignisse behandelt |
| Egress | Von Consumern gelesene GB | Jede zusätzliche Consumer-Gruppe liest den gesamten Stream erneut |
| Speicher | GB gespeichert x Aufbewahrungszeitraum | Unendliche oder Standardaufbewahrung unbeachtet gelassen |
| Cluster-Basis | Clustertyp und bereitgestellte Kapazität | Dedizierte Kapazität, gekauft, bevor der Durchsatz sie rechtfertigt |
| Konnektoren | Laufende Aufgaben plus Durchsatz | Leerlaufende Konnektoren, die nach Abschluss einer Migration weiterlaufen |
| Stream-Verarbeitung | Flink-Nutzung, separat abgerechnet | Kontinuierliche Jobs, bei denen ein geplanter Batch ausreichen würde |
| Netzwerk | Privates Networking und zonenübergreifende Pfade | PrivateLink oder Peering aus Compliance-Gründen hinzugefügt, nicht budgetiert |
Die Tarife unterscheiden sich je nach Clustertyp, Cloud-Anbieter und Region und ändern sich. Überprüfen Sie die aktuellen Zahlen auf der Preisseite von Confluent, bevor Sie etwas modellieren.
Die Arithmetik, die wirklich zählt, ist der Fan-out-Multiplikator. Nehmen Sie ein Produkt, das 50 GB pro Monat an Ereignissen schreibt. Vier Consumer-Gruppen lesen dieses Thema: die Anwendung, der Suchindexierer, der Data-Warehouse-Sink und eine Betrugsprüfung. Das sind 50 GB Ingress und 200 GB Egress, so dass Sie für rund 250 GB bei 50 GB echten Daten abgerechnet werden, ein 5-facher Multiplikator.
Skalieren Sie es, und die Form bleibt bestehen. Bei 1 TB Ingress pro Monat mit denselben vier Consumern werden Ihnen etwa 5 TB in Rechnung gestellt. Verwenden Sie Ihre eigenen Zahlen im Preisrechner, nicht Ihre Ingress-Zahl. Teams, die nur aus Ingress budgetieren, liegen falsch um den Wert ihres Fan-outs, und deshalb hält ein Zuschuss von 20.000 US-Dollar für einige Produkte viel länger als für andere. AI Perks listet die Kreditbedingungen auf, der Fan-out liegt bei Ihnen.
Zwei Hebel bewegen die Rechnung mehr als alles andere. Producer-seitige Komprimierung reduziert die Bytes, die über das Netz gehen, und zstd oder lz4 auf JSON-Payloads sind routinemäßig eine erhebliche Reduzierung für eine Konfigurationsänderung in einer Zeile. Retention ist ein reiner Multiplikator für den Speicher, und der Standard ist selten die Zahl, die Sie bewusst gewählt hätten.
Womit Confluent Credits stapelbar sind
Confluent Credits decken nur die Streaming-Schicht ab. Die Rechenleistung, die Ihre Producer und Consumer ausführt, das Data Warehouse, in das der Stream gelandet ist, und die Modelle, die er speist, sind alles separate Rechnungen, was Streaming-Credits ungewöhnlich einfach stapelbar macht.
Eine funktionierende Ereignis-Pipeline berührt vier verschiedene Anbieter, und für jeden gibt es Zuschüsse:
- Cloud-Guthaben decken die Maschinen ab, auf denen Ihre Producer und Consumer laufen, sowie Speicher und Egress auf Ihrer Seite des Netzes.
- Confluent-Guthaben decken den Transport, das Schema-Registry und die Stream-Verarbeitung dazwischen ab.
- Data-Platform-Guthaben decken das Data Warehouse oder den Lakehouse ab, in dem der Stream landet.
- Modell- und API-Guthaben decken jede Inferenz ab, die Ihre Consumer zur Laufzeit aufrufen.
Ein Team, das drei dieser vier hat, hat den größten Teil eines Echtzeitdaten-Stacks für denselben Zeitraum abgedeckt. Zu wissen, welche Zuschüsse kompatibel sind und welche sich heimlich gegenseitig ausschließen, ist der Grund, warum AI Perks als Liste und nicht als Ordner von Lesezeichen geführt wird.
Was Gründer an Streaming-Credits falsch verstehen
Der teuerste Fehler ist die Verwendung von Kafka als Task-Warteschlange, da Sie das operative und Kostenmodell eines Logs übernehmen, ohne etwas zu benötigen, das ein Log bietet.
Fünf Fehlerbilder, in grober Reihenfolge nach Kosten:
Übernahme von Kafka als Job-Warteschlange. Wenn ein Worker jede Nachricht verarbeitet und niemand etwas wiederholt, haben Sie Partitionsverwaltung und Consumer-Group-Rebalancing übernommen, um das zu tun, was eine Datenbanktabelle und ein Cron-Job bereits taten.
Fan-out-Blindheit. Jede neue Consumer-Gruppe ist ein vollständiger zusätzlicher Lesevorgang des Themas. Drei Teams, die in einem Quartal jeweils einen Consumer hinzufügen, können eine Rechnung verdreifachen, an der niemand etwas geändert hat. Fragen Sie vor dem Hinzufügen eines Consumers, ob ein bestehender eine abgeleitete Topic veröffentlichen kann.
Streaming von Logs. Anwendungslogs sind volumetrisch hoch, geringwertig pro Byte und gehören in eine Log-Plattform, die für diese Form bepreist ist. Sie durch Kafka zu leiten, ist der schnellste Weg, ein Guthaben für Daten zu verbrauchen, die niemand wiederholen wird.
Vorzeitige Überpartitionierung. Partitionen sind die Einheit des Parallelismus und sie sind nicht kostenlos. Teams wählen eine große Zahl, um sicher zu sein, und entdecken dann, dass die Partitionsanzahl leicht zu erhöhen und schmerzhaft zu verringern ist.
Planung des Ausstiegs zu spät. Das Kafka-Protokoll ist wirklich portabel; was Sie darum herum bauen, ist es nicht. Entscheiden Sie bei 70% des verbrauchten Guthabens, wie Ihre nicht subventionierte Architektur aussieht, nicht bei 100%.
Wie man rund um Confluent und andere Data-Platform-Credits plant
Ein Streaming-Guthaben ist so viel wert, wie Ihre Architektur es zulässt, und diese Entscheidungen werden getroffen, bevor das erste Thema live geht.
Fünf Punkte, die frühzeitig geklärt werden sollten, in grober Reihenfolge nach Kostenauswirkung:
Die gesamte Rechnung abbilden, nicht nur die Confluent-Zeile. Der Katalog unter getaiperks.com listet Streaming-, Warehouse- und Pipeline-Programme nebeneinander auf, die Ansicht zeigt, welche Teile eines Echtzeit-Stacks abgedeckt sind und welche bei Ihnen verbleiben.
Die Cloud-Rechnung separat budgetieren. Producer, Consumer und private Netzwerke werden von AWS, Azure oder Google Cloud abgerechnet, unabhängig davon, was Confluent abdeckt, und diese Zeile schrumpft nicht, weil die Streaming-Zeile kleiner wurde.
Aufbewahrung und Komprimierung festlegen, bevor Consumer existieren. Beides sind Ein-Zeilen-Entscheidungen, die sich über die Laufzeit des Guthabens hinweg verstärken, und beides wird schwierig zu ändern, sobald nachgelagerte Systeme davon abhängen.
Jede neue Consumer-Gruppe als Kostenentscheidung behandeln. Fan-out ist der Zähler, der wächst, ohne dass jemand eine Konfiguration bearbeitet. Fragen Sie sich also, ob ein bestehender Consumer eine abgeleitete Topic veröffentlichen kann, anstatt einen fünften Leser hinzuzufügen.
Entscheiden Sie, wo Ihre portable Grenze liegt. Reine Kafka-Protokollnutzung ist übertragbar. Managed Flink-Jobs, Confluent-Konnektoren und Governance-Konfigurationen nicht, also halten Sie die beweglichen Teile von Anfang an sauber.
Häufig gestellte Fragen
Wie viel ist das Confluent Startup Program wert?
Bis zu 20.000 US-Dollar an Guthaben für Confluent Cloud, das die Cluster-Nutzung, Ingress, Egress, gespeicherte Daten und Stream-Verarbeitung abdeckt. Für ein Produkt, das Dutzende von Gigabyte pro Monat streamt, ist dies eine lange Laufzeit speziell für die Streaming-Rechnung. Aktuelle Beträge und Berechtigungen werden unter getaiperks.com verfolgt.
Decken Confluent Credits meine AWS- oder Google Cloud-Rechnung ab?
Nein. Confluent Cloud-Cluster laufen in den eigenen Cloud-Konten von Confluent, daher gleicht das Guthaben nur die Confluent-Rechnung aus. Die Rechenleistung, die Ihre Producer und Consumer ausführt, Ihr eigener Speicher und jedes von Ihnen konfigurierte private Netzwerk werden von Ihrem Cloud-Anbieter in Rechnung gestellt. Planen Sie, sowohl einen Cloud-Zuschuss als auch einen Confluent-Zuschuss zu erhalten.
Ist Kafka für ein Startup in der Frühphase übertrieben?
Oft ja. Wenn ein Worker jede Nachricht verarbeitet und Sie niemals die Historie wiederholen, sind Postgres, Redis Streams oder SQS günstiger und einfacher. Kafka rechnet sich, wenn mehrere unabhängige Systeme dieselben Ereignisse lesen, wenn die Wiederholung wichtig ist oder wenn ein langsamer Consumer den Rest des Produkts nicht blockieren darf.
Warum ist meine Confluent Egress-Rechnung höher als meine Ingress-Rechnung?
Weil jede Consumer-Gruppe den gesamten Stream liest. Vier Consumer für ein Thema bedeuten ungefähr das Vierfache Ihres Ingress-Volumens in Egress. Budgetieren Sie aus Ihrem mit dem Fan-out multiplizierten Betrag anstatt aus dem Ingress und erwägen Sie, dass ein Consumer eine abgeleitete Topic veröffentlicht, anstatt einen fünften Leser hinzuzufügen.
Kann ich Confluent Credits mit anderen Startup-Credits kombinieren?
Ja, und Streaming-Credits stapeln sich ungewöhnlich sauber, da sich die Rechnungen nicht überschneiden. Cloud-Credits decken die Maschinen ab, Confluent deckt den Transport ab, Data-Platform-Credits decken das Data Warehouse ab, in dem es landet, und Modell-Credits decken die Inferenz ab. Welche Programme kompatibel sind, wird bei 194 Unternehmen unter getaiperks.com verfolgt.
Was passiert, wenn die Confluent Credits aufgebraucht sind?
Sie erben eine Rechnung, die durch die Standardwerte für Aufbewahrung, Komprimierung und Fan-out bestimmt wird, die während der kostenlosen Nutzung gewählt wurden. Legen Sie diese zu Beginn bewusst fest, halten Sie Ihre Integration auf der Ebene des Kafka-Protokolls, wo sie portabel bleibt, und entscheiden Sie, was Sie bei 70% des verbrauchten Guthabens kürzen würden, anstatt nachdem die Rechnung eintrifft.
Abonnieren Sie auf getaiperks.com →
Bewegen Sie die Ereignisse. Lassen Sie jemand anderen den Transport finanzieren, während Sie darauf aufbauen.