Was das Databricks Startup-Programm Ihnen bietet
Databricks bietet bis zu 50.000 $ an Guthaben für seine Data Intelligence Platform, die Spark-Rechenleistung, SQL-Warehouses, Delta Lake-Pipelines und den Mosaic AI-Machine-Learning-Stack auf einer einzigen Plattformrechnung abdeckt.
Dies ist einer der größeren Zuschüsse in der Kategorie Datenplattformen. AI Perks verfolgt dies neben 7,7 Mio. $ Guthaben bei 194 Unternehmen.
Die Zahl, die wirklich zählt, sind nicht 50.000 $. Es ist die Tatsache, dass das Guthaben die Nutzung der Databricks-Plattform abdeckt und im Allgemeinen nicht die virtuellen Cloud-Maschinen, auf denen die Plattform läuft, für die Sie weiterhin direkt AWS, Azure oder Google Cloud bezahlen. Gründer, die diese Struktur übersehen, budgetieren für eine Rechnung und erhalten zwei. Die Bedingungen variieren je nach Route, und die aktuellen sind auf getaiperks.com aufgeführt.
Wofür Databricks eigentlich gedacht ist
Databricks verkauft eine einheitliche Steuerungsebene für Ihre Analysen und Ihr maschinelles Lernen, sodass die Tabelle, die Ihr BI-Dashboard liest, und die Tabelle, auf der Ihr Modell trainiert, dieselbe Tabelle mit denselben Berechtigungen sind.
Jeder Teil davon existiert separat und kostengünstig. Postgres verarbeitet Analysen bis zu einer überraschenden Skalierung. dbt übernimmt die Transformation. S3 mit Parquet übernimmt die Speicherung. Airflow kümmert sich um die Orchestrierung. MLflow ist Open Source und kann selbst gehostet werden.
Sie kaufen die Verknüpfung dazwischen, plus die Abwesenheit eines Data Engineers, der fünf Systeme wartet, die sich uneinig sind, was ein Kunde ist. Delta Lake bietet Ihnen ACID-Transaktionen und Zeitreisen auf Objektspeicher. Unity Catalog bietet Ihnen ein Berechtigungsmodell über SQL, Notebooks und Modelltraining hinweg.
Der ehrliche Test, ob Sie dies bereits benötigen: Dauert eine Abfrage, von der Ihr Unternehmen abhängt, länger als Ihre Geduld, oder stammen Ihre Trainingsdaten aus einem anderen Ort als Ihre Dashboards? Wenn beides nicht zutrifft, decken Postgres und dbt Sie aufrichtig ab, und das Guthaben ist besser später ausgegeben. Eine einzelne Postgres-Instanz bewältigt zehntausende Millionen von Zeilen und die meisten Analysen in der Startphase ohne Beanstandung.
Wenn Sie Ereignisströme mit Transaktionsdaten verknüpfen, Spark-Jobs über Hunderte von Gigabyte ausführen oder auf Daten trainieren, die verwaltet werden müssen, wissen Sie bereits, warum diese Kategorie existiert.
Wie sich die Databricks-Preise im großen Maßstab verhalten
Databricks rechnet in DBUs ab, einer pro Sekunde verbrauchten Einheit, deren Satz sich je nach dem Produkt, auf dem Sie die Arbeit ausführen, ändert, und diese Rechnung liegt zusätzlich zu einer separaten Cloud-Infrastrukturrechnung, die Sie Ihrem Anbieter zahlen.
Dieselbe Spark-Aufgabe kostet dramatisch unterschiedliche Beträge, rein abhängig davon, auf welcher "Spur" Sie sie ausführen. Das ist das Wichtigste, was Sie verstehen müssen, bevor Sie ein Guthaben aktivieren.
| Zähler | Grobes Listenverhalten | Was lässt es ansteigen? |
|---|---|---|
| Jobs Compute | Rund 0,15 $ pro DBU, AWS Premium-Tier | Selten das Problem, das ist die günstige Spur |
| All-Purpose Compute | Rund 0,55 $ pro DBU, etwa 3,5x Jobs Compute | Produktions-Pipelines, die auf interaktiven Clustern laufen gelassen werden |
| Serverless SQL | Rund 0,70 $ pro DBU | Automatisch aktualisierende Dashboards, nie konfigurierter Auto-Stop |
| Delta Live Tables | Gestaffelt nach Funktionsumfang | Kontinuierlicher Modus, wo ausgelöst ausgereicht hätte |
| Model Serving | Pro DBU-Stunde des bereitgestellten Durchsatzes | Endpunkte, die für nicht eintreffenden Traffic warm gehalten werden |
| Zugrundeliegende Cloud-VMs | An AWS, Azure oder GCP gezahlt, nicht an Databricks | Oft von gleicher Größenordnung wie die DBU-Gebühr selbst |
Dies sind veröffentlichte Listenpreise zum Zeitpunkt der Erstellung auf der AWS Premium-Tier, und sie ändern sich. Überprüfen Sie die aktuellen Tarife, bevor Sie etwas modellieren.
Ein ausgearbeitetes Beispiel. Ein Jobs-Cluster mit vier Knoten bei etwa 2 DBUs pro Knoten-Stunde, der zwei Stunden pro Nacht läuft, sind etwa 480 DBUs pro Monat oder etwa 72 $ an Plattformgebühren. Ein einzelnes 2X-Small Serverless SQL Warehouse, das acht Stunden pro Wochentag verfügbar ist, verbraucht etwa 700 DBUs oder etwa 490 $. Hinzu kommt die EC2-Rechnung darunter, und eine Seed-Stage-Nutzung liegt bei etwa 1.100 $ pro Monat, was ein 50.000 $-Guthaben für etwa dreieinhalb Jahre abdeckt.
Das Gegenteil ist, wo Teams zu Schaden kommen. Ein All-Purpose-Cluster mit fünf Knoten und deaktivierter automatischer Beendigung verbraucht etwa 7.200 DBUs pro Monat, etwa 3.960 $ allein für DBUs, für Arbeit, die niemand leistet. Niemand wählt das. Es passiert, weil jemand am Freitag einen Laptop geschlossen hat. AI Perks listet die Guthabenbedingungen auf, die Disziplin liegt bei Ihnen.
Womit Databricks-Guthaben gestapelt werden können
Databricks-Guthaben decken den Plattformverbrauch ab, und die zugrundeliegenden Cloud-VMs werden von Ihrem Anbieter in Rechnung gestellt, sodass Cloud-Guthaben und Databricks-Guthaben das sauberste Stapelpaar in der Infrastruktur sind.
Das ist ungewöhnlich. Die meisten Guthabenprogramme überschneiden sich, und das Halten von zwei bedeutet oft, eines zu verschwenden. Hier ergänzen sie sich aufrichtig: Ihre AWS-, Azure- oder Google Cloud-Zuschüsse decken die Rechen- und Speicherschicht ab, und der Databricks-Zuschuss deckt die Plattformschicht darüber ab. Ein Team, das beide hat, hat im Wesentlichen den gesamten Datenstack für denselben Zeitraum abgedeckt.
Das vollständige Bild für ein frühes KI-Produkt:
- Cloud-Guthaben decken ab, wo die Maschinen laufen und wo die Daten liegen
- Databricks-Guthaben decken die Plattform ab, die diesen Speicher in verwaltete Tabellen und Pipelines verwandelt
- Modell- und API-Guthaben decken die Inferenz ab, die Ihre Anwendung zur Laufzeit aufruft
- Observability-Guthaben decken die Kenntnis ab, ob irgendetwas davon funktioniert
Zu sehen, welche Zuschüsse kompatibel sind und welche sich heimlich ausschließen, ist der Grund, warum AI Perks als gepflegte Liste und nicht als Ordner mit Lesezeichen existiert.
Was Gründer an Datenplattform-Guthaben falsch verstehen
Der teuerste Fehler ist, ein großes Guthaben als kostenlose Daten-Engineering-Leistung zu betrachten, anstatt als ein festes Zeitfenster, um kostenbewusste Gewohnheiten aufzubauen, die Sie sich leisten können, sobald es endet.
Fünf Fehlermuster, in ungefährer Reihenfolge ihrer Kosten:
Produktion auf All-Purpose Compute ausführen. Interaktive Cluster sind dort, wo Sie entwickeln. Jobs Compute ist dort, wo geplante Arbeit hingehört, zu etwa einem Drittel des DBU-Satzes für identische Ergebnisse. Teams prototypisieren in einem Notebook, planen das Notebook und zahlen für immer dreifach.
Keine automatische Beendigung. Ein ruhender Cluster kostet genauso viel wie ein aktiver. Stellen Sie aggressive automatische Beendigung für jeden All-Purpose-Cluster und automatischen Stopp für jedes SQL-Warehouse an dem Tag ein, an dem Sie sie erstellen, nicht nach der ersten Rechnung.
Die zweite Rechnung vergessen. Das Guthaben gleicht DBUs aus. Ihr Cloud-Anbieter stellt weiterhin Instanzen, Speicher und ausgehenden Datenverkehr in Rechnung. Budgetieren Sie beides und prüfen Sie, welche Cloud-Programme neben diesem auf getaiperks.com aufgeführt sind.
Einen Lakehouse einführen, bevor die Daten es rechtfertigen. Ein Guthaben entfernt das Preissignal genau in dem Moment, in dem Ihr Team seine Standardeinstellungen wählt. Die Migration zu Databricks bei 5 GB Daten bringt Ihnen Komplexität, keine Geschwindigkeit, und Sie übernehmen das Betriebsmodell danach.
Den Ausstieg zu spät planen. Guthaben werden zum Listenpreis ausgewiesen, daher ist ein Guthaben von 50.000 $ weniger wert als 50.000 $ ausgehandelte Ausgaben, und der Monat, in dem es endet, ist ein Cliff statt einer Rampe. Entscheiden Sie bei 70 % Verbrauch, was Sie kürzen werden, nicht bei 100 %.
Was Sie klären sollten, bevor Sie ein Datenplattform-Guthaben in Anspruch nehmen
Ein Datenplattform-Guthaben ist am wertvollsten, wenn die Kosten-Gewohnheiten, die es verbirgt, bereits diejenigen sind, die Sie sich auch ohne leisten könnten.
AI Perks listet Databricks neben den anderen Warehouse-, Streaming- und Pipeline-Programmen in den Kategorien Daten und Infrastruktur auf, mit aktuellen Konditionen und Beträgen für jedes, sodass die Kategorie als ein Gesamtbild und nicht als ein Programm nach dem anderen gelesen wird.
Vier Dinge, die es wert sind, entschieden zu werden, bevor der Zähler zu laufen beginnt:
Die zweite Rechnung. Plattformverbrauch und Cloud-Infrastruktur werden von verschiedenen Unternehmen in Rechnung gestellt. Ein Databricks-Zuschuss allein lässt etwa die Hälfte der tatsächlichen Kosten für eine Datenplattform ungedeckt, weshalb die Cloud-Programme, die am selben Ort aufgeführt sind, genauso wichtig sind wie dieses.
Die Partnerroute. Ein erheblicher Teil großer Infrastruktur-Guthaben erreicht Startups über Beschleuniger, Investoren und Cloud-Marktplätze und nicht direkt, und die Bedingungen unterscheiden sich je nach Route. Es lohnt sich zu wissen, was Ihre bestehenden Beziehungen bereits freischalten, bevor Sie davon ausgehen, dass es nur einen Weg gibt.
Zeitplanung im Verhältnis zu Workloads. Guthaben-Uhren beginnen in der Regel, wenn ein Konto aktiviert und nicht, wenn es genehmigt wird. Ein Guthaben, das läuft, während die Pipeline noch entworfen wird, ist ein Guthaben, das sich selbst für nichts ausgibt.
Ihre nicht subventionierte Zahl. Schreiben Sie auf, was die Plattform Sie am ersten Tag zum vollen Preis kosten würde, und stellen Sie dann Cluster-Richtlinien, automatische Beendigung und Warehouse-Größen so ein, dass Sie dort landen, wenn das Guthaben endet, und nicht, wo Sie feststellen, dass Sie sind.
Häufig gestellte Fragen
Wie viel ist das Databricks Startup-Programm wert?
Bis zu 50.000 $ an Guthaben für die Databricks-Plattform, die Spark-Jobs, SQL-Warehouses, Delta Live Tables-Pipelines und Machine-Learning-Workloads abdeckt. Für ein Seed-Stage-Team, das etwa 1.100 $ pro Monat ausgibt, sind das etwa dreieinhalb Jahre "Runway" auf der Plattformrechnung. Aktuelle Konditionen und Berechtigung werden unter getaiperks.com verfolgt.
Decken Databricks-Guthaben meine AWS- oder Azure-Rechnung ab?
Im Allgemeinen nein. Databricks-Guthaben gleichen den Plattformverbrauch aus, der in DBUs gemessen wird, während die virtuellen Maschinen, der Objektspeicher und der ausgehende Netzwerkverkehr darunter von Ihrem Cloud-Anbieter in Rechnung gestellt werden. Bestätigen Sie die spezifischen Bedingungen, bevor Sie budgetieren, und planen Sie, sowohl einen Cloud-Zuschuss als auch einen Databricks-Zuschuss zu erhalten, anstatt einen großen.
Ist Databricks für ein Pre-Seed-Startup übertrieben?
Oft ja. Postgres plus dbt bewältigt zehntausende Millionen von Zeilen und die meisten Analysen in der Seed-Phase für fast nichts. Databricks rechnet sich, sobald Sie Ereignisdaten mit Transaktionsdaten verknüpfen, Spark über Hunderte von Gigabyte ausführen oder Modelle auf Daten trainieren, die verwaltet und reproduzierbar sein müssen.
Was ist eine DBU und warum ändert sich der Satz?
Eine DBU ist eine Databricks Unit, ein pro Sekunde gemessener Verbrauchseinheit. Der Satz pro DBU hängt davon ab, welches Produkt die Arbeit ausführt: Jobs Compute ist die günstigste Spur, All-Purpose Compute kostet etwa das Dreieinhalbfache, und Serverless SQL noch mehr. Die Ausführung von geplanten Arbeiten auf interaktiven Clustern ist die häufigste vermeidbare Überschreitung der Ausgaben.
Kann ich Databricks-Guthaben mit anderen Startup-Guthaben kombinieren?
Ja, und die Kombination ist ungewöhnlich sauber, da sich die Rechnungen nicht überschneiden. Cloud-Guthaben decken die Maschinen ab, Databricks-Guthaben decken die Plattform ab und Modell-Guthaben decken die Inferenz zur Laufzeit ab. Welche Programme miteinander kompatibel sind, wird unter getaiperks.com bei 194 Unternehmen verfolgt.
Was passiert, wenn die Databricks-Guthaben aufgebraucht sind?
Sie erben eine Rechnung, die von den Gewohnheiten bestimmt wird, die sich gebildet haben, als sie kostenlos war, zum Listenpreis und nicht zu einem ausgehandelten Satz. Die Lösung besteht darin, Cluster-Richtlinien, automatische Beendigung und Warehouse-Limits frühzeitig festzulegen, damit Ihr nicht subventionierter Fußabdruck bereits derjenige ist, den Sie ausführen, wenn das Guthaben abläuft.
Abonnieren Sie unter getaiperks.com →
Bauen Sie die Datenplattform. Lassen Sie jemand anderen die ersten drei Jahre davon finanzieren.