Ce que le programme de démarrage de Databricks vous apporte
Databricks offre jusqu'à 50 000 $ en crédits pour sa plateforme d'intelligence de données, couvrant le calcul Spark, les entrepôts SQL, les pipelines Delta Lake et la pile d'apprentissage automatique Mosaic AI sur une seule facture de plateforme.
C'est l'une des subventions les plus importantes dans la catégorie des plateformes de données. AI Perks la suit aux côtés de 7,7 millions de dollars en crédits pour 194 entreprises.
Le chiffre qui compte vraiment n'est pas de 50 000 $. C'est le fait que le crédit couvre la consommation de la plateforme Databricks et généralement pas les machines virtuelles du cloud sur lesquelles la plateforme s'exécute, pour lesquelles vous continuez à payer directement AWS, Azure ou Google Cloud. Les fondateurs qui ignorent cette structure budgétisent une facture et en reçoivent deux. Les conditions varient selon le canal, et les actuelles sont listées sur getaiperks.com.
À quoi sert réellement Databricks
Databricks vend une couche gouvernée sur vos analyses et votre apprentissage automatique, de sorte que la table que lit votre tableau de bord BI et la table sur laquelle votre modèle s'entraîne sont la même table avec les mêmes permissions.
Chaque élément de cela existe séparément et à bas coût. Postgres gère l'analytique jusqu'à une échelle surprenante. dbt gère la transformation. S3 plus Parquet gère le stockage. Airflow gère l'orchestration. MLflow est open source et vous pouvez l'héberger vous-même.
Ce que vous achetez, c'est la jonction entre eux, plus l'absence d'un ingénieur de données maintenant cinq systèmes qui ne sont pas d'accord sur ce qu'est un client. Delta Lake vous offre des transactions ACID et le voyage dans le temps sur le stockage objet. Unity Catalog vous offre un modèle de permission unique sur SQL, les notebooks et la formation de modèles.
Le test honnête pour savoir si vous en avez besoin maintenant : une requête dont votre entreprise dépend prend-elle plus de temps que votre patience, ou vos données d'entraînement proviennent-elles d'un endroit différent de vos tableaux de bord ? Si ni l'un ni l'autre n'est vrai, Postgres et dbt vous couvrent réellement, et le crédit est mieux dépensé plus tard. Une seule instance Postgres gère des dizaines de millions de lignes et la plupart des analyses de stade d'amorçage sans problème.
Si vous combinez des flux d'événements avec des données transactionnelles, exécutez des tâches Spark sur des centaines de gigaoctets, ou entraînez sur des données qui doivent rester gouvernées, vous savez déjà pourquoi cette catégorie existe.
Comment le prix de Databricks se comporte à l'échelle
Databricks facture en DBUs, une unité de consommation par seconde dont le taux change en fonction du produit sur lequel vous exécutez le travail, et cette facture s'ajoute à une facture d'infrastructure cloud distincte que vous payez à votre fournisseur.
La même tâche Spark coûte considérablement différemment en fonction uniquement de la voie dans laquelle vous l'exécutez. C'est la chose la plus importante à comprendre avant d'activer un crédit.
| Compteur | Comportement approximatif à la liste | Ce qui le fait augmenter |
|---|---|---|
| Calcul des tâches | Environ 0,15 $ par DBU, niveau Premium AWS | Rarement le problème, c'est la voie bon marché |
| Calcul tout usage | Environ 0,55 $ par DBU, environ 3,5 fois le calcul des tâches | Pipelines de production laissés sur des clusters interactifs |
| SQL Serverless | Environ 0,70 $ par DBU | Tableaux de bord à actualisation automatique, arrêt automatique jamais configuré |
| Delta Live Tables | Par niveau de fonctionnalités | Mode continu où déclenché aurait suffi |
| Service de modèles | Par heure de DBU de débit provisionné | Points de terminaison maintenus actifs pour du trafic qui n'arrive pas |
| Machines virtuelles cloud sous-jacentes | Payé à AWS, Azure ou GCP, pas à Databricks | Souvent du même ordre de grandeur que la charge DBU elle-même |
Ce sont des chiffres de liste publiés au moment de la rédaction sur le niveau Premium AWS, et ils évoluent. Vérifiez les taux actuels avant de modéliser quoi que ce soit.
Un exemple concret. Un cluster de tâches à quatre nœuds à environ 2 DBUs par nœud-heure, fonctionnant deux heures par nuit, représente environ 480 DBUs par mois, soit environ 72 $ de frais de plateforme. Un seul entrepôt SQL serverless 2X-Small laissé disponible huit heures par jour de semaine consomme environ 700 DBUs, soit environ 490 $. Ajoutez la facture EC2 en dessous et une empreinte de stade d'amorçage atteint près de 1 100 $ par mois, qu'un crédit de 50 000 $ couvre pendant environ trois ans et demi.
L'inverse est là où les équipes se font avoir. Un cluster tout usage à cinq nœuds avec désactivation automatique désactivée consomme environ 7 200 DBUs par mois, soit environ 3 960 $ rien qu'en DBUs, pour un travail que personne ne fait. Personne ne choisit cela. Cela arrive parce que quelqu'un a fermé un ordinateur portable un vendredi. AI Perks liste les conditions de crédit, la discipline vous appartient.
Avec quoi les crédits Databricks se combinent
Les crédits Databricks couvrent la consommation de la plateforme, et les machines virtuelles du cloud sous-jacentes sont facturées par votre fournisseur, de sorte que les crédits cloud et les crédits Databricks constituent la paire de combinaison la plus propre en matière d'infrastructure.
C'est inhabituel. La plupart des programmes de crédits se chevauchent, et en détenir deux signifie souvent en gaspiller un. Ici, ils sont véritablement complémentaires : votre crédit AWS, Azure ou Google Cloud absorbe la couche de calcul et de stockage, et le crédit Databricks absorbe la couche de plateforme par-dessus. Une équipe détenant les deux a couvert essentiellement toute la pile de données pour la même période.
Le tableau complet pour un produit d'IA précoce :
- Crédits cloud couvrent l'endroit où les machines s'exécutent et où les données résident
- Crédits Databricks couvrent la plateforme qui transforme ce stockage en tables et pipelines gouvernés
- Crédits de modèles et d'API couvrent l'inférence que votre application appelle à l'exécution
- Crédits d'observabilité couvrent la connaissance de la performance de tout cela
Voir quelles subventions sont compatibles et lesquelles s'excluent mutuellement est la raison pour laquelle AI Perks existe comme une liste entretenue plutôt qu'un dossier de signets.
Ce que les fondateurs comprennent mal à propos des crédits de plateforme de données
L'erreur la plus coûteuse est de considérer un crédit important comme de l'ingénierie de données gratuite plutôt que comme une fenêtre fixe pour établir des habitudes de coût que vous pouvez vous permettre une fois qu'il prend fin.
Cinq schémas d'échec, dans l'ordre approximatif de leur coût :
Exécuter la production sur un calcul tout usage. Les clusters interactifs sont là où vous développez. Le calcul des tâches est là où le travail programmé appartient, à environ un tiers du taux de DBU pour une sortie identique. Les équipes prototypent dans un notebook, programment le notebook et paient triple indéfiniment.
Pas d'arrêt automatique. Un cluster inactif coûte exactement autant qu'un cluster occupé. Réglez un arrêt automatique agressif sur chaque cluster tout usage et un arrêt automatique sur chaque entrepôt SQL le jour où vous les créez, pas après la première facture.
Oublier la deuxième facture. Le crédit compense les DBUs. Votre fournisseur de cloud vous facture toujours les instances, le stockage et la sortie. Budgétez les deux, et vérifiez quels programmes cloud s'alignent avec celui-ci sur getaiperks.com.
Adopter un lakehouse avant que les données ne le justifient. Un crédit supprime le signal de prix au moment même où votre équipe choisit ses valeurs par défaut. Migrer vers Databricks avec 5 Go de données vous apporte de la complexité, pas de la rapidité, et vous héritez du modèle opérationnel par la suite.
Planifier la sortie trop tard. Les crédits sont dénommés au prix catalogue, donc 50 000 $ de crédit valent moins que 50 000 $ de dépenses négociées, et le mois où il se termine est une falaise plutôt qu'une rampe. Décidez à 70 % de la consommation ce que vous allez couper, pas à 100 %.
Ce qu'il faut régler avant de prendre un crédit de plateforme de données
Un crédit de plateforme de données vaut le plus lorsque les habitudes de coût qu'il masque sont déjà celles que vous pourriez vous permettre sans lui.
AI Perks liste Databricks aux côtés des autres programmes d'entrepôts, de streaming et de pipelines dans les catégories de données et d'infrastructure, avec les conditions et montants actuels pour chacun, de sorte que la catégorie se lit comme une image globale plutôt que comme un programme à la fois.
Quatre choses à décider avant que le compteur ne démarre :
La deuxième facture. La consommation de la plateforme et l'infrastructure cloud sont facturées par des entreprises différentes. Une subvention Databricks seule laisse environ la moitié d'un coût réel de plateforme de données non couvert, c'est pourquoi les programmes cloud listés au même endroit sont aussi importants que celui-ci.
Le canal partenaire. Une part importante des crédits d'infrastructure importants parvient aux startups via des accélérateurs, des investisseurs et des places de marché cloud plutôt que par un canal direct, et les conditions diffèrent selon le canal. Il est utile de savoir ce que vos relations existantes débloquent déjà avant de supposer qu'il n'y a qu'un seul chemin.
Le calendrier par rapport aux charges de travail. Les horloges de crédit commencent généralement lorsque le compte est activé plutôt que lorsqu'il est approuvé. Un crédit actif pendant que le pipeline est encore en cours de conception est un crédit qui se dépense pour rien.
Votre chiffre non subventionné. Notez ce que la plateforme vous coûterait à prix plein le premier jour, puis définissez des politiques de cluster, un arrêt automatique et des tailles d'entrepôt de manière à ce que ce soit là que vous atterrissez lorsque le crédit se termine plutôt que là où vous vous découvrez.
Questions fréquemment posées
Quelle est la valeur du programme de démarrage Databricks ?
Jusqu'à 50 000 $ en crédits pour la plateforme Databricks, couvrant les tâches Spark, les entrepôts SQL, les pipelines Delta Live Tables et les charges de travail d'apprentissage automatique. Pour une équipe en phase d'amorçage dépensant environ 1 100 $ par mois, cela représente environ trois ans et demi de piste sur la facture de plateforme. Les conditions actuelles et l'éligibilité sont suivies sur getaiperks.com.
Les crédits Databricks couvrent-ils ma facture AWS ou Azure ?
Généralement non. Les crédits Databricks compensent la consommation de la plateforme mesurée en DBUs, tandis que les machines virtuelles, le stockage objet et la sortie réseau sous-jacents sont facturés par votre fournisseur de cloud. Confirmez les conditions spécifiques avant de budgétez, et prévoyez de détenir à la fois une subvention cloud et une subvention Databricks plutôt qu'une seule grande.
Databricks est-il excessif pour une startup pré-amorçage ?
Souvent oui. Postgres plus dbt gère des dizaines de millions de lignes et la plupart des analyses de stade d'amorçage pour presque rien. Databricks justifie son prix une fois que vous combinez des données d'événements avec des données transactionnelles, que vous exécutez Spark sur des centaines de gigaoctets, ou que vous entraînez des modèles sur des données qui doivent rester gouvernées et reproductibles.
Qu'est-ce qu'un DBU et pourquoi le taux change-t-il ?
Un DBU est une unité Databricks, une mesure par seconde du traitement consommé. Le taux par DBU dépend du produit qui exécute le travail : le calcul des tâches est la voie la moins chère, le calcul tout usage coûte environ trois fois et demie plus cher, et le SQL serverless encore plus. L'exécution de travaux programmés sur des clusters interactifs est la surconsommation évitable la plus courante.
Puis-je combiner les crédits Databricks avec d'autres crédits de démarrage ?
Oui, et la combinaison est exceptionnellement propre car les factures ne se chevauchent pas. Les crédits cloud couvrent les machines, les crédits Databricks couvrent la plateforme, et les crédits de modèles couvrent l'inférence à l'exécution. Les programmes compatibles entre eux sont suivis sur 194 entreprises sur getaiperks.com.
Que se passe-t-il lorsque les crédits Databricks sont épuisés ?
Vous héritez d'une facture dimensionnée par les habitudes formées pendant qu'elle était gratuite, au prix catalogue plutôt qu'à un taux négocié. La solution est de définir les politiques de cluster, l'arrêt automatique et les limites d'entrepôt tôt afin que votre empreinte non subventionnée soit déjà celle que vous exécutez lorsque le crédit expire.
Abonnez-vous sur getaiperks.com →
Construisez la plateforme de données. Laissez quelqu'un d'autre financer les trois premières années.