Databricks मूल्य निर्धारण गाइड 2026: DBU लागत और ब्रेकडाउन

संक्षिप्त सारांश: Databricks की कीमत में Databricks Units (DBUs) को शामिल करने वाला एक उपभोग-आधारित मॉडल है, जो AWS, Azure, या GCP से अंतर्निहित क्लाउड इन्फ्रास्ट्रक्चर लागत के साथ प्रति वर्कलोड प्रकार पर शुल्क लेता है। DBU दरें सब्सक्रिप्शन टियर (Standard, Premium, Enterprise) और कंप्यूट प्रकार के अनुसार भिन्न होती हैं, जिसमें Jobs कंप्यूट लगभग $0.15/DBU से शुरू होता है और All-Purpose कंप्यूट की लागत 2-3 गुना अधिक होती है। कुल मासिक लागतें वर्कलोड वॉल्यूम, क्लस्टर कॉन्फ़िगरेशन और ऑप्टिमाइज़ेशन प्रथाओं पर निर्भर करती हैं।

Databricks की कीमत लगभग हर किसी को भ्रमित करती है। किसी भी इंजीनियरिंग लीड या सीएफओ से एक साधारण प्रश्न पूछें - "Databricks की हमें कितनी लागत आएगी?" - और जवाब लगभग हमेशा "यह निर्भर करता है" का कोई संस्करण होता है।

और यह वास्तव में सच है। प्लेटफ़ॉर्म दोहरे-लागत संरचना पर काम करता है: कंप्यूट वर्कलोड के लिए Databricks Units (DBUs) प्लस प्लेटफ़ॉर्म को पावर देने वाले किसी भी क्लाउड प्रदाता से इन्फ्रास्ट्रक्चर शुल्क। जो बात इसे विशेष रूप से चुनौतीपूर्ण बनाती है, वह यह है कि DBU दरें सब्सक्रिप्शन टियर, वर्कलोड प्रकार और क्लाउड क्षेत्र के आधार पर उतार-चढ़ाव करती हैं।

लेकिन यह बात है - एक बार जब फ्रेमवर्क क्लिक करता है, तो Databricks की कीमत अनुमानित हो जाती है। यह गाइड विस्तार से बताता है कि लागत कैसे जमा होती है, DBU खपत क्या चलाती है, और ऑप्टिमाइज़ेशन वास्तव में कैसे अंतर पैदा करता है।

Databricks क्या है?

Databricks बड़े डेटा एनालिटिक्स, डेटा इंजीनियरिंग और सहयोगी मशीन लर्निंग के लिए एक क्लाउड-आधारित प्लेटफ़ॉर्म है। Apache Spark पर निर्मित, यह प्रमुख क्लाउड प्रदाताओं - AWS, Azure, और Google Cloud Platform के साथ एकीकृत होता है, जो Delta Lake और अन्य ओपन-सोर्स तकनीकों के साथ काम करने के लिए एक एकीकृत वातावरण प्रदान करता है।

प्लेटफ़ॉर्म खुद को एक "लेकहॉस" समाधान के रूप में स्थापित करता है, जो डेटा वेयरहाउस संरचना को डेटा लेक लचीलेपन के साथ जोड़ता है। टीमें ETL पाइपलाइन, रीयल-टाइम एनालिटिक्स, मशीन लर्निंग मॉडल डेवलपमेंट और प्रोडक्शन AI डिप्लॉयमेंट के लिए Databricks का उपयोग करती हैं।

जो चीज Databricks को आर्किटेक्चरल रूप से अलग करती है, वह है कंप्यूट और स्टोरेज के बीच अलगाव। डेटा क्लाउड स्टोरेज (AWS पर S3, Azure पर Blob Storage, GCP पर Cloud Storage) में रहता है जबकि कंप्यूट क्लस्टर ऑन-डिमांड वर्कलोड को प्रोसेस करते हैं। यह अलगाव लागतों को स्वतंत्र रूप से स्केल करने का मतलब है - स्टोरेज रैखिक रूप से बढ़ता है जबकि कंप्यूट शुल्क केवल तब लागू होते हैं जब क्लस्टर चलते हैं।

Databricks मूल्य निर्धारण मॉडल को समझना

आधिकारिक वेबसाइट के अनुसार, Databricks बिना किसी अग्रिम लागत के पे-एज़-यू-गो दृष्टिकोण प्रदान करता है। शुल्क प्रति-सेकंड ग्रैन्युलैरिटी पर जमा होते हैं, जिसका अर्थ है कि 10 मिनट के लिए चलने वाला क्लस्टर 10 मिनट का शुल्क उत्पन्न करता है - एक पूरा घंटा नहीं।

मूल्य निर्धारण मॉडल में दो घटक होते हैं:

• DBU शुल्क: Databricks Units विभिन्न इंस्टेंस प्रकारों और वर्कलोड पैटर्न में सामान्यीकृत कंप्यूट क्षमता को मापते हैं
• क्लाउड इन्फ्रास्ट्रक्चर लागत: AWS, Azure, या GCP से वर्चुअल मशीनों, स्टोरेज और नेटवर्किंग के लिए प्रति घंटा दरें

ये शुल्क स्टैक होते हैं। AWS पर m5.xlarge इंस्टेंस चलाने से DBU दर (कुछ वर्कलोड के लिए 0.690 DBU प्रति घंटा) और इन्फ्रास्ट्रक्चर लागत (VM के लिए $0.3795 प्रति घंटा) दोनों लगते हैं।

वास्तविक बातचीत: यह दोहरी संरचना टीमों को आश्चर्यचकित कर देती है। इंजीनियरिंग क्लस्टर साइजिंग और VM चयन पर ध्यान केंद्रित करती है जबकि वित्त अप्रत्याशित रूप से उच्च बिल देखता है क्योंकि DBU गुणकों को अनुमानों में शामिल नहीं किया गया था।

Databricks Units (DBUs) क्या हैं?

DBUs प्रसंस्करण क्षमता की एक इकाई का प्रतिनिधित्व करते हैं। Databricks विभिन्न DBU दरें शुल्क लेता है जो इस पर निर्भर करती हैं:

• वर्कलोड प्रकार: Jobs कंप्यूट, All-Purpose कंप्यूट, SQL वेयरहाउस, सर्वरलेस, और मॉडल सर्विंग सभी अलग-अलग दरें वहन करते हैं
• सब्सक्रिप्शन टियर: Standard, Premium, और Enterprise टियर DBUs को अलग-अलग मूल्य देते हैं
• इंस्टेंस कॉन्फ़िगरेशन: अधिक vCPUs और मेमोरी वाले बड़े इंस्टेंस प्रति घंटा अधिक DBUs की खपत करते हैं

प्रति घंटा खपत DBUs की संख्या इंस्टेंस विनिर्देशों पर निर्भर करती है। उपलब्ध डेटा के अनुसार, m5.xlarge इंस्टेंस (4 vCPUs, 16 GB मेमोरी) में कुछ कंप्यूट प्रकारों के लिए 0.690 की DBU दर होती है।

तो अगर वह इंस्टेंस Standard टियर पर Jobs कंप्यूट पर एक घंटे के लिए चलता है, तो गणना इस प्रकार दिखती है:

• DBU खपत: 0.690 DBU
• DBU मूल्य (उदाहरण): $0.15 प्रति DBU
• DBU लागत: 0.690 × $0.15 = $0.1035
• इन्फ्रास्ट्रक्चर लागत: $0.3795
• कुल प्रति घंटा लागत: $0.483

लेकिन रुकिए। उसी क्लस्टर को All-Purpose कंप्यूट पर स्विच करें और DBU मूल्य काफी बढ़ जाता है - अक्सर 2-3 गुना अधिक - क्योंकि इंटरैक्टिव वर्कलोड में नोटबुक वातावरण और सहयोग सुविधाएँ शामिल होती हैं।

Databricks सब्सक्रिप्शन टियर की व्याख्या

Databricks तीन प्राथमिक सब्सक्रिप्शन टियर प्रदान करता है, प्रत्येक में अलग-अलग DBU मूल्य निर्धारण और सुविधा सेट हैं। ये टियर न केवल लागत बल्कि शासन, सुरक्षा और सहयोग क्षमताओं तक पहुंच भी निर्धारित करते हैं।

Standard Tier

एंट्री-लेवल टियर उन्नत एंटरप्राइज सुविधाओं के बिना कोर Databricks कार्यक्षमता प्रदान करता है। Standard टियर उन टीमों के लिए काम करता है जो जटिल शासन आवश्यकताओं के बिना पूरी तरह से डेटा प्रोसेसिंग पर ध्यान केंद्रित करती हैं।

Azure पर, Standard टियर Jobs कंप्यूट की लागत $0.15 प्रति DBU (US East क्षेत्र डेटा) है। यह अन्य कंप्यूट प्रकारों या टियर के लिए गुणकों से पहले आधार DBU दर का प्रतिनिधित्व करता है।

Standard टियर में रोल-आधारित एक्सेस कंट्रोल (RBAC), ऑडिट लॉगिंग, और उन्नत सुरक्षा सुविधाएँ नहीं हैं - विकास वातावरण के लिए स्वीकार्य है लेकिन संवेदनशील डेटा को संभालने वाले उत्पादन वर्कलोड के लिए सीमित है।

Premium Tier (AWS/GCP पर Enterprise)

Premium टीमों को स्केलिंग और परिचालन दक्षता के लिए डिज़ाइन की गई क्षमताएँ जोड़ता है। मुख्य विशेषताओं में शामिल हैं:

• ठीक अनुमतियों के लिए रोल-आधारित एक्सेस कंट्रोल (RBAC)
• वर्कस्पेस में एक्सेस और क्रियाओं को ट्रैक करने वाले ऑडिट लॉग
• उन्नत सुरक्षा और अनुपालन नियंत्रण
• संस्करण नियंत्रण के साथ सहयोगी नोटबुक

DBU दरें Premium टियर पर Standard की तुलना में बढ़ती हैं। सटीक गुणक वर्कलोड प्रकार से भिन्न होता है, लेकिन Premium टियर DBU प्रति DBU Standard से अधिक महंगा है (सटीक गुणक वर्कलोड प्रकार से भिन्न होता है)।

Azure पर, Premium टियर AWS और GCP द्वारा Enterprise टियर कहे जाने के अनुरूप है - क्रॉस-क्लाउड मूल्य निर्धारण की तुलना करते समय महत्वपूर्ण।

Enterprise Tier

Enterprise टियर बड़े पैमाने पर उत्पादन डिप्लॉयमेंट के लिए अधिकतम शासन, अनुपालन और सहायता प्रदान करता है। Premium से परे अतिरिक्त सुविधाओं में शामिल हैं:

• उन्नत डेटा शासन और वंशानुक्रम ट्रैकिंग
• एकीकृत मेटाडेटा प्रबंधन के लिए Unity Catalog
• उन्नत प्रदर्शन अनुकूलन
• प्राथमिकता सहायता और SLA प्रतिबद्धताएँ

Enterprise उच्चतम DBU मूल्य निर्धारण टियर का प्रतिनिधित्व करता है। विनियमित डेटा को संभालने वाली या परिष्कृत एक्सेस नियंत्रण की आवश्यकता वाली टीमें लागत प्रीमियम के बावजूद आमतौर पर इस स्तर पर काम करती हैं।

डेटा टूल्स के लिए अग्रिम भुगतान न करें

Databricks के मूल्य निर्धारण पर विचार कर रहे हैं? चुनौती शायद ही कभी सिर्फ एक उपकरण की होती है - लागत कंप्यूट, स्टोरेज और सहायक AI टूल में जुड़ जाती है।

Get AI Perks प्रतिबद्धता से पहले उस समग्र खर्च को कम करने में मदद करता है। यह AI, क्लाउड और डेवलपर टूल में क्रेडिट, छूट और पार्टनर ऑफ़र को एकत्रित करता है, ताकि आप ऐसे सौदों तक पहुँच सकें जो आमतौर पर विभिन्न कार्यक्रमों में बिखरे हुए होते हैं।

Get AI Perks के साथ, आप कर सकते हैं:

• AI और डेटा इन्फ्रास्ट्रक्चर टूल के लिए क्रेडिट तक पहुंचें
• अपने स्टैक में कुल लागत कम करें
• पूर्ण मूल्य निर्धारण के लिए प्रतिबद्धता से पहले टूल का परीक्षण करें

यदि आप Databricks मूल्य निर्धारण की तुलना कर रहे हैं, तो कुल लागत कम करके शुरू करें - Get AI Perks की जाँच करें।

Databricks कंप्यूट प्रकार और मूल्य निर्धारण

कंप्यूट प्रकार का चयन महत्वपूर्ण लागत भिन्नता को चलाता है। प्रत्येक वर्कलोड पैटर्न में अपने उपयोग के मामले के लिए अनुकूलित अलग-अलग मूल्य निर्धारण होता है।

Jobs Compute

Jobs कंप्यूट स्वचालित, प्रोडक्शन ETL वर्कफ़्लो और निर्धारित कार्यों को पावर करता है। ये क्लस्टर स्वचालित रूप से शुरू होते हैं, वर्कलोड निष्पादित करते हैं, और समाप्त हो जाते हैं।

मूल्य निर्धारण लाभ: सबसे कम DBU दरें (All-Purpose की तुलना में 30-50% कम)। Standard टियर (Azure US East) पर $0.15 प्रति DBU से शुरू होकर, Jobs कंप्यूट अनुमानित वर्कलोड के लिए सबसे किफायती विकल्प प्रदान करता है।

नियमित डेटा पाइपलाइन चलाने वाली टीमों को Jobs कंप्यूट पर डिफॉल्ट होना चाहिए। लागत बचत बड़े पैमाने पर तेजी से बढ़ती है - All-Purpose कंप्यूट पर समान वर्कलोड चलाने से बिना किसी कार्यात्मक लाभ के 2-3 गुना अधिक महंगा हो सकता है।

All-Purpose Compute

All-Purpose क्लस्टर इंटरैक्टिव एनालिटिक्स, नोटबुक डेवलपमेंट और सहयोगी अन्वेषण का समर्थन करते हैं। ये क्लस्टर तब तक बने रहते हैं जब तक उपयोगकर्ता सक्रिय रूप से काम करते हैं, जिससे रीयल-टाइम क्वेरी निष्पादन और पुनरावृत्त विकास सक्षम होता है।

समझौता: काफी अधिक DBU दरें। All-Purpose कंप्यूट में नोटबुक वातावरण, सहयोग सुविधाएँ और इंटरैक्टिव क्षमताएं शामिल हैं जो प्रीमियम मूल्य निर्धारण को उचित ठहराती हैं।

सामान्य गलती: All-Purpose क्लस्टर को निष्क्रिय छोड़ना। Jobs कंप्यूट के विपरीत जो कार्य पूरा होने के बाद समाप्त हो जाता है, All-Purpose क्लस्टर मैन्युअल रूप से बंद होने या स्वचालित रूप से समाप्त होने तक शुल्क जमा करना जारी रखते हैं। आक्रामक स्वचालित समाप्ति (5-10 मिनट की निष्क्रियता) निर्धारित लागतों को रोकती है।

SQL Warehouses

SQL वेयरहाउस (पूर्व में SQL एंडपॉइंट) BI क्वेरी और एनालिटिक्स वर्कलोड को संभालते हैं। तीन प्रकार मौजूद हैं:

• Serverless: सबसे तेज़ स्टार्टअप, उच्चतम प्रदर्शन, प्रबंधित इन्फ्रास्ट्रक्चर
• Pro: Photon त्वरण, Predictive IO अनुकूलन
• Classic: बुनियादी SQL क्षमताएं, कम लागत

Serverless SQL वेयरहाउस Photon Engine, Predictive IO और Intelligent Workload Management के साथ बेहतर प्रदर्शन प्रदान करते हैं - लेकिन प्रीमियम DBU दरों पर। Pro वेयरहाउस पूर्ण सर्वरलेस इन्फ्रास्ट्रक्चर के बिना Photon और Predictive IO प्रदान करते हैं। Classic वेयरहाउस कम लागत पर बुनियादी कार्यक्षमता प्रदान करते हैं।

BI टीमों के लिए जो अक्सर एड-हॉक क्वेरी चलाती हैं, Serverless प्रदर्शन सुधार अक्सर तेज क्वेरी निष्पादन के माध्यम से लागत को उचित ठहराते हैं (उच्च DBU दरों के बावजूद कुल DBU-घंटे कम)।

Model Serving

Model Serving मशीन लर्निंग मॉडल को रीयल-टाइम API के रूप में डिप्लॉय करता है। मूल्य निर्धारण इस बात पर निर्भर करता है कि डिप्लॉयमेंट CPU या GPU इंस्टेंस का उपयोग करते हैं या नहीं।

आधिकारिक मूल्य निर्धारण डेटा के अनुसार, GPU सर्विंग DBU दरें इंस्टेंस आकार के अनुसार भिन्न होती हैं:

GPU सर्विंग मानक कंप्यूट की तुलना में काफी अधिक DBU खपत वहन करता है। ML मॉडल डिप्लॉय करने वाली टीमों को सटीक ट्रैफ़िक अनुमानों की आवश्यकता होती है - क्वेरी वॉल्यूम को कम आंकने से इन DBU दरों पर गंभीर लागत में वृद्धि होती है।

Serverless Compute

Serverless कंप्यूट पूरी तरह से क्लस्टर प्रबंधन को समाप्त कर देता है। Databricks स्वचालित रूप से इन्फ्रास्ट्रक्चर प्रोविजनिंग, स्केलिंग और अनुकूलन को संभालता है।

मूल्य निर्धारण लाभ: उपलब्ध डेटा के अनुसार, समकक्ष वर्कलोड के लिए Jobs Compute DBU दरों का लगभग 50%। यह कमी साझा, अनुकूलित संसाधनों से इन्फ्रास्ट्रक्चर दक्षता लाभ को दर्शाती है।

पकड़: सर्वरलेस को वर्कस्पेस-स्तरीय सक्षम करने की आवश्यकता होती है और यह सभी क्षेत्रों में उपलब्ध नहीं है। समर्थित वर्कलोड के लिए, सर्वरलेस अक्सर कम DBU दरों और शून्य प्रबंधन ओवरहेड के माध्यम से सबसे कम कुल लागत प्रदान करता है।

क्लाउड प्रदाताओं के पार Databricks मूल्य निर्धारण

Databricks AWS, Azure, और Google Cloud Platform पर क्लाउड-विशिष्ट एकीकरण और मूल्य निर्धारण विविधताओं के साथ चलता है। मुख्य DBU ढांचा सुसंगत रहता है, लेकिन इन्फ्रास्ट्रक्चर लागत और क्षेत्रीय उपलब्धता भिन्न होती है।

AWS पर Databricks मूल्य निर्धारण

AWS Databricks स्टोरेज के लिए S3, कंप्यूट के लिए EC2, और सुरक्षा के लिए IAM के साथ एकीकृत होता है। इन्फ्रास्ट्रक्चर शुल्क चयनित इंस्टेंस प्रकारों के लिए मानक AWS EC2 मूल्य निर्धारण का पालन करते हैं।

उदाहरण के लिए, US East क्षेत्रों में m5.xlarge इंस्टेंस की लागत $0.3795 प्रति घंटा (ऑन-डिमांड मूल्य निर्धारण) है। कुल लागत की गणना करने के लिए वर्कलोड प्रकार और सब्सक्रिप्शन टियर के आधार पर DBU गुणक जोड़ें।

AWS EC2 इन्फ्रास्ट्रक्चर के लिए सेविंग्स प्लान और रिज़र्व्ड इंस्टेंस प्रदान करता है, जो VM लागतों को 30-70% तक कम कर सकता है। हालांकि, ये प्रतिबद्धताएं केवल इन्फ्रास्ट्रक्चर पर लागू होती हैं - DBU शुल्कों पर नहीं।

Azure पर Databricks मूल्य निर्धारण

Azure Databricks Microsoft Azure पर एक प्रथम-पक्ष सेवा के रूप में मौजूद है, जो Microsoft से सीधे एकीकृत बिलिंग और समर्थन प्रदान करती है। Azure पर Premium टियर AWS और GCP पर Enterprise टियर के अनुरूप है।

आधिकारिक स्रोतों के अनुसार, Azure Databricks Standard टियर Jobs कंप्यूट की लागत US East क्षेत्र में $0.15 प्रति DBU है। इन्फ्रास्ट्रक्चर लागत चयनित इंस्टेंस परिवारों के लिए Azure VM मूल्य निर्धारण का पालन करती है।

Azure उन संगठनों के लिए अद्वितीय लाभ प्रदान करता है जो पहले से ही Microsoft पारिस्थितिकी तंत्र के लिए प्रतिबद्ध हैं - एकीकृत बिलिंग Databricks शुल्कों को अन्य Azure सेवाओं के साथ समेकित करती है, और Azure Active Directory के साथ एकीकरण पहचान प्रबंधन को सरल बनाता है।

Google Cloud Platform पर Databricks मूल्य निर्धारण

GCP Databricks Cloud Storage, Compute Engine, और GCP IAM के साथ एकीकृत होता है। प्लेटफ़ॉर्म समान DBU ढांचे का पालन करता है लेकिन GCP के इंस्टेंस प्रकारों और क्षेत्रीय इन्फ्रास्ट्रक्चर का लाभ उठाता है।

GCP में आमतौर पर AWS या Azure की तुलना में थोड़े अलग इंस्टेंस कॉन्फ़िगरेशन होते हैं, जो इन्फ्रास्ट्रक्चर लागत और DBU दर दोनों को प्रभावित करते हैं। टीमों को विशिष्ट GCP क्षेत्रों के लिए Databricks मूल्य निर्धारण कैलकुलेटर का उपयोग करके मूल्य निर्धारण को मान्य करना चाहिए।

क्रॉस-क्लाउड मूल्य निर्धारण तुलना

समतुल्य टियर और कंप्यूट प्रकारों के लिए DBU दरें क्लाउड में अपेक्षाकृत सुसंगत रहती हैं। प्राथमिक लागत भिन्नता इन्फ्रास्ट्रक्चर मूल्य निर्धारण में अंतर से आती है जो AWS, Azure और GCP के बीच होती है।

आम तौर पर, टीमों को क्लाउड प्रदाताओं का चयन इन पर आधारित होना चाहिए:

• मौजूदा इन्फ्रास्ट्रक्चर प्रतिबद्धताएं और एंटरप्राइज समझौते
• डेटा स्थानीयता आवश्यकताएं और अनुपालन आवश्यकताएं
• नेटिव सेवा एकीकरण (S3 बनाम Blob Storage बनाम Cloud Storage)
• Databricks सुविधाओं के लिए क्षेत्रीय उपलब्धता

क्लाउड प्रदाता का चयन DBU शुल्कों की तुलना में इन्फ्रास्ट्रक्चर लागत को अधिक प्रभावित करता है। मौजूदा AWS रिज़र्व्ड इंस्टेंस या Azure प्रतिबद्धताओं वाला संगठन महत्वपूर्ण इन्फ्रास्ट्रक्चर बचत के लिए उनका लाभ उठा सकता है।

Databricks मूल्य निर्धारण कैलकुलेटर का उपयोग करना

आधिकारिक Databricks मूल्य निर्धारण कैलकुलेटर वर्कलोड विनिर्देशों के आधार पर मासिक लागतों का अनुमान लगाने में मदद करता है। आधिकारिक मूल्य निर्धारण पृष्ठ पर स्थित, कैलकुलेटर को इनपुट की आवश्यकता होती है जैसे:

• क्लाउड प्रदाता (AWS, Azure, या GCP)
• क्षेत्र चयन
• सब्सक्रिप्शन टियर (Standard, Premium, Enterprise)
• कंप्यूट प्रकार (Jobs, All-Purpose, SQL, Serverless)
• इंस्टेंस प्रकार और क्लस्टर आकार
• प्रति माह अपेक्षित रनटाइम घंटे

कैलकुलेटर DBU खपत और DBU शुल्कों के साथ इन्फ्रास्ट्रक्चर शुल्कों को मिलाकर कुल मासिक लागतों का अनुमानित आउटपुट देता है।

अब, यहीं पर यह दिलचस्प हो जाता है। कैलकुलेटर अनुमान प्रदान करता है - वास्तविक लागतें वास्तविक उपयोग पैटर्न पर निर्भर करती हैं। टीमें अक्सर कम आंकती हैं:

• स्वचालित समाप्ति शुरू होने से पहले क्लस्टर निष्क्रिय समय
• विकास और परीक्षण वर्कलोड वॉल्यूम
• इंटरैक्टिव विकास से उत्पादन क्लस्टर में ओवरस्पिल

सर्वोत्तम अभ्यास: पायलट वर्कलोड चलाएं और लागत विश्लेषण के लिए दानेदार खपत डेटा प्रदान करने वाली सिस्टम टेबल के माध्यम से वास्तविक बिल योग्य उपयोग की निगरानी करें।

Databricks लागतों को क्या संचालित करता है?

लागत ड्राइवरों को समझने से अनुकूलन प्रयासों को प्रभावी ढंग से लक्षित करने में मदद मिलती है। मासिक खर्च निर्धारित करने के लिए कई कारक जमा होते हैं।

डेटा वॉल्यूम और वर्कलोड वेग

अधिक डेटा को प्रोसेस करने के लिए अधिक कंप्यूट की आवश्यकता होती है। टेराबाइट्स को दैनिक रूप से प्रोसेस करने वाले बैच जॉब्स गीगाबाइट्स को संभालने वाली पाइपलाइनों की तुलना में काफी अधिक DBU-घंटे की खपत करते हैं।

वेग भी मायने रखता है। रीयल-टाइम स्ट्रीमिंग वर्कलोड को हमेशा-चालू क्लस्टर की आवश्यकता होती है, जो लगातार शुल्क जमा करते हैं। बैच प्रोसेसिंग क्लस्टर को केवल सक्रिय विंडो के दौरान चलाती है, जिससे कुल रनटाइम कम हो जाता है।

क्लस्टर कॉन्फ़िगरेशन और इंस्टेंस चयन

अधिक vCPUs और मेमोरी वाले बड़े इंस्टेंस में उच्च DBU दरें और इन्फ्रास्ट्रक्चर लागतें होती हैं। m5.8xlarge (32 vCPUs, 128 GB) m5.xlarge (4 vCPUs, 16 GB) की तुलना में प्रति घंटा काफी अधिक महंगा है।

अनुकूलन चुनौती: ओवरसाइज़्ड क्लस्टर अनावश्यक क्षमता के माध्यम से पैसे बर्बाद करते हैं, जबकि अंडरसाइज़्ड क्लस्टर वर्कलोड को पूरा करने के लिए लंबे समय तक चलते हैं - संभावित रूप से कुल DBU-घंटों में अधिक लागत आती है।

वर्कलोड प्रकार वितरण

कंप्यूट प्रकारों का मिश्रण औसत DBU दरों को निर्धारित करता है। मुख्य रूप से Jobs कंप्यूट चलाने वाले संगठन उन लोगों की तुलना में कम भुगतान करते हैं जो All-Purpose क्लस्टर का भारी उपयोग करते हैं।

इंजीनियरिंग वर्कलोड (ETL) में आमतौर पर सबसे कम लागत आती है, जबकि डेटा साइंस वर्कलोड (ML डेवलपमेंट) All-Purpose क्लस्टर उपयोग और लंबे प्रयोग चक्र के कारण 3-4 गुना अधिक महंगा हो सकता है।

क्लस्टर निष्क्रिय समय और स्वचालित समाप्ति

All-Purpose क्लस्टर स्वचालित समाप्ति सेटिंग्स द्वारा उन्हें रोके जाने तक निष्क्रिय रहते हुए शुल्क जमा करते रहते हैं। रात भर चलने वाला क्लस्टर 8-12 घंटे का अनावश्यक शुल्क जमा करता है।

विकास क्लस्टर के लिए 5-10 मिनट की निष्क्रियता पर स्वचालित समाप्ति सेट करना रनवे लागतों को रोकता है। प्रोडक्शन Jobs क्लस्टर को कार्य पूरा होने के तुरंत बाद समाप्त होना चाहिए। Databricks प्रति सेकंड शुल्क लेता है - कार्य निष्पादन के तुरंत बाद बंद किए गए क्लस्टर अनावश्यक शुल्कों से बचते हैं।

भंडारण लागत

हालांकि स्टोरेज प्रति जीबी कंप्यूट की तुलना में कम महंगा है, बड़े डेटा लेक महत्वपूर्ण मासिक शुल्क जमा करते हैं। क्लाउड स्टोरेज मूल्य निर्धारण भिन्न होता है:

• AWS S3 Standard स्टोरेज मूल्य निर्धारण अधिकांश क्षेत्रों में पहले 50 TB/माह के लिए $0.023 प्रति GB से शुरू होता है, लेकिन US East (N. Virginia) में $0.021 प्रति GB है
• Azure Blob Storage: टियरिंग विकल्पों के साथ समान मूल्य निर्धारण
• GCP Cloud Storage: क्षेत्रीय विविधताओं के साथ तुलनीय दरें

Delta Lake की अनुकूलन सुविधाएँ फ़ाइल संपीड़न और बुद्धिमान डेटा लेआउट के माध्यम से भंडारण लागत को नियंत्रित करने में मदद करती हैं।

Databricks लागत अनुकूलन रणनीतियाँ

अनुकूलन सैद्धांतिक सर्वोत्तम प्रथाओं से परे ऐसी तकनीकों तक जाता है जो वास्तव में मासिक बिलों को कम करती हैं। यहां बताया गया है कि बड़े पैमाने पर क्या काम करता है।

वर्कलोड पैटर्न के लिए कंप्यूट प्रकारों का मिलान करें

स्वचालित पाइपलाइनों और निर्धारित कार्यों के लिए Jobs कंप्यूट का उपयोग करें। All-Purpose क्लस्टर को विशेष रूप से इंटरैक्टिव डेवलपमेंट और अन्वेषण के लिए आरक्षित करें।

त्रुटि-सहिष्णु वर्कलोड के लिए स्पॉट इंस्टेंस के साथ जॉब क्लस्टर का उपयोग करने से VM लागत 50% तक कम हो सकती है, DBU शुल्क स्थिर रहता है। स्पॉट इंस्टेंस संभावित रुकावटों के बदले में छूट वाली इन्फ्रास्ट्रक्चर मूल्य निर्धारण प्रदान करते हैं।

आक्रामक स्वचालित समाप्ति लागू करें

5-10 मिनट की निष्क्रियता पर All-Purpose क्लस्टर के लिए स्वचालित समाप्ति कॉन्फ़िगर करें। खाली पड़े विकास क्लस्टर बिना किसी मूल्य उत्पादन के DBUs का उपभोग करते हैं।

उत्पादन Jobs क्लस्टर को कार्य पूरा होने के तुरंत बाद समाप्त होना चाहिए। Databricks प्रति सेकंड शुल्क लेता है - कार्य निष्पादन के तुरंत बाद बंद किए गए क्लस्टर अनावश्यक शुल्कों से बचते हैं।

क्लस्टर साइजिंग को अनुकूलित करें

वर्कलोड आवश्यकताओं के आधार पर क्लस्टर का सही आकार चुनें, बजाय इसके कि बड़े इंस्टेंस पर डिफ़ॉल्ट हों। छोटे कॉन्फ़िगरेशन से शुरू करें और केवल तभी स्केल करें जब प्रदर्शन मेट्रिक्स बाधाओं का संकेत देते हैं।

बिल योग्य उपयोग सिस्टम टेबल के माध्यम से क्लस्टर मेट्रिक्स की निगरानी करें। लगातार कम CPU या मेमोरी उपयोग दिखाने वाले क्लस्टर ओवरसाइज़िंग के अवसर दर्शाते हैं।

Photon त्वरण सक्षम करें

Photon एक अंतर्निहित वेक्टरयुक्त क्वेरी इंजन है जो SQL और DataFrame संचालन के लिए क्वेरी निष्पादन को तेज करता है। तेज निष्पादन का मतलब समान DBU दरों के बावजूद कम DBU-घंटे की खपत होती है।

वैसे, Photon SQL और DataFrame संचालन के लिए सबसे अच्छा काम करता है। जटिल Python UDFs या कस्टम कोड को सीमित त्वरण मिल सकता है।

Serverless का लाभ उठाएं जब उपलब्ध हो

Serverless कंप्यूट DBU दरें आमतौर पर Jobs कंप्यूट DBU दरों ($0.07 - $0.15 प्रति DBU) की तुलना में अधिक होती हैं (उदाहरण के लिए, $0.35 - $0.40 प्रति DBU), हालांकि वे इन्फ्रास्ट्रक्चर लागत को समाप्त कर देते हैं।

Serverless क्लस्टर प्रबंधन ओवरहेड को समाप्त करता है और स्वचालित रूप से इन्फ्रास्ट्रक्चर उपयोग को अनुकूलित करता है - दोनों सीधे DBU बचत से परे परिचालन लागत को कम करते हैं।

त्रुटि-सहिष्णु वर्कलोड के लिए स्पॉट इंस्टेंस का उपयोग करें

AWS Spot Instances और Azure Spot VMs ऑन-डिमांड मूल्य निर्धारण की तुलना में 60-90% छूट पर इन्फ्रास्ट्रक्चर प्रदान करते हैं। अंतर्निहित पुनः प्रयास तर्क वाले Jobs कंप्यूट वर्कलोड इन्फ्रास्ट्रक्चर लागतों को काफी कम करने के लिए स्पॉट इंस्टेंस का लाभ उठा सकते हैं।

DBU शुल्क स्थिर रहता है - स्पॉट इंस्टेंस केवल इन्फ्रास्ट्रक्चर घटक को छूट देते हैं। लेकिन वह इन्फ्रास्ट्रक्चर कई वर्कलोड के लिए कुल लागत का 40-60% प्रतिनिधित्व करता है।

सिस्टम टेबल के माध्यम से लागत की निगरानी करें

बिल योग्य उपयोग सिस्टम टेबल (system.billing.usage) सभी वर्कस्पेस क्षेत्रों में खपत डेटा को केंद्रीकृत करता है। आधिकारिक दस्तावेज़ीकरण के अनुसार, यह टेबल नियमित रूप से DBU खपत, SKU विवरण और उपयोग मेटाडेटा के साथ अपडेट होता है।

नमूना क्वेरी लागत चालकों की पहचान कर सकती हैं:

• सर्वाधिक DBU-खपत वाले वर्कस्पेस और क्लस्टर
• अत्यधिक निष्क्रिय समय वाले All-Purpose क्लस्टर
• ओवरसाइज़्ड इंस्टेंस पर चलने वाले वर्कलोड
• जांच की आवश्यकता वाले अप्रत्याशित उपयोग स्पाइक्स

लागतों की परिचालन रूप से निगरानी करना - मासिक चालानों की समीक्षा करने के बजाय - सक्रिय अनुकूलन को सक्षम बनाता है।

Databricks मूल्य निर्धारण चुनौतियाँ और संकेत

Databricks मूल्य निर्धारण के कई पहलू टीमों को अप्रत्याशित रूप से पकड़ते हैं। जागरूकता से महंगे आश्चर्य से बचने में मदद मिलती है।

DBU और इन्फ्रास्ट्रक्चर लागतें अलग-अलग बिल होती हैं

क्लाउड प्रदाता इन्फ्रास्ट्रक्चर शुल्क (VMs, स्टोरेज, नेटवर्किंग) बिल करते हैं जबकि Databricks DBU खपत बिल करता है। कुल स्वामित्व लागत को समझने के लिए टीमों को दोनों को सुलझाना होगा।

Databricks के Cloud Infra Cost Field Solution के अनुसार, कंपनियां एकीकृत TCO दृश्य के लिए Databricks उपयोग डेटा को क्लाउड इन्फ्रास्ट्रक्चर लागतों के साथ जोड़ सकती हैं।

Azure और AWS/GCP के बीच टियर भ्रम

Azure का Premium टियर AWS और GCP पर Enterprise टियर के अनुरूप है। दस्तावेज़ीकरण कभी-कभी समतुल्य कार्यक्षमता के लिए अलग-अलग टियर नामों का उल्लेख करता है, जिससे क्रॉस-क्लाउड तुलना के दौरान भ्रम पैदा होता है।

नाम की समानता मानने के बजाय हमेशा टियर फीचर सेट सत्यापित करें।

ठीक-ठाक एक्सेस कंट्रोल में छिपी हुई लागतें

समर्पित कंप्यूट पर ठीक-ठाक एक्सेस कंट्रोल (पंक्ति फ़िल्टर, कॉलम मास्क, गतिशील दृश्य) अब डेटा फ़िल्टरिंग के लिए सर्वरलेस कंप्यूट का लाभ उठाते हैं। इसके लिए वर्कस्पेस-स्तरीय सर्वरलेस सक्षम करने की आवश्यकता होती है।

Databricks Runtime 15.4 LTS या उससे ऊपर, समर्पित कंप्यूट पर ठीक-ठाक एक्सेस कंट्रोल प्रवर्तन डेटा फ़िल्टरिंग के लिए सर्वरलेस कंप्यूट का लाभ उठाता है - प्राथमिक वर्कलोड समर्पित क्लस्टर पर चलने पर भी सर्वरलेस शुल्क जोड़ना।

स्वचालित क्लस्टर अपडेट अनुपालन लागत जोड़ते हैं

सुरक्षा पैचिंग के लिए स्वचालित क्लस्टर अपडेट को सक्षम करने से स्वचालित रूप से Enhanced Security and Compliance ऐड-ऑन शुल्क जुड़ जाते हैं। यह क्लासिक कंप्यूट प्लेन संसाधनों पर लागू होता है लेकिन सर्वरलेस पर नहीं।

यह सुविधा स्वचालित पैचिंग के माध्यम से मूल्य प्रदान करती है, लेकिन टीमों को बजट में ऐड-ऑन लागत को शामिल करना चाहिए।

Model Serving GPU लागतें तेजी से बढ़ती हैं

GPU सर्विंग कॉन्फ़िगरेशन के आधार पर प्रति घंटा 10-628 DBUs की खपत करता है। एक Large 8X 80GB इंस्टेंस (A100 80GB × 8 GPU) लगातार चलने पर प्रति घंटा 628 DBUs की लागत आती है - साथ ही GPU इंस्टेंस के लिए इन्फ्रास्ट्रक्चर शुल्क।

उदाहरण के रूप में $0.15 प्रति DBU का उपयोग करते हुए, यह केवल DBU शुल्कों में प्रति घंटा लगभग $94.20 होगा, या निरंतर संचालन के लिए मासिक लगभग $68,200। इन्फ्रास्ट्रक्चर लागत जोड़ें और कुल पर्याप्त हो जाता है।

मासिक Databricks लागतों का अनुमान लगाना

सटीक लागत अनुमान डेटा वर्कलोड के "3 Vs" को समझने की आवश्यकता है: Volume, Velocity, और Variety।

Volume: अधिक डेटा का मतलब है अधिक स्टोरेज और इसे प्रोसेस करने के लिए अधिक कंप्यूट। पेटेबाइट-स्केल डेटा लेक को प्रोसेस करने वाली टीमें टेराबाइट्स के साथ काम करने वालों की तुलना में आनुपातिक रूप से अधिक DBUs का उपभोग करती हैं।

Velocity: रीयल-टाइम स्ट्रीमिंग का मतलब हमेशा-चालू क्लस्टर है। बैच प्रोसेसिंग क्लस्टर को आवधिक रूप से चलाता है, जिससे कुल अपटाइम और संबंधित शुल्क कम हो जाते हैं।

Variety: असंरचित डेटा (छवियां, वीडियो, दस्तावेज़) संरचित SQL तालिकाओं की तुलना में प्रोसेस करने में अधिक महंगा होता है। जटिल परिवर्तन प्रति रिकॉर्ड अधिक कंप्यूट संसाधन का उपभोग करते हैं।

एक व्यावहारिक अनुमान दृष्टिकोण:

1. वर्कलोड प्रकारों और अपेक्षित मासिक रनटाइम घंटों की पहचान करें
2. उपयुक्त कंप्यूट प्रकार चुनें (Jobs बनाम All-Purpose बनाम SQL)
3. शासन आवश्यकताओं के आधार पर सब्सक्रिप्शन टियर चुनें
4. विशिष्ट इंस्टेंस प्रकारों और क्लस्टर कॉन्फ़िगरेशन के साथ मूल्य निर्धारण कैलकुलेटर का उपयोग करें
5. विकास, परीक्षण और अप्रत्याशित उपयोग के लिए 20-30% बफर जोड़ें

मौजूदा Spark वर्कलोड वाले संगठन प्रति डेटा वॉल्यूम पर DBU खपत को बेंचमार्क कर सकते हैं, फिर अपेक्षित Databricks उपयोग तक बढ़ा सकते हैं। ऑन-प्रिमाइसेस Hadoop से माइग्रेट करने वाली टीमें Databricks लागतों को अनुकूलित करते समय सीखने की अवस्था समय को ध्यान में रखनी चाहिए।

अक्सर पूछे जाने वाले प्रश्न

निष्कर्ष: Databricks मूल्य निर्धारण को काम करने योग्य बनाना

Databricks मूल्य निर्धारण जटिल लगता है क्योंकि यह वास्तविक वर्कलोड विविधता को दर्शाता है - बैच ETL, इंटरैक्टिव एनालिटिक्स, रीयल-टाइम स्ट्रीमिंग, और GPU-त्वरित ML सर्विंग सभी में अलग-अलग संसाधन प्रोफाइल और लागत संरचनाएं होती हैं।

लेकिन ढांचा प्रबंधनीय हो जाता है एक बार जब घटक क्लिक करते हैं: कंप्यूट प्रकार और टियर के आधार पर DBU खपत, प्लस क्लाउड प्रदाताओं से इन्फ्रास्ट्रक्चर लागत, वास्तविक उपयोग के लिए प्रति-सेकंड बिल किया जाता है।

लागत नियंत्रण वर्कलोड पैटर्न के लिए कंप्यूट प्रकारों का मिलान करने, आक्रामक स्वचालित समाप्ति लागू करने, जहां उपलब्ध हो सर्वरलेस का लाभ उठाने और मासिक चालानों पर प्रतिक्रिया करने के बजाय सिस्टम टेबल के माध्यम से उपयोग की लगातार निगरानी करने तक कम हो जाता है।

आधिकारिक मूल्य निर्धारण कैलकुलेटर के साथ बेसलाइन अनुमान स्थापित करें। मान्यताओं को मान्य करने के लिए पायलट वर्कलोड चलाएं। अनुकूलन अवसरों की पहचान करने के लिए बिल योग्य उपयोग डेटा की निगरानी करें। और याद रखें - लक्ष्य पूर्ण शब्दों में लागतों को कम करना नहीं है, बल्कि खर्च किए गए प्रति डॉलर वितरित मूल्य को अधिकतम करना है।

खर्चों को अनुकूलित करने के लिए तैयार हैं? आधिकारिक वेबसाइट पर Databricks मूल्य निर्धारण कैलकुलेटर तक पहुंचें, निगरानी के लिए बिल योग्य उपयोग सिस्टम टेबल सक्षम करें, और वितरित वर्कलोड मूल्य के मुकाबले वास्तविक DBU खपत को बेंचमार्क करना शुरू करें।