சுருக்கமான சுருக்கம்: Databricks விலை நிர்ணயம் என்பது நுகர்வு அடிப்படையிலான மாதிரி ஆகும், இது Databricks அலகுகள் (DBUகள்) வேலைச் சுமை வகைக்கு ஏற்ப கட்டணம் விதிக்கப்படுகிறது, மேலும் AWS, Azure, அல்லது GCP இலிருந்து கிளவுட் உள்கட்டமைப்பு செலவுகளுடன் இணைக்கப்பட்டுள்ளது. DBU விகிதங்கள் சந்தா அடுக்கு (Standard, Premium, Enterprise) மற்றும் கணினி வகை ஆகியவற்றைப் பொறுத்து மாறுபடும், Jobs கணினியானது $0.15/DBU இல் தொடங்குகிறது மற்றும் All-Purpose கணினி 2-3 மடங்கு அதிகமாக செலவாகும். மொத்த மாத செலவுகள் வேலைச் சுமை அளவு, கிளஸ்டர் கட்டமைப்பு மற்றும் மேம்படுத்தல் நடைமுறைகளைப் பொறுத்தது.
Databricks விலை நிர்ணயம் கிட்டத்தட்ட அனைவரையும் குழப்புகிறது. எந்தவொரு பொறியியல் தலைவர் அல்லது CFO க்கும் ஒரு எளிய கேள்வியைக் கேளுங்கள்—"Databricks எங்களுக்கு எவ்வளவு செலவாகும்?"—மற்றும் பதில் கிட்டத்தட்ட எப்போதும் "இது சார்ந்தது" என்பதில் ஒரு பதிப்பாக இருக்கும்.
அது உண்மையில் உண்மை. இந்தத் தளம் ஒரு இரட்டை-செலவு கட்டமைப்பில் செயல்படுகிறது: Databricks அலகுகள் (DBUகள்) கணினி வேலைச் சுமைகளுக்கு பிளஸ் தளத்தை இயக்கும் எந்த கிளவுட் வழங்குநரிடமிருந்தும் உள்கட்டமைப்பு கட்டணங்கள். இது குறிப்பாக சவாலாக இருப்பதற்கான காரணம், DBU விகிதங்கள் சந்தா அடுக்கு, வேலைச் சுமை வகை மற்றும் கிளவுட் பிராந்தியம் ஆகியவற்றின் அடிப்படையில் மாறுபடும்.
ஆனால் விஷயம் இதுதான்—ஒருமுறை கட்டமைப்பு புரிந்தால், Databricks விலை நிர்ணயம் கணிக்கக்கூடியதாக மாறும். இந்த வழிகாட்டி செலவுகள் எவ்வாறு குவிக்கின்றன, DBU நுகர்வை என்ன இயக்குகிறது, மற்றும் மேம்படுத்தல் உண்மையில் மாற்றத்தை எங்கே ஏற்படுத்துகிறது என்பதை துல்லியமாக உடைக்கிறது.
Databricks என்றால் என்ன?
Databricks என்பது பெரிய தரவு பகுப்பாய்வு, தரவு பொறியியல் மற்றும் கூட்டு இயந்திர கற்றலுக்கான ஒரு கிளவுட் அடிப்படையிலான தளமாகும். Apache Spark இல் கட்டமைக்கப்பட்ட இது, AWS, Azure, மற்றும் Google Cloud Platform போன்ற முக்கிய கிளவுட் வழங்குநர்களுடன் ஒருங்கிணைக்கிறது, Delta Lake மற்றும் பிற திறந்த மூல தொழில்நுட்பங்களுடன் வேலை செய்வதற்கான ஒரு ஒருங்கிணைந்த சூழலை வழங்குகிறது.
இந்தத் தளம் தன்னை ஒரு "lakehouse" தீர்வாக நிலைநிறுத்துகிறது, தரவு கிடங்கு கட்டமைப்பை தரவு ஏரி நெகிழ்வுத்தன்மையுடன் இணைக்கிறது. குழுக்கள் Databricks ஐ ETL குழாய்கள், நிகழ்நேர பகுப்பாய்வு, இயந்திர கற்றல் மாதிரி மேம்பாடு மற்றும் உற்பத்தி AI வரிசைப்படுத்தல்களுக்கு பயன்படுத்துகின்றன.
Databricks ஐ கட்டமைப்பு ரீதியாக வேறுபடுத்துவது கணினி மற்றும் சேமிப்பகத்திற்கு இடையே உள்ள பிரிப்பு ஆகும். தரவு கிளவுட் சேமிப்பகத்தில் (AWS இல் S3, Azure இல் Blob Storage, GCP இல் Cloud Storage) வாழ்கிறது, அதே நேரத்தில் கணினி கிளஸ்டர்கள் தேவைக்கேற்ப வேலைச் சுமைகளை செயலாக்குகின்றன. இந்த பிரிப்பு செலவுகள் தனித்தனியாக அளவிடப்படுகின்றன—சேமிப்பகம் நேர்கோட்டில் வளர்கிறது, அதே நேரத்தில் கிளஸ்டர்கள் இயங்கும் போது மட்டுமே கணினி கட்டணங்கள் பொருந்தும்.
Databricks விலை நிர்ணய மாதிரியைப் புரிந்துகொள்வது
அதிகாரப்பூர்வ வலைத்தளத்தின்படி, Databricks எந்த முன்-செலவுகளும் இல்லாமல், பயன்படுத்தியதற்கு ஏற்ப பணம் செலுத்தும் அணுகுமுறையை வழங்குகிறது. ஒவ்வொரு நொடிக்கும் துல்லியமாக கட்டணங்கள் வசூலிக்கப்படுகின்றன, அதாவது 10 நிமிடங்கள் இயங்கும் கிளஸ்டர் 10 நிமிடங்கள் கட்டணங்களை உருவாக்குகிறது—முழு மணிநேரம் அல்ல.
விலை நிர்ணய மாதிரி இரண்டு கூறுகளைக் கொண்டுள்ளது:
- DBU கட்டணங்கள்: Databricks அலகுகள் வெவ்வேறு நிகழ்வு வகைகள் மற்றும் வேலைச் சுமை வடிவங்களில் இயல்பாக்கப்பட்ட கணினி திறனை அளவிடுகின்றன
- கிளவுட் உள்கட்டமைப்பு செலவுகள்: AWS, Azure, அல்லது GCP இலிருந்து மெய்நிகர் இயந்திரங்கள், சேமிப்பகம் மற்றும் நெட்வொர்க்கிங் ஆகியவற்றிற்கான மணிநேர விகிதங்கள்
இந்த கட்டணங்கள் அடுக்கி வைக்கப்படுகின்றன. AWS இல் ஒரு m5.xlarge நிகழ்வை இயக்குவது DBU விகிதம் (சில வேலைச் சுமைகளுக்கு ஒரு மணி நேரத்திற்கு 0.690 DBU) மற்றும் உள்கட்டமைப்பு செலவு (VM க்கான ஒரு மணி நேரத்திற்கு $0.3795) இரண்டையும் ஏற்படுத்துகிறது.
உண்மையைச் சொல்வதானால்: இந்த இரட்டை கட்டமைப்பு குழுக்களை எதிர்பாராத விதமாக பிடிக்கிறது. பொறியியல் கிளஸ்டர் அளவை மற்றும் VM தேர்வை மையமாகக் கொண்டுள்ளது, அதே நேரத்தில் நிதித்துறை DBU பெருக்கிகள் கணிப்புகளில் சேர்க்கப்படாததால் எதிர்பாராத உயர் பில்களைப் பார்க்கிறது.
Databricks அலகுகள் (DBUகள்) என்றால் என்ன?
DBUகள் செயலாக்க திறனின் ஒரு அலகைக் குறிக்கின்றன. Databricks பின்வருவனவற்றைப் பொறுத்து வெவ்வேறு DBU விகிதங்களை வசூலிக்கிறது:
- வேலைச் சுமை வகை: Jobs கணினி, All-Purpose கணினி, SQL கிடங்குகள், சர்வர்லெஸ், மற்றும் மாதிரி சேவை ஒவ்வொன்றும் வெவ்வேறு விகிதங்களைக் கொண்டுள்ளன
- சந்தா அடுக்கு: Standard, Premium, மற்றும் Enterprise அடுக்குகள் DBUகளை வித்தியாசமாக விலை நிர்ணயம் செய்கின்றன
- நிகழ்வு கட்டமைப்பு: அதிக vCPUகள் மற்றும் நினைவகம் கொண்ட பெரிய நிகழ்வுகள் ஒரு மணி நேரத்திற்கு அதிக DBUகளைப் பயன்படுத்துகின்றன
ஒரு மணி நேரத்திற்குப் பயன்படுத்தப்படும் DBUகளின் எண்ணிக்கை நிகழ்வு விவரக்குறிப்புகளைப் பொறுத்தது. கிடைக்கும் தரவுகளின்படி, ஒரு m5.xlarge நிகழ்வு (4 vCPUs, 16 GB நினைவகம்) சில கணினி வகைகளுக்கு 0.690 DBU விகிதத்தைக் கொண்டுள்ளது.
எனவே, அந்த நிகழ்வு Standard அடுக்கில் Jobs கணினியில் ஒரு மணி நேரத்திற்கு இயங்கினால், கணக்கீடு இப்படி இருக்கும்:
- DBU நுகர்வு: 0.690 DBU
- DBU விலை (எடுத்துக்காட்டு): $0.15 ஒரு DBU க்கு
- DBU செலவு: 0.690 × $0.15 = $0.1035
- உள்கட்டமைப்பு செலவு: $0.3795
- மொத்த மணிநேர செலவு: $0.483
ஆனால் பொறுங்கள். அதே கிளஸ்டரை All-Purpose கணினிக்கு மாற்றினால், DBU விலை கணிசமாக அதிகரிக்கிறது—பெரும்பாலும் 2-3 மடங்கு அதிகமாக—ஏனெனில் ஊடாடும் வேலைச் சுமைகளில் நோட்புக் சூழல்கள் மற்றும் ஒத்துழைப்பு அம்சங்கள் அடங்கும்.
Databricks சந்தா அடுக்குகள் விளக்கப்பட்டுள்ளன
Databricks மூன்று முதன்மை சந்தா அடுக்குகளை வழங்குகிறது, ஒவ்வொன்றும் வெவ்வேறு DBU விலை நிர்ணயம் மற்றும் அம்ச தொகுப்புகளுடன். இந்த அடுக்குகள் செலவை மட்டுமல்ல, நிர்வாகம், பாதுகாப்பு மற்றும் ஒத்துழைப்பு திறன்களுக்கான அணுகலையும் தீர்மானிக்கின்றன.
Standard அடுக்கு
நுழைவு-நிலை அடுக்கு, சிக்கலான நிர்வாகத் தேவைகள் இல்லாமல் தரவு செயலாக்கத்தில் மட்டுமே கவனம் செலுத்தும் குழுக்களுக்கு, மேம்பட்ட நிறுவன அம்சங்கள் இல்லாமல் முக்கிய Databricks செயல்பாட்டை வழங்குகிறது.
Azure இல், Standard அடுக்கு Jobs கணினி ஒரு DBU க்கு $0.15 செலவாகும் (US East பிராந்திய தரவு). இது பிற கணினி வகைகள் அல்லது அடுக்குகளுக்கான பெருக்கிகளுக்கு முன் அடிப்படை DBU விகிதத்தைக் குறிக்கிறது.
Standard அடுக்கு பங்கு அடிப்படையிலான அணுகல் கட்டுப்பாடு (RBAC), தணிக்கை பதிவு, மற்றும் மேம்பட்ட பாதுகாப்பு அம்சங்கள் இல்லை—இது மேம்பாட்டு சூழல்களுக்கு ஏற்கத்தக்கது ஆனால் உணர்திறன் வாய்ந்த தரவைக் கையாளும் உற்பத்தி வேலைச் சுமைகளுக்கு மட்டுப்படுத்தப்பட்டுள்ளது.
Premium அடுக்கு (AWS/GCP இல் Enterprise)
Premium, குழுக்களை அளவிடுதல் மற்றும் செயல்பாட்டுத் திறனுக்காக வடிவமைக்கப்பட்ட திறன்களைச் சேர்க்கிறது. முக்கிய அம்சங்கள்:
- நுணுக்கமான அனுமதிகளுக்கான பங்கு அடிப்படையிலான அணுகல் கட்டுப்பாடு (RBAC)
- பணிஇடங்களில் அணுகல் மற்றும் செயல்பாடுகளைக் கண்காணிக்கும் தணிக்கை பதிவுகள்
- மேம்பட்ட பாதுகாப்பு மற்றும் இணக்கக் கட்டுப்பாடுகள்
- பதிப்புடன் கூடிய கூட்டு நோட்புக்குகள்
DBU விகிதங்கள் Standard ஐ விட Premium அடுக்கில் அதிகரிக்கிறது. துல்லியமான பெருக்கி வேலைச் சுமை வகையைப் பொறுத்து மாறுபடும், ஆனால் Premium அடுக்கு Standard ஐ விட ஒரு DBU க்கு அதிக செலவாகும் (துல்லியமான பெருக்கி வேலைச் சுமை வகையைப் பொறுத்து மாறுபடும்).
Azure இல், Premium அடுக்கு AWS மற்றும் GCP Enterprise அடுக்கு என அழைக்கப்படும் என்பதற்கு ஒத்திருக்கிறது—கிளவுட் முழுவதும் விலை நிர்ணயத்தை ஒப்பிடும்போது இது முக்கியமானது.
Enterprise அடுக்கு
Enterprise அடுக்கு, பெரிய அளவிலான உற்பத்தி வரிசைப்படுத்தல்களுக்கு அதிகபட்ச நிர்வாகம், இணக்கம் மற்றும் ஆதரவை வழங்குகிறது. Premium க்கு அப்பால் உள்ள கூடுதல் அம்சங்கள்:
- மேம்பட்ட தரவு நிர்வாகம் மற்றும் வரிசை கண்டறிதல்
- ஒருங்கிணைந்த மெட்டாடேட்டா நிர்வாகத்திற்கான Unity Catalog
- மேம்படுத்தப்பட்ட செயல்திறன் மேம்பாடுகள்
- முன்னுரிமை ஆதரவு மற்றும் SLA உறுதிமொழிகள்
Enterprise, அதிக DBU விலை நிர்ணய அடுக்கை குறிக்கிறது. ஒழுங்குபடுத்தப்பட்ட தரவைக் கையாளும் அல்லது சிக்கலான அணுகல் கட்டுப்பாடுகள் தேவைப்படும் குழுக்கள், செலவு அதிகமாக இருந்தாலும், இந்த மட்டத்தில் செயல்படுகின்றன.
தரவு கருவிகளுக்கு முன்கூட்டியே அதிகமாக செலுத்த வேண்டாம்
Databricks விலை நிர்ணயம் பற்றி ஆராய்கிறீர்களா? சவால் பெரும்பாலும் ஒரு கருவி மட்டுமல்ல—செலவுகள் கணினி, சேமிப்பகம் மற்றும் ஆதரவு AI கருவிகள் முழுவதும் குவிக்கின்றன.
Get AI Perks உங்கள் ஒட்டுமொத்த செலவை நீங்கள் உறுதியளிக்கும் முன் குறைக்க உதவுகிறது. இது AI, கிளவுட் மற்றும் டெவலப்பர் கருவிகள் முழுவதும் உள்ள வரவுகள், தள்ளுபடிகள் மற்றும் கூட்டாளர் சலுகைகளை ஒருங்கிணைக்கிறது, எனவே நீங்கள் வெவ்வேறு திட்டங்களில் சிதறியுள்ள ஒப்பந்தங்களை அணுகலாம்.
Get AI Perks உடன், நீங்கள்:
- AI மற்றும் தரவு உள்கட்டமைப்பு கருவிகளுக்கான வரவுகளை அணுகலாம்
- உங்கள் அடுக்குகளில் மொத்த செலவைக் குறைக்கலாம்
- முழு விலை நிர்ணயத்திற்கு உறுதியளிக்கும் முன் கருவிகளைச் சோதிக்கலாம்
நீங்கள் Databricks விலை நிர்ணயத்தை ஒப்பிட்டால், முதலில் உங்கள் மொத்த செலவைக் குறைக்கவும்—Get AI Perks ஐப் பார்க்கவும்.
Databricks கணினி வகைகள் மற்றும் விலை நிர்ணயம்
கணினி வகை தேர்வு குறிப்பிடத்தக்க செலவு மாறுபாட்டை இயக்குகிறது. ஒவ்வொரு வேலைச் சுமை வடிவமும் அதன் பயன்பாட்டு நிகழ்வுக்கு உகந்த வெவ்வேறு விலை நிர்ணயம் கொண்டுள்ளது.
Jobs கணினி
Jobs கணினி தானியங்கு, உற்பத்தி ETL வேலைச் சுமை மற்றும் திட்டமிடப்பட்ட பணிகளை இயக்குகிறது. இந்த கிளஸ்டர்கள் தானாகவே தொடங்குகின்றன, வேலைச் சுமைகளை இயக்குகின்றன, மற்றும் நிறுத்தப்படுகின்றன.
விலை நன்மை: குறைந்த DBU விகிதங்கள் (All-Purpose ஐ விட 30-50% குறைவு). Standard அடுக்கில் (Azure US East), ஒரு DBU க்கு $0.15 இல் தொடங்கும் Jobs கணினி, திட்டமிடப்பட்ட வேலைச் சுமைகளுக்கு மிகவும் சிக்கனமான விருப்பத்தை வழங்குகிறது.
வழக்கமான தரவு குழாய்களை இயக்கும் குழுக்கள் Jobs கணினியை இயல்புநிலையாகப் பயன்படுத்த வேண்டும். All-Purpose கணினியில் ஒரே வேலைச் சுமையை இயக்குவது செயல்பாட்டுப் பலன் எதுவும் இல்லாமல் 2-3 மடங்கு அதிகமாக செலவாகும்.
All-Purpose கணினி
All-Purpose கிளஸ்டர்கள் ஊடாடும் பகுப்பாய்வு, நோட்புக் மேம்பாடு மற்றும் கூட்டு ஆய்வு ஆகியவற்றை ஆதரிக்கின்றன. இந்த கிளஸ்டர்கள் பயனர்கள் செயலில் வேலை செய்யும் போது நீடிக்கும், நிகழ்நேர வினவல் செயல்படுத்தல் மற்றும் திரும்பத் திரும்ப வரும் மேம்பாட்டை செயல்படுத்துகிறது.
வர்த்தகம்: கணிசமாக அதிக DBU விகிதங்கள். All-Purpose கணினி, நோட்புக் சூழல்கள், ஒத்துழைப்பு அம்சங்கள், மற்றும் ஊடாடும் திறன்களை உள்ளடக்கியது, இது பிரீமியம் விலை நிர்ணயத்தை நியாயப்படுத்துகிறது.
பொதுவான தவறு: All-Purpose கிளஸ்டர்களை செயலற்ற நிலையில் விட்டுவிடுவது. வேலை முடிவுக்குப் பிறகு நிறுத்தப்படும் Jobs கணினியைப் போலல்லாமல், All-Purpose கிளஸ்டர்கள் கைமுறையாக நிறுத்தப்படும் வரை அல்லது தானாகவே நிறுத்தப்படும் வரை கட்டணங்களை தொடர்ந்து வசூலிக்கின்றன. தீவிர தானியங்கு நிறுத்தத்தை (5-10 நிமிடங்கள் செயலற்ற தன்மை) அமைப்பது, கட்டுப்பாடற்ற செலவுகளைத் தடுக்கிறது.
SQL Warehouses
SQL கிடங்குகள் (முன்பு SQL endpoints) BI வினவல்கள் மற்றும் பகுப்பாய்வு வேலைச் சுமைகளைக் கையாளுகின்றன. மூன்று வகைகள் உள்ளன:
- Serverless: வேகமான தொடக்கம், அதிக செயல்திறன், நிர்வகிக்கப்பட்ட உள்கட்டமைப்பு
- Pro: Photon முடுக்கம், Predictive IO மேம்படுத்தல்
- Classic: அடிப்படை SQL திறன்கள், குறைந்த செலவு
Serverless SQL கிடங்குகள் Photon Engine, Predictive IO, மற்றும் Intelligent Workload Management உடன் சிறந்த செயல்திறனை வழங்குகின்றன—ஆனால் பிரீமியம் DBU விகிதங்களில். Pro கிடங்குகள் முழு சர்வர்லெஸ் உள்கட்டமைப்பு இல்லாமல் Photon மற்றும் Predictive IO ஐ வழங்குகின்றன. Classic கிடங்குகள் குறைந்த செலவில் அடிப்படை செயல்பாட்டை வழங்குகின்றன.
அடிக்கடி கேட்கப்படும் தன்னிச்சையான வினவல்களை இயக்கும் BI குழுக்களுக்கு, Serverless செயல்திறன் மேம்பாடுகள் வேகமான வினவல் செயல்படுத்தல் மூலம் செலவை நியாயப்படுத்துகின்றன (அதிக DBU விகிதங்கள் இருந்தபோதிலும் மொத்த DBU-மணிநேரங்கள் குறைவு).
Model Serving
Model Serving இயந்திர கற்றல் மாதிரிகளை நிகழ்நேர API களாக வரிசைப்படுத்துகிறது. வரிசைப்படுத்தல்கள் CPU அல்லது GPU நிகழ்வுகளைப் பயன்படுத்துகின்றனவா என்பதைப் பொறுத்து விலை நிர்ணயம் அமையும்.
அதிகாரப்பூர்வ விலை நிர்ணயத் தரவுகளின்படி, GPU சேவை DBU விகிதங்கள் நிகழ்வு அளவைப் பொறுத்து மாறுபடும்:
| நிகழ்வு அளவு | GPU கட்டமைப்பு | ஒரு மணி நேரத்திற்கு DBUகள் |
|---|---|---|
| சிறிய | T4 அல்லது அதற்கு சமமானவை | 10.48 |
| நடுத்தர | A10G × 1 GPU | 20.00 |
| நடுத்தர 4X | A10G × 4 GPU | 112.00 |
| நடுத்தர 8X | A10G × 8 GPU | 290.80 |
| பெரிய 8X 40GB | A100 40GB × 8 GPU | 538.40 |
| பெரிய 8X 80GB | A100 80GB × 8 GPU | 628.00 |
GPU சேவை, நிலையான கணினியை விட கணிசமாக அதிக DBU நுகர்வைக் கொண்டுள்ளது. ML மாதிரிகளை வரிசைப்படுத்தும் குழுக்களுக்கு துல்லியமான டிராஃபிக் கணிப்புகள் தேவை—வினவல் அளவை குறைத்து மதிப்பிடுவது இந்த DBU விகிதங்களில் கடுமையான செலவு அதிகமாக வழிவகுக்கும்.
Serverless Compute
Serverless கணினி கிளஸ்டர் நிர்வாகத்தை முழுமையாக நீக்குகிறது. Databricks உள்கட்டமைப்பு வழங்குதல், அளவிடுதல் மற்றும் மேம்படுத்தலை தானாகவே கையாளுகிறது.
விலை நன்மை: சமமான வேலைச் சுமைகளுக்கு Jobs கணினி DBU விகிதங்களின் தோராயமாக 50% (கிடைக்கும் தரவுகளின்படி). பகிரப்பட்ட, உகந்த வளங்களிலிருந்து உள்கட்டமைப்பு செயல்திறன் ஆதாயங்களை இந்த குறைப்பு பிரதிபலிக்கிறது.
சிக்கல்: சர்வர்லெஸ் பணிஇட-நிலை செயல்படுத்தல் தேவை மற்றும் அனைத்து பிராந்தியங்களிலும் கிடைக்காது. ஆதரிக்கப்படும் வேலைச் சுமைகளுக்கு, சர்வர்லெஸ் குறைந்த DBU விகிதங்கள் மற்றும் பூஜ்ஜிய மேலாண்மை மேலதிக செலவுகள் மூலம் பெரும்பாலும் குறைந்த மொத்த செலவை வழங்குகிறது.
கிளவுட் வழங்குநர்கள் முழுவதும் Databricks விலை நிர்ணயம்
Databricks AWS, Azure, மற்றும் Google Cloud Platform இல் கிளவுட்-குறிப்பிட்ட ஒருங்கிணைப்புகள் மற்றும் விலை மாறுபாடுகளுடன் இயங்குகிறது. முக்கிய DBU கட்டமைப்பு நிலையானதாக உள்ளது, ஆனால் உள்கட்டமைப்பு செலவுகள் மற்றும் பிராந்திய கிடைக்கும் தன்மை வேறுபடுகின்றன.
AWS இல் Databricks விலை நிர்ணயம்
AWS Databricks சேமிப்பகத்திற்காக S3, கணினிக்கு EC2, மற்றும் பாதுகாப்புக்கு IAM உடன் ஒருங்கிணைக்கிறது. உள்கட்டமைப்பு கட்டணங்கள் தேர்ந்தெடுக்கப்பட்ட நிகழ்வு வகைகளுக்கான நிலையான AWS EC2 விலை நிர்ணயத்தைப் பின்பற்றுகின்றன.
எடுத்துக்காட்டாக, US East பிராந்தியங்களில் (on-demand pricing) ஒரு m5.xlarge நிகழ்வு ஒரு மணி நேரத்திற்கு $0.3795 செலவாகும். மொத்த செலவைக் கணக்கிட வேலைச் சுமை வகை மற்றும் சந்தா அடுக்கின் அடிப்படையில் DBU பெருக்கியைச் சேர்க்கவும்.
AWS EC2 உள்கட்டமைப்புக்கு Savings Plans மற்றும் Reserved Instances ஐ வழங்குகிறது, VM செலவுகளை 30-70% குறைக்கலாம். இருப்பினும், இந்த உறுதிகள் உள்கட்டமைப்புக்கு மட்டுமே பொருந்தும்—DBU கட்டணங்களுக்கு அல்ல.
Azure இல் Databricks விலை நிர்ணயம்
Azure Databricks Microsoft Azure இல் ஒரு முதல்-தர சேவையாக உள்ளது, இது Microsoft இலிருந்து ஒருங்கிணைந்த பில்லிங் மற்றும் ஆதரவை வழங்குகிறது. Azure இல் Premium அடுக்கு AWS மற்றும் GCP இல் Enterprise அடுக்குக்கு ஒத்திருக்கிறது.
அதிகாரப்பூர்வ ஆதாரங்களின்படி, Azure Databricks Standard அடுக்கு Jobs கணினி US East பிராந்தியத்தில் ஒரு DBU க்கு $0.15 செலவாகும். உள்கட்டமைப்பு செலவுகள் தேர்ந்தெடுக்கப்பட்ட நிகழ்வு குடும்பங்களுக்கான Azure VM விலை நிர்ணயத்தைப் பின்பற்றுகின்றன.
Azure ஏற்கனவே Microsoft சுற்றுச்சூழல் அமைப்புகளில் உறுதியளித்துள்ள நிறுவனங்களுக்கு தனித்துவமான நன்மைகளை வழங்குகிறது—ஒருங்கிணைந்த பில்லிங் Databricks கட்டணங்களை பிற Azure சேவைகளுடன் ஒருங்கிணைக்கிறது, மற்றும் Azure Active Directory உடன் ஒருங்கிணைப்பு அடையாள மேலாண்மையை எளிதாக்குகிறது.
Google Cloud Platform இல் Databricks விலை நிர்ணயம்
GCP Databricks Cloud Storage, Compute Engine, மற்றும் GCP IAM உடன் ஒருங்கிணைக்கிறது. இந்தத் தளம் அதே DBU கட்டமைப்பைப் பின்பற்றுகிறது ஆனால் GCP இன் நிகழ்வு வகைகள் மற்றும் பிராந்திய உள்கட்டமைப்பைப் பயன்படுத்துகிறது.
GCP வழக்கமாக AWS அல்லது Azure ஐ விட சற்று வித்தியாசமான நிகழ்வு கட்டமைப்புகளை வழங்குகிறது, இது உள்கட்டமைப்பு செலவுகள் மற்றும் DBU விகிதங்கள் இரண்டையும் பாதிக்கிறது. குழுக்கள் குறிப்பிட்ட GCP பிராந்தியங்களுக்கான Databricks விலை நிர்ணய கால்குலேட்டரைப் பயன்படுத்தி விலை நிர்ணயத்தை சரிபார்க்க வேண்டும்.
கிளவுட் முழுவதும் விலை நிர்ணய ஒப்பீடு
சமமான அடுக்குகள் மற்றும் கணினி வகைகளுக்கு கிளவுட் முழுவதும் DBU விகிதங்கள் ஒப்பீட்டளவில் நிலையானதாக இருக்கும். முக்கிய செலவு மாறுபாடு AWS, Azure, மற்றும் GCP இடையே உள்கட்டமைப்பு விலை நிர்ணய வேறுபாடுகளிலிருந்து வருகிறது.
பொதுவாக, குழுக்கள் பின்வருவனவற்றின் அடிப்படையில் கிளவுட் வழங்குநர்களைத் தேர்ந்தெடுக்க வேண்டும்:
- ஏற்கனவே உள்ள உள்கட்டமைப்பு உறுதிமொழிகள் மற்றும் நிறுவன ஒப்பந்தங்கள்
- தரவு இருப்பிடத் தேவைகள் மற்றும் இணக்கத் தேவைகள்
- நேட்டிவ் சேவை ஒருங்கிணைப்புகள் (S3 vs Blob Storage vs Cloud Storage)
- தேவையான Databricks அம்சங்களுக்கான பிராந்திய கிடைக்கும் தன்மை
கிளவுட் வழங்குநர் தேர்வு, DBU கட்டணங்களை விட உள்கட்டமைப்பு செலவுகளை அதிகம் பாதிக்கிறது. ஏற்கனவே AWS Reserved Instances அல்லது Azure உறுதிமொழிகளைக் கொண்ட ஒரு நிறுவனம், உள்கட்டமைப்பு சேமிப்பிற்காக அவற்றை விரிவாகப் பயன்படுத்தலாம்.
Databricks விலை நிர்ணய கால்குலேட்டரைப் பயன்படுத்துதல்
அதிகாரப்பூர்வ Databricks விலை நிர்ணய கால்குலேட்டர் வேலைச் சுமை விவரக்குறிப்புகளின் அடிப்படையில் மாதந்திர செலவுகளை மதிப்பிட உதவுகிறது. அதிகாரப்பூர்வ விலை நிர்ணய பக்கத்தில் அமைந்துள்ளது, கால்குலேட்டருக்கு உள்ளீடுகள் தேவை:
- கிளவுட் வழங்குநர் (AWS, Azure, அல்லது GCP)
- பிராந்திய தேர்வு
- சந்தா அடுக்கு (Standard, Premium, Enterprise)
- கணினி வகை (Jobs, All-Purpose, SQL, Serverless)
- நிகழ்வு வகை மற்றும் கிளஸ்டர் அளவு
- மாதத்திற்கு எதிர்பார்க்கப்படும் இயக்க நேரம்
கால்குலேட்டர் மதிப்பிடப்பட்ட DBU நுகர்வு மற்றும் DBU கட்டணங்களுடன் உள்கட்டமைப்பு கட்டணங்களை இணைக்கும் மொத்த மாத செலவுகளை வெளியிடுகிறது.
இப்போது, இங்குதான் இது சுவாரஸ்யமானது. கால்குலேட்டர் மதிப்பீடுகளை வழங்குகிறது—உண்மையான செலவுகள் உண்மையான பயன்பாட்டு முறைகளைப் பொறுத்தது. குழுக்கள் அடிக்கடி குறைத்து மதிப்பிடுகின்றன:
- தானியங்கு நிறுத்தம் செயலில் வருவதற்கு முன் கிளஸ்டர் செயலற்ற நேரம்
- மேம்பாடு மற்றும் சோதனை வேலைச் சுமை அளவு
- ஊடாடும் மேம்பாட்டிலிருந்து உற்பத்தி கிளஸ்டர்களுக்கு வழிதல்
சிறந்த நடைமுறை: பைலட் வேலைச் சுமைகளை இயக்கவும் மற்றும் பெரிய அளவிலான வரிசைப்படுத்தல்களுக்கு உறுதியளிக்கும் முன் கணினி அட்டவணைகள் வழியாக உண்மையான கட்டணப் பயன்பாட்டைக் கண்காணிக்கவும். கட்டணப் பயன்பாட்டு கணினி அட்டவணை (system.billing.usage) செலவு பகுப்பாய்வுக்கு நுணுக்கமான நுகர்வு தரவை வழங்குகிறது.
Databricks செலவுகளை என்ன இயக்குகிறது?
செலவு இயக்கிகளைப் புரிந்துகொள்வது மேம்படுத்தல் முயற்சிகளை திறம்பட இலக்காகக் கொள்ள உதவுகிறது. மாதந்திர செலவுகளை தீர்மானிக்க பல காரணிகள் குவிக்கின்றன.
தரவு அளவு மற்றும் வேலைச் சுமை வேகம்
அதிக தரவு செயலாக்கத்திற்கு அதிக கணினி தேவைப்படுகிறது. டெராபைட்களை தினசரி செயலாக்கும் தொகுதி வேலைகள், ஜிகாபைட்களைக் கையாளும் குழாய்களை விட கணிசமாக அதிக DBU-மணிநேரங்களை நுகர்கின்றன.
வேகமும் முக்கியமானது. நிகழ்நேர ஸ்ட்ரீமிங் வேலைச் சுமைகளுக்கு எப்போதும் இயங்கும் கிளஸ்டர்கள் தேவை, தொடர்ந்து கட்டணங்களை வசூலிக்கின்றன. தொகுதி செயலாக்கம் செயலில் உள்ள சாளரங்களின் போது மட்டுமே கிளஸ்டர்களை இயக்குகிறது, மொத்த இயக்க நேரத்தைக் குறைக்கிறது.
கிளஸ்டர் கட்டமைப்பு மற்றும் நிகழ்வு தேர்வு
அதிக vCPUகள் மற்றும் நினைவகம் கொண்ட பெரிய நிகழ்வுகள் அதிக DBU விகிதங்கள் மற்றும் உள்கட்டமைப்பு செலவுகளைக் கொண்டுள்ளன. ஒரு m5.xlarge (4 vCPUs, 16 GB) ஐ விட ஒரு m5.8xlarge (32 vCPUs, 128 GB) ஒரு மணி நேரத்திற்கு கணிசமாக அதிக செலவாகும்.
மேம்படுத்தல் சவால்: அதிக அளவுள்ள கிளஸ்டர்கள் தேவையற்ற திறன் மூலம் பணத்தை வீணடிக்கின்றன, அதே நேரத்தில் குறைந்த அளவுள்ள கிளஸ்டர்கள் வேலைச் சுமைகளை முடிக்க நீண்ட நேரம் இயங்குகின்றன—மொத்த DBU-மணிநேரங்களுக்கு அதிக செலவாகலாம்.
வேலைச் சுமை வகை விநியோகம்
கணினி வகைகளின் கலவை சராசரி DBU விகிதங்களைத் தீர்மானிக்கிறது. முதன்மையாக Jobs கணினியை இயக்கும் நிறுவனங்கள், All-Purpose கிளஸ்டர்களைப் பெரிதும் பயன்படுத்தும் நிறுவனங்களை விட குறைவாகவே செலுத்துகின்றன.
பொறியியல் வேலைச் சுமைகள் (ETL) பொதுவாக குறைந்த செலவாகும், அதே நேரத்தில் தரவு அறிவியல் வேலைச் சுமைகள் (ML மேம்பாடு) All-Purpose கிளஸ்டர் பயன்பாடு காரணமாக 3-4 மடங்கு அதிகமாக செலவாகும்.
கிளஸ்டர் செயலற்ற நேரம் மற்றும் தானியங்கு நிறுத்தம்
All-Purpose கிளஸ்டர்கள் தானியங்கு நிறுத்த அமைப்புகள் அவற்றை நிறுத்தாத வரை செயலற்ற நிலையில் இருக்கும்போது கட்டணங்களை தொடர்ந்து வசூலிக்கின்றன. இரவில் இயங்கும் கிளஸ்டர் 8-12 மணிநேர தேவையற்ற கட்டணங்களை வசூலிக்கிறது.
மேம்பாட்டு கிளஸ்டர்களுக்கு 5-10 நிமிடங்கள் தானியங்கு நிறுத்தத்தை அமைப்பது, கட்டுப்பாடற்ற செலவுகளைத் தடுக்கிறது. உற்பத்தி Jobs கிளஸ்டர்கள் பணி முடிந்த உடனேயே நிறுத்தப்பட வேண்டும்.
சேமிப்பக செலவுகள்
சேமிப்பக செலவு ஒரு GB க்கு கணினியை விட குறைவாக இருந்தாலும், பெரிய தரவு ஏரிகள் கணிசமான மாதந்திர கட்டணங்களை குவிக்கின்றன. கிளவுட் சேமிப்பக விலை நிர்ணயம் வேறுபடுகிறது:
- AWS S3 Standard சேமிப்பக விலை நிர்ணயம் பெரும்பாலான பிராந்தியங்களில் முதல் 50 TB/மாதத்திற்கு $0.023 இல் தொடங்குகிறது, ஆனால் US East (N. Virginia) இல் $0.021 ஒரு GB க்கு ஆகும்
- Azure Blob Storage: அடுக்கு விருப்பங்களுடன் இதேபோன்ற விலை நிர்ணயம்
- GCP Cloud Storage: பிராந்திய வேறுபாடுகளுடன் ஒப்பிடக்கூடிய விகிதங்கள்
Delta Lake இன் மேம்படுத்தல் அம்சங்கள் கோப்பு சுருக்கம் மற்றும் புத்திசாலித்தனமான தரவு தளவமைப்பு மூலம் சேமிப்பக செலவுகளைக் கட்டுப்படுத்த உதவுகின்றன.
Databricks செலவு மேம்படுத்தல் உத்திகள்
மேம்படுத்தல் கோட்பாட்டு சிறந்த நடைமுறைகளுக்கு அப்பால், மாதந்திர பில்களை உண்மையில் குறைக்கும் நுட்பங்களுக்கு நகர்கிறது. பெரிய அளவில் என்ன வேலை செய்கிறது என்பது இதோ.
கணினி வகைகளை வேலைச் சுமை முறைகளுடன் பொருத்துங்கள்
தானியங்கு குழாய்கள் மற்றும் திட்டமிடப்பட்ட பணிகளுக்கு Jobs கணினியைப் பயன்படுத்தவும். ஊடாடும் மேம்பாடு மற்றும் ஆய்வுக்காக மட்டுமே All-Purpose கிளஸ்டர்களை ஒதுக்குங்கள்.
தவறுகள் பொறுத்துக்கொள்ளக்கூடிய வேலைச் சுமைகளுக்கு வேலை கிளஸ்டர்களை ஸ்பாட் நிகழ்வுகளுடன் பயன்படுத்துவது VM செலவுகளை 50% வரை குறைக்கலாம், DBU கட்டணங்கள் நிலையானதாக இருக்கும். ஸ்பாட் நிகழ்வுகள் சாத்தியமான இடையூறுகளுக்கு ஈடாக தள்ளுபடி உள்கட்டமைப்பு விலை நிர்ணயத்தை வழங்குகின்றன.
தீவிர தானியங்கு நிறுத்தத்தை செயல்படுத்துங்கள்
5-10 நிமிடங்கள் செயலற்ற தன்மைக்கு All-Purpose கிளஸ்டர்களுக்கான தானியங்கு நிறுத்தத்தை கட்டமைக்கவும். செயலற்ற நிலையில் உள்ள மேம்பாட்டு கிளஸ்டர்கள் எந்த மதிப்பையும் உருவாக்காமல் DBUகளைப் பயன்படுத்துகின்றன.
உற்பத்தி Jobs கிளஸ்டர்கள் பணி முடிந்த உடனேயே நிறுத்தப்பட வேண்டும். Databricks ஒரு நொடிக்கு கட்டணம் வசூலிக்கிறது—பணி செயல்படுத்தப்பட்ட உடனேயே நிறுத்தப்பட்ட கிளஸ்டர்கள் தேவையற்ற கட்டணங்களைத் தவிர்க்கின்றன.
கிளஸ்டர் அளவை மேம்படுத்துங்கள்
பெரிய நிகழ்வுகளை இயல்புநிலையாகப் பயன்படுத்துவதற்குப் பதிலாக வேலைச் சுமை தேவைகளின் அடிப்படையில் கிளஸ்டர்களைச் சரியாக அளவிடவும். சிறிய கட்டமைப்புகளுடன் தொடங்கி, செயல்திறன் அளவீடுகள் தடைகளைக் குறிக்கும் போது மட்டுமே அளவை அதிகரிக்கவும்.
கட்டணப் பயன்பாட்டு கணினி அட்டவணை வழியாக கிளஸ்டர் அளவீடுகளைக் கண்காணிக்கவும். நிலையான குறைந்த CPU அல்லது நினைவக பயன்பாட்டைக் காட்டும் கிளஸ்டர்கள் அதிக அளவு வாய்ப்புகளைக் குறிக்கின்றன.
Photon முடுக்கத்தை செயல்படுத்துங்கள்
Photon என்பது ஒரு உள்ளமைக்கப்பட்ட திசையன் வினவல் இயந்திரமாகும், இது SQL மற்றும் DataFrame செயல்பாடுகளுக்கான வினவல் செயலாக்கத்தை துரிதப்படுத்துகிறது. வேகமான செயலாக்கம் ஒரே DBU விகிதங்கள் இருந்தபோதிலும் குறைவான DBU-மணிநேரங்கள் நுகரப்படும்.
அது சொன்னாலும், Photon SQL மற்றும் DataFrame செயல்பாடுகளுக்கு சிறப்பாக செயல்படுகிறது. சிக்கலான Python UDFகள் அல்லது தனிப்பயன் குறியீடு வரையறுக்கப்பட்ட முடுக்கத்தைக் காணலாம்.
கிடைக்கும் போது Serverless ஐப் பயன்படுத்தவும்
Serverless கணினி DBU விகிதங்கள் வழக்கமாக Jobs கணினி DBU விகிதங்களை விட ($0.07 – $0.15 ஒரு DBU) அதிகமாக இருக்கும் (எ.கா., $0.35 – $0.40 ஒரு DBU), அவை உள்கட்டமைப்பு செலவுகளை நீக்கினாலும்.
Serverless கிளஸ்டர் மேலாண்மை மேலதிக செலவுகளை நீக்குகிறது மற்றும் உள்கட்டமைப்பு பயன்பாட்டை தானாகவே மேம்படுத்துகிறது—நேரடி DBU சேமிப்புக்கு அப்பால் செயல்பாட்டு செலவுகளைக் குறைக்கிறது.
தவறுகள் பொறுத்துக்கொள்ளக்கூடிய வேலைச் சுமைகளுக்கு ஸ்பாட் நிகழ்வுகளைப் பயன்படுத்தவும்
AWS Spot Instances மற்றும் Azure Spot VMs, on-demand pricing உடன் ஒப்பிடும்போது 60-90% தள்ளுபடியில் உள்கட்டமைப்பை வழங்குகின்றன. உள்ளமைக்கப்பட்ட மறுமுயற்சி தர்க்கத்துடன் Jobs கணினி வேலைச் சுமைகள் உள்கட்டமைப்பு செலவுகளை கணிசமாக குறைக்க ஸ்பாட் நிகழ்வுகளைப் பயன்படுத்தலாம்.
DBU கட்டணங்கள் நிலையானதாக இருக்கும்—ஸ்பாட் நிகழ்வுகள் உள்கட்டமைப்பு பகுதியை மட்டுமே தள்ளுபடி செய்கின்றன. ஆனால் அந்த உள்கட்டமைப்பு பல வேலைச் சுமைகளுக்கு மொத்த செலவுகளில் 40-60% பிரதிபலிக்கிறது.
கணினி அட்டவணைகள் மூலம் செலவுகளைக் கண்காணிக்கவும்
கட்டணப் பயன்பாட்டு கணினி அட்டவணை (system.billing.usage) அனைத்து பணிஇட பிராந்தியங்களிலும் உள்ள நுகர்வு தரவை மையப்படுத்துகிறது. அதிகாரப்பூர்வ ஆவணங்களின்படி, இந்த அட்டவணை DBU நுகர்வு, SKU விவரங்கள் மற்றும் பயன்பாட்டு மெட்டாடேட்டாவுடன் தொடர்ந்து புதுப்பிக்கப்படுகிறது.
மாதிரி வினவல்கள் செலவு இயக்கிகளை அடையாளம் காண முடியும்:
- அதிக DBU நுகரும் பணிஇடங்கள் மற்றும் கிளஸ்டர்கள்
- அதிகப்படியான செயலற்ற நேரத்துடன் All-Purpose கிளஸ்டர்கள்
- அதிக அளவுள்ள நிகழ்வுகளில் இயங்கும் வேலைச் சுமைகள்
- ஆய்வு தேவைப்படும் எதிர்பாராத பயன்பாட்டு அதிகரிப்புகள்
செயல்பாட்டு முறையில் செலவுகளைக் கண்காணிப்பது—மாதந்திர இன்வாய்ஸ்களைப் பெற்ற பிறகு பதிலளிப்பதை விட—முன்னெச்சரிக்கை மேம்படுத்தலை செயல்படுத்துகிறது.
Databricks விலை நிர்ணய சவால்கள் மற்றும் சிக்கல்கள்
Databricks விலை நிர்ணயத்தின் பல அம்சங்கள் குழுக்களை தயார் நிலையில் பிடிக்கின்றன. விழிப்புணர்வு விலையுயர்ந்த ஆச்சரியங்களைத் தவிர்க்க உதவுகிறது.
DBU மற்றும் உள்கட்டமைப்பு செலவுகள் தனித்தனியாக பில் செய்யப்படுகின்றன
கிளவுட் வழங்குநர்கள் உள்கட்டமைப்பு கட்டணங்களை (VMகள், சேமிப்பகம், நெட்வொர்க்கிங்) பில் செய்கிறார்கள், அதே நேரத்தில் Databricks DBU நுகர்வை பில் செய்கிறது. மொத்த உரிமை செலவைப் புரிந்துகொள்ள குழுக்கள் இரண்டையும் சரிசெய்ய வேண்டும்.
Databricks' Cloud Infra Cost Field Solution இன் படி, நிறுவனங்கள் ஒருங்கிணைந்த TCO பார்வைகளைப் பெறுவதற்காக Databricks பயன்பாட்டு தரவை கிளவுட் உள்கட்டமைப்பு செலவுகளுடன் இணைக்க முடியும்.
Azure மற்றும் AWS/GCP இடையே அடுக்கு குழப்பம்
Azure இன் Premium அடுக்கு AWS மற்றும் GCP இல் Enterprise அடுக்குக்கு ஒத்திருக்கிறது. ஆவணங்கள் சில சமயங்களில் சமமான செயல்பாட்டிற்காக வெவ்வேறு அடுக்கு பெயர்களைக் குறிப்பிடுகின்றன, கிளவுட் முழுவதும் ஒப்பீடுகளின் போது குழப்பத்தை உருவாக்குகின்றன.
பெயர் சமநிலையை அனுமானிக்காமல், அடுக்கு அம்சத் தொகுப்புகளை எப்போதும் சரிபார்க்கவும்.
நுணுக்கமான அணுகல் கட்டுப்பாட்டில் மறைக்கப்பட்ட செலவுகள்
பிரத்யேக கணினி மீது நுணுக்கமான அணுகல் கட்டுப்பாடுகள் (வரிசை வடிப்பான்கள், நெடுவரிசை முகமூடிகள், டைனமிக் காட்சிகள்) இப்போது தரவு வடிகட்டுதலுக்காக சர்வர்லெஸ் கணினியைப் பயன்படுத்துகின்றன. இதற்கு பணிஇட-நிலை சர்வர்லெஸ் செயல்படுத்தல் தேவை.
Databricks Runtime 15.4 LTS அல்லது அதற்கு மேல், பிரத்யேக கணினி மீது நுணுக்கமான அணுகல் கட்டுப்பாடு அமலாக்கம் தரவு வடிகட்டுதலுக்காக சர்வர்லெஸ் கணினியைப் பயன்படுத்துகிறது—முதன்மை வேலைச் சுமைகள் பிரத்யேக கிளஸ்டர்களில் இயங்கினாலும் சர்வர்லெஸ் கட்டணங்களைச் சேர்க்கிறது.
தானியங்கு கிளஸ்டர் புதுப்பிப்புகள் இணக்க செலவுகளைச் சேர்க்கின்றன
பாதுகாப்பு பேட்ச் செய்வதற்காக தானியங்கு கிளஸ்டர் புதுப்பிப்புகளை இயக்குவது தானாகவே Enhanced Security and Compliance add-on கட்டணங்களைச் சேர்க்கிறது. இது கிளாசிக் கணினி தள வளங்களுக்கு பொருந்தும் ஆனால் சர்வர்லெஸ் க்கு அல்ல.
இந்த அம்சம் தானியங்கு பேட்ச் செய்வதன் மூலம் மதிப்பை வழங்குகிறது, ஆனால் குழுக்கள் add-on செலவை பட்ஜெட்டில் சேர்க்க வேண்டும்.
Model Serving GPU செலவுகள் விரைவாக உயர்கின்றன
GPU சேவை கட்டமைப்பு பொறுத்து ஒரு மணி நேரத்திற்கு 10-628 DBUகளைப் பயன்படுத்துகிறது. ஒரு பெரிய 8X 80GB நிகழ்வு (A100 80GB × 8 GPU) தொடர்ந்து இயங்குவது ஒரு மணி நேரத்திற்கு 628 DBUகளை செலவிடுகிறது—மேலும் GPU நிகழ்வுகளுக்கான உள்கட்டமைப்பு கட்டணங்கள்.
ஒரு DBUக்கு $0.15 ஐ ஒரு எடுத்துக்காட்டாகப் பயன்படுத்தினால், அது ஒரு மணி நேரத்திற்கு சுமார் $94.20 DBU கட்டணங்களில் மட்டுமே, அல்லது தொடர்ச்சியான செயல்பாட்டிற்கு மாதத்திற்கு சுமார் $68,200 ஆகும். உள்கட்டமைப்பு செலவுகளைச் சேர்த்தால், மொத்தமாக கணிசமாக இருக்கும்.
மாதந்திர Databricks செலவுகளை மதிப்பிடுதல்
துல்லியமான செலவு மதிப்பீடு தரவு வேலைச் சுமைகளின் "3 Vs" ஐப் புரிந்துகொள்வதைக் கோருகிறது: Volume, Velocity, மற்றும் Variety.
Volume: அதிக தரவு சேமிப்பு மற்றும் அதைச் செயலாக்க அதிக கணினி தேவைப்படுகிறது. பெட்டாபைட்-அளவு தரவு ஏரிகளைச் செயலாக்கும் குழுக்கள், டெராபைட்களுடன் பணிபுரிபவர்களை விட விகிதாசாரமாக அதிக DBUகளை நுகர்கின்றன.
Velocity: நிகழ்நேர ஸ்ட்ரீமிங் என்பது எப்போதும் இயங்கும் கிளஸ்டர்களுக்கு சமம். தொகுதி செயலாக்கம் கிளஸ்டர்களை அவ்வப்போது இயக்குகிறது, மொத்த இயக்க நேரம் மற்றும் அதனுடன் தொடர்புடைய கட்டணங்களைக் குறைக்கிறது.
Variety: கட்டமைக்கப்படாத தரவு (படங்கள், வீடியோக்கள், ஆவணங்கள்) கட்டமைக்கப்பட்ட SQL அட்டவணைகளைச் செயலாக்குவதை விட அதிக செலவாகும். சிக்கலான மாற்றங்கள் ஒரு பதிவுக்கு அதிக கணினி வளங்களை நுகர்கின்றன.
ஒரு நடைமுறை மதிப்பீட்டு அணுகுமுறை:
- வேலைச் சுமை வகைகள் மற்றும் எதிர்பார்க்கப்படும் மாதந்திர இயக்க நேரங்களை அடையாளம் காணவும்
- பொருத்தமான கணினி வகைகளைத் தேர்ந்தெடுக்கவும் (Jobs vs All-Purpose vs SQL)
- நிர்வாகத் தேவைகளின் அடிப்படையில் சந்தா அடுக்கைத் தேர்ந்தெடுக்கவும்
- குறிப்பிட்ட நிகழ்வு வகைகள் மற்றும் கிளஸ்டர் கட்டமைப்புகளுடன் விலை நிர்ணய கால்குலேட்டரைப் பயன்படுத்தவும்
- மேம்பாடு, சோதனை மற்றும் எதிர்பாராத பயன்பாட்டிற்கான 20-30% இடையகத்தைச் சேர்க்கவும்
ஏற்கனவே Spark வேலைச் சுமைகளைக் கொண்ட நிறுவனங்கள், செயலாக்கப்பட்ட தரவு அளவிற்கு DBU நுகர்வை அளவிட முடியும், பின்னர் எதிர்பார்க்கப்படும் Databricks பயன்பாட்டிற்கு அளவிட முடியும். ஆன்-பிரமைசஸ் Hadoop இலிருந்து இடம்பெயரும் குழுக்கள், Databricks செலவுகளை மேம்படுத்தும் போது கற்றல் வளைவு நேரத்தைக் கருத்தில் கொள்ள வேண்டும்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
மாதத்திற்கு Databricks எவ்வளவு செலவாகும்?
மாதந்திர செலவுகள் வேலைச் சுமை அளவு, கணினி வகை, சந்தா அடுக்கு மற்றும் கிளவுட் வழங்குநரைப் பொறுத்து வியக்கத்தக்க வகையில் மாறுபடும். மேம்பாட்டு வேலைச் சுமைகளை இயக்கும் சிறிய குழுக்கள் மாதத்திற்கு நூற்றுக்கணக்கில் செலவிடலாம், அதே நேரத்தில் பெட்டாபைட்-அளவு தரவை செயலாக்கும் நிறுவனங்கள் ஆறு-இலக்க பில்களை ஏற்படுத்தலாம். அதிகாரப்பூர்வ வலைத்தளத்தின்படி, Databricks எந்த முன்-செலவுகளும் இல்லாமல் பயன்படுத்தியதற்கு ஏற்ப பணம் செலுத்தும் விலை நிர்ணயத்தை வழங்குகிறது—உண்மையான செலவு பயன்பாட்டைப் பொறுத்தது. துல்லியமான மதிப்பீடுகளுக்கு குறிப்பிட்ட வேலைச் சுமை அளவுருக்களுடன் விலை நிர்ணய கால்குலேட்டரைப் பயன்படுத்தவும்.
DBU என்றால் என்ன, அது எவ்வாறு கணக்கிடப்படுகிறது?
Databricks Unit (DBU) என்பது இயல்பாக்கப்பட்ட கணினி திறனின் ஒரு அளவீடு ஆகும். DBU நுகர்வு நிகழ்வு வகை விவரக்குறிப்புகள் (vCPUs, நினைவகம்) மற்றும் வேலைச் சுமை வகையைப் பொறுத்தது. எடுத்துக்காட்டாக, ஒரு m5.xlarge நிகழ்வு சில கணினி வகைகளுக்கு ஒரு மணி நேரத்திற்கு 0.690 DBU ஐப் பயன்படுத்துகிறது. DBU கட்டணங்களை தீர்மானிக்க, DBU நுகர்வை DBU விலை (இது சந்தா அடுக்கு மற்றும் கணினி வகையைப் பொறுத்து மாறுபடும்) பெருக்கும், கிளவுட் உள்கட்டமைப்பு செலவுகளிலிருந்து தனித்தனியாக.
AWS, Azure, அல்லது GCP இல் Databricks மலிவானதா?
சமமான அடுக்குகள் மற்றும் கணினி வகைகளுக்கு கிளவுட் வழங்குநர்கள் முழுவதும் DBU விகிதங்கள் ஒப்பீட்டளவில் நிலையானதாக இருக்கும். உள்கட்டமைப்பு செலவுகள் ஒவ்வொரு வழங்குநரின் VM விலை நிர்ணயம் மற்றும் பிராந்திய கிடைக்கும் தன்மையைப் பொறுத்து மாறுபடும். ஏற்கனவே கிளவுட் உறுதிமொழிகள், Reserved Instances, அல்லது நிறுவன ஒப்பந்தங்களைக் கொண்ட நிறுவனங்கள் உள்கட்டமைப்பு சேமிப்பிற்காக அவற்றை விரிவாகப் பயன்படுத்தலாம். பொதுவாக, குழுக்கள் சிறு விலை நிர்ணய வேறுபாடுகளை விட ஏற்கனவே உள்ள உள்கட்டமைப்பு, தரவு இருப்பிடம் மற்றும் நேட்டிவ் சேவை ஒருங்கிணைப்புகளின் அடிப்படையில் கிளவுட் வழங்குநர்களைத் தேர்ந்தெடுக்க வேண்டும்.
Standard, Premium, மற்றும் Enterprise அடுக்குகளுக்கு இடையே உள்ள வேறுபாடு என்ன?
Standard, மேம்பட்ட நிர்வாக அம்சங்கள் இல்லாமல் முக்கிய Databricks செயல்பாட்டை வழங்குகிறது. Premium பங்கு அடிப்படையிலான அணுகல் கட்டுப்பாடு (RBAC), தணிக்கை பதிவுகள், மேம்பட்ட பாதுகாப்பு மற்றும் ஒத்துழைப்பு அம்சங்களைச் சேர்க்கிறது—வழக்கமாக ஒரு DBU க்கு 30-50% அதிக செலவாகும். Enterprise, அதிகபட்ச நிர்வாகம், ஒருங்கிணைந்த மெட்டாடேட்டா நிர்வாகத்திற்கான Unity Catalog, மற்றும் அதிக DBU விகிதங்களில் முன்னுரிமை ஆதரவை வழங்குகிறது. Azure இல், Premium அடுக்கு AWS மற்றும் GCP இல் Enterprise அடுக்குக்கு ஒத்திருக்கிறது.
Databricks செலவுகளை நான் எவ்வாறு குறைக்க முடியும்?
தானியங்கு வேலைச் சுமைகளுக்கு All-Purpose க்கு பதிலாக Jobs கணினியைப் பயன்படுத்தவும் (50-70% சேமிப்பு), மேம்பாட்டு கிளஸ்டர்களுக்கு தீவிர தானியங்கு நிறுத்தத்தை (5-10 நிமிடங்கள்) செயல்படுத்தவும், கிடைக்கும் இடங்களில் சர்வர்லெஸ் கணினிக்கு இடம்பெயரவும் (~50% DBU குறைப்பு), தவறுகள் பொறுத்துக்கொள்ளக்கூடிய வேலைச் சுமைகளுக்கு ஸ்பாட் நிகழ்வுகளைப் பயன்படுத்தவும் (60-90% உள்கட்டமைப்பு சேமிப்பு), வேகமான செயலாக்கத்திற்கு Photon முடுக்கத்தை செயல்படுத்தவும், உண்மையான வளப் பயன்பாட்டின் அடிப்படையில் கிளஸ்டர்களைச் சரியாக அளவிடவும், மற்றும் மேம்படுத்தல் வாய்ப்புகளை அடையாளம் காண கணினி.billing.usage அட்டவணை வழியாக செலவுகளைக் கண்காணிக்கவும்.
Databricks சேமிப்பிற்காக தனித்தனியாக கட்டணம் வசூலிக்கிறதா?
Databricks கணினிக்கு (DBUகள் மற்றும் உள்கட்டமைப்பு) கட்டணம் வசூலிக்கிறது ஆனால் நேரடியாக சேமிப்பிற்காக அல்ல. கிளவுட் வழங்குநர் சேமிப்பகத்தில் (S3, Blob Storage, Cloud Storage) சேமிக்கப்படும் தரவு AWS, Azure, அல்லது GCP ஆல் பில் செய்யப்படும் நிலையான கிளவுட் சேமிப்பகக் கட்டணங்களை ஏற்படுத்துகிறது—வழக்கமாக நிலையான அடுக்குகளுக்கு மாதத்திற்கு ஒரு GB க்கு சுமார் $0.023. Delta Lake மேம்படுத்தல் அம்சங்கள் கோப்பு சுருக்கம் மற்றும் திறமையான தரவு தளவமைப்பு மூலம் சேமிப்பக செலவுகளைக் கட்டுப்படுத்த உதவுகின்றன.
Databricks விலை நிர்ணயத்தில் மறைக்கப்பட்ட செலவுகள் என்ன?
பொதுவான மறைக்கப்பட்ட செலவுகள், தானியங்கு நிறுத்தம் செயலில் வருவதற்கு முன் All-Purpose கிளஸ்டர் செயலற்ற நேரம், மேம்பாடு மற்றும் சோதனை வேலைச் சுமை வழிதல், பிரத்யேக கணினி மீது நுணுக்கமான அணுகல் கட்டுப்பாடுகளுக்கான சர்வர்லெஸ் கட்டணங்கள் (Runtime 15.4 LTS+), தானியங்கு கிளஸ்டர் புதுப்பிப்புகளை இயக்கும்போது Enhanced Security and Compliance add-on, மற்றும் ML மாதிரி வரிசைப்படுத்தல்களுக்கு எதிர்பாராத உயர் GPU சேவை செலவுகள் ஆகியவை அடங்கும். நிறுவனங்கள் இந்த சாத்தியக்கூறுகளுக்கு கால்குலேட்டர் மதிப்பீடுகளுக்கு மேல் 20-30% இடையகத்தைச் சேர்க்க வேண்டும்.
முடிவு: Databricks விலை நிர்ணயத்தை வேலை செய்ய வைத்தல்
Databricks விலை நிர்ணயம் சிக்கலானதாகத் தோன்றுகிறது, ஏனெனில் இது உண்மையான வேலைச் சுமை வேறுபாட்டைப் பிரதிபலிக்கிறது—தொகுதி ETL, ஊடாடும் பகுப்பாய்வு, நிகழ்நேர ஸ்ட்ரீமிங், மற்றும் GPU-துரிதப்படுத்தப்பட்ட ML சேவை அனைத்தும் வெவ்வேறு வள சுயவிவரங்கள் மற்றும் செலவு கட்டமைப்புகளைக் கொண்டுள்ளன.
ஆனால் கட்டமைப்பு நிர்வகிக்கக்கூடியதாக மாறும் ஒருமுறை கூறுகள் தெளிவாகும்: கணினி வகை மற்றும் அடுக்கின் அடிப்படையில் DBU நுகர்வு, பிளஸ் கிளவுட் வழங்குநர்களிடமிருந்து உள்கட்டமைப்பு செலவுகள், உண்மையான பயன்பாட்டிற்காக ஒரு நொடிக்கு பில் செய்யப்படுகிறது.
செலவு கட்டுப்பாடு என்பது கணினி வகைகளை வேலைச் சுமை முறைகளுடன் பொருத்துதல், தீவிர தானியங்கு நிறுத்தத்தை செயல்படுத்துதல், சர்வர்லெஸ் கிடைக்கும் போது பயன்படுத்துதல், மற்றும் மாதந்திர இன்வாய்ஸ்களுக்கு பதிலளிப்பதை விட கணினி அட்டவணைகள் வழியாக பயன்பாட்டை தொடர்ந்து கண்காணித்தல் ஆகியவற்றைக் குறைக்கிறது.
அதிகாரப்பூர்வ விலை நிர்ணய கால்குலேட்டருடன் தொடங்கி அடிப்படை மதிப்பீடுகளை நிறுவவும். அனுமானங்களைச் சரிபார்க்க பைலட் வேலைச் சுமைகளை இயக்கவும். மேம்படுத்தல் வாய்ப்புகளை அடையாளம் காண கட்டணப் பயன்பாட்டு தரவைக் கண்காணிக்கவும். மேலும் நினைவில் கொள்ளுங்கள்—இலக்கு என்பது முழுமையான வகையில் செலவுகளைக் குறைப்பது அல்ல, ஆனால் செலவிட்ட பணத்திற்கு வழங்கப்பட்ட மதிப்பை அதிகரிப்பது.
செலவை மேம்படுத்தத் தயாரா? அதிகாரப்பூர்வ வலைத்தளத்தில் Databricks விலை நிர்ணய கால்குலேட்டரை அணுகவும், கண்காணிப்பிற்காக கட்டணப் பயன்பாட்டு கணினி அட்டவணையை செயல்படுத்தவும், மற்றும் வழங்கப்பட்ட வேலைச் சுமை மதிப்புடன் உண்மையான DBU நுகர்வை அளவிடத் தொடங்கவும்.
