Databricks প্রাইসিং গাইড ২০২৬: DBU খরচ ও বিবরণ

Author Avatar
Andrew
AI Perks Team
7,569
Databricks প্রাইসিং গাইড ২০২৬: DBU খরচ ও বিবরণ

সংক্ষিপ্ত সারাংশ: Databricks মূল্য নির্ধারণে Databricks Units (DBUs) প্রতি ওয়ার্কলোড টাইপ অনুযায়ী চার্জ করা হয় এবং AWS, Azure, বা GCP থেকে প্রাপ্ত ক্লাউড পরিকাঠামোর খরচের সাথে একটি ব্যবহার-ভিত্তিক মডেল ব্যবহার করা হয়। DBU হার সাবস্ক্রিপশন স্তর (Standard, Premium, Enterprise) এবং কম্পিউট টাইপের উপর নির্ভর করে পরিবর্তিত হয়, যেখানে Jobs কম্পিউট প্রতি DBU প্রায় $0.15 থেকে শুরু হয় এবং All-Purpose কম্পিউট 2-3 গুণ বেশি ব্যয়বহুল। মোট মাসিক খরচ ওয়ার্কলোডের পরিমাণ, ক্লাস্টার কনফিগারেশন এবং অপ্টিমাইজেশন অভ্যাসের উপর নির্ভর করে।

Databricks মূল্য নির্ধারণ প্রায় সকলকেই বিভ্রান্ত করে। কোনো ইঞ্জিনিয়ারিং লিড বা সিএফও-কে একটি সাধারণ প্রশ্ন জিজ্ঞাসা করুন—"Databricks আমাদের জন্য কত খরচ হবে?"—এবং উত্তরটি প্রায় সবসময়ই "এটা নির্ভর করে" এর কোনো না কোনো সংস্করণ হবে।

এবং এটি আসলে সত্য। প্ল্যাটফর্মটি একটি দ্বৈত-খরচ কাঠামোর উপর কাজ করে: কম্পিউট ওয়ার্কলোডের জন্য Databricks Units (DBUs) এবং প্ল্যাটফর্মটিকে চালিত করে এমন যেকোনো ক্লাউড প্রদানকারীর থেকে পরিকাঠামোর চার্জ। এই বিষয়টি আরও চ্যালেঞ্জিং করে তোলে যে DBU হার সাবস্ক্রিপশন স্তর, ওয়ার্কলোড টাইপ এবং ক্লাউড অঞ্চলের উপর ভিত্তি করে ওঠানামা করে।

কিন্তু আসল কথা হলো—একবার কাঠামোটি ক্লিক করলে, Databricks মূল্য নির্ধারণ পূর্বাভাসযোগ্য হয়ে ওঠে। এই গাইডটি ব্যাখ্যা করে যে কিভাবে খরচ জমা হয়, DBU ব্যবহার কী চালিত করে এবং কোথায় অপ্টিমাইজেশন সত্যিই প্রভাব ফেলে।

Databricks কি?

Databricks হল বিগ ডেটা অ্যানালিটিক্স, ডেটা ইঞ্জিনিয়ারিং এবং সহযোগিতামূলক মেশিন লার্নিংয়ের জন্য একটি ক্লাউড-ভিত্তিক প্ল্যাটফর্ম। Apache Spark-এর উপর নির্মিত, এটি প্রধান ক্লাউড প্রদানকারী—AWS, Azure, এবং Google Cloud Platform-এর সাথে একীভূত হয়, যা Delta Lake এবং অন্যান্য ওপেন-সোর্স প্রযুক্তির সাথে কাজ করার জন্য একটি সমন্বিত পরিবেশ সরবরাহ করে।

প্ল্যাটফর্মটি নিজেকে একটি "লেকহাউস" সমাধান হিসাবে অবস্থান করে, যা ডেটা ওয়্যারহাউস কাঠামোকে ডেটা লেকের নমনীয়তার সাথে একত্রিত করে। দলগুলি ETL পাইপলাইন, রিয়েল-টাইম অ্যানালিটিক্স, মেশিন লার্নিং মডেল উন্নয়ন এবং প্রোডাকশন AI স্থাপনের জন্য Databricks ব্যবহার করে।

Databricks-কে স্থাপত্যগতভাবে যা আলাদা করে তা হল কম্পিউট এবং স্টোরেজের মধ্যে বিভাজন। ডেটা ক্লাউড স্টোরেজে (AWS-এ S3, Azure-এ Blob Storage, GCP-তে Cloud Storage) থাকে যখন কম্পিউট ক্লাস্টারগুলি চাহিদা অনুযায়ী ওয়ার্কলোড প্রক্রিয়া করে। এই বিভাজন মানে খরচ স্বাধীনভাবে স্কেল করে—স্টোরেজ রৈখিকভাবে বৃদ্ধি পায় যখন কম্পিউট চার্জ শুধুমাত্র ক্লাস্টারগুলি চলার সময় প্রযোজ্য হয়।

Databricks মূল্য নির্ধারণ মডেল বোঝা

অফিসিয়াল ওয়েবসাইট অনুসারে, Databricks কোনও আপ-ফ্রন্ট খরচ ছাড়াই পে-অ্যাজ-ইউ-গো পদ্ধতি অফার করে। চার্জগুলি প্রতি-সেকেন্ড গ্র্যানুলারিটিতে জমা হয়, যার অর্থ 10 মিনিটের জন্য চলা একটি ক্লাস্টার ঠিক 10 মিনিটের চার্জ তৈরি করে—এক পুরো ঘণ্টা নয়।

মূল্য নির্ধারণ মডেলে দুটি উপাদান রয়েছে:

  • DBU চার্জ: Databricks Units বিভিন্ন ইনস্ট্যান্স প্রকার এবং ওয়ার্কলোড প্যাটার্নের উপর স্বাভাবিককৃত কম্পিউট ক্ষমতা পরিমাপ করে
  • ক্লাউড পরিকাঠামোর খরচ: AWS, Azure, বা GCP থেকে ভার্চুয়াল মেশিন, স্টোরেজ এবং নেটওয়ার্কিংয়ের জন্য ঘন্টাভিত্তিক হার

এই চার্জগুলি স্ট্যাক হয়। AWS-এ একটি m5.xlarge ইনস্ট্যান্স চালানো DBU হার (নির্দিষ্ট ওয়ার্কলোডের জন্য প্রতি DBU 0.690) এবং পরিকাঠামো খরচ (VM নিজেই প্রতি ঘন্টা $0.3795) উভয়ই যুক্ত করে।

বাস্তব কথা: এই দ্বৈত কাঠামো দলগুলিকে হতবাক করে দেয়। ইঞ্জিনিয়ারিং ক্লাস্টার সাইজিং এবং VM নির্বাচনের উপর দৃষ্টি নিবদ্ধ করে যখন অর্থ বিভাগ অপ্রত্যাশিতভাবে উচ্চ বিল দেখে কারণ DBU গুণকগুলি পূর্বাভাসের মধ্যে অন্তর্ভুক্ত করা হয়নি।

Databricks Units (DBUs) কি?

DBUs হল একটি প্রক্রিয়াকরণ ক্ষমতার একক। Databricks বিভিন্ন DBU হার চার্জ করে, যা নির্ভর করে:

  • ওয়ার্কলোড টাইপ: Jobs কম্পিউট, All-Purpose কম্পিউট, SQL warehouses, serverless, এবং মডেল সার্ভিং প্রতিটির ভিন্ন হার রয়েছে
  • সাবস্ক্রিপশন স্তর: Standard, Premium, এবং Enterprise স্তরগুলি ভিন্নভাবে DBUs মূল্য নির্ধারণ করে
  • ইনস্ট্যান্স কনফিগারেশন: বেশি vCPU এবং মেমরি সহ বড় ইনস্ট্যান্সগুলি প্রতি ঘন্টায় বেশি DBU ব্যবহার করে

প্রতি ঘন্টায় ব্যবহৃত DBUs-এর সংখ্যা ইনস্ট্যান্সের স্পেসিফিকেশনের উপর নির্ভর করে। উপলব্ধ ডেটা অনুসারে, একটি m5.xlarge ইনস্ট্যান্স (4 vCPUs, 16 GB মেমরি) নির্দিষ্ট কম্পিউট টাইপের জন্য 0.690 DBU হার ধারণ করে।

সুতরাং যদি সেই ইনস্ট্যান্সটি Standard স্তরে Jobs কম্পিউটে এক ঘন্টা চলে, তাহলে গণনাটি দেখতে এমন হবে:

  • DBU ব্যবহার: 0.690 DBU
  • DBU মূল্য (উদাহরণ): প্রতি DBU $0.15
  • DBU খরচ: 0.690 × $0.15 = $0.1035
  • পরিকাঠামো খরচ: $0.3795
  • মোট ঘন্টাভিত্তিক খরচ: $0.483

কিন্তু অপেক্ষা করুন। একই ক্লাস্টারকে All-Purpose কম্পিউটে পরিবর্তন করুন এবং DBU মূল্য উল্লেখযোগ্যভাবে বৃদ্ধি পায়—প্রায়শই 2-3 গুণ বেশি—কারণ ইন্টারেক্টিভ ওয়ার্কলোডগুলিতে নোটবুক পরিবেশ এবং সহযোগিতার বৈশিষ্ট্য অন্তর্ভুক্ত থাকে।

Databricks total cost combines DBU charges with cloud provider infrastructure fees, both billed independently

Databricks সাবস্ক্রিপশন স্তর ব্যাখ্যা করা হয়েছে

Databricks তিনটি প্রধান সাবস্ক্রিপশন স্তর অফার করে, প্রতিটিতে ভিন্ন DBU মূল্য এবং বৈশিষ্ট্য সেট রয়েছে। এই স্তরগুলি কেবল খরচই নয়, গভর্ন্যান্স, নিরাপত্তা এবং সহযোগিতার বৈশিষ্ট্যগুলিতে অ্যাক্সেসও নির্ধারণ করে।

Standard Tier

এন্ট্রি-লেভেল স্তরটি উন্নত এন্টারপ্রাইজ বৈশিষ্ট্য ছাড়াই মূল Databricks কার্যকারিতা প্রদান করে। Standard স্তরটি জটিল গভর্ন্যান্স প্রয়োজনীয়তা ছাড়াই ডেটা প্রক্রিয়াকরণে নিবেদিত দলগুলির জন্য কাজ করে।

Azure-এ, Standard স্তর Jobs কম্পিউট প্রতি DBU $0.15 খরচ হয় (US East অঞ্চল ডেটা)। এটি অন্যান্য কম্পিউট প্রকার বা স্তরের জন্য গুণকগুলির আগে বেসলাইন DBU হার উপস্থাপন করে।

Standard স্তরে ভূমিকা-ভিত্তিক অ্যাক্সেস কন্ট্রোল (RBAC), অডিট লগিং এবং উন্নত নিরাপত্তা বৈশিষ্ট্যগুলির অভাব রয়েছে—উন্নয়ন পরিবেশের জন্য গ্রহণযোগ্য কিন্তু সংবেদনশীল ডেটা পরিচালনা করা প্রোডাকশন ওয়ার্কলোডগুলির জন্য সীমিত।

Premium Tier (AWS/GCP-এ Enterprise)

Premium দলগুলি এবং অপারেশনাল দক্ষতার স্কেলিংয়ের জন্য ডিজাইন করা ক্ষমতা যোগ করে। মূল বৈশিষ্ট্যগুলির মধ্যে রয়েছে:

  • সুক্ষ্ম অনুমতিগুলির জন্য ভূমিকা-ভিত্তিক অ্যাক্সেস কন্ট্রোল (RBAC)
  • ওয়ার্কস্পেস জুড়ে অ্যাক্সেস এবং ক্রিয়াকলাপ ট্র্যাক করার জন্য অডিট লগ
  • উন্নত নিরাপত্তা এবং সম্মতি নিয়ন্ত্রণ
  • সংস্করণ সহ সহযোগী নোটবুক

Standard-এর তুলনায় Premium স্তরে DBU হার বৃদ্ধি পায়। ওয়ার্কলোডের প্রকারের উপর নির্ভর করে সঠিক গুণক পরিবর্তিত হয়, তবে Premium স্তর Standard-এর চেয়ে প্রতি DBU বেশি খরচ করে (সঠিক গুণক ওয়ার্কলোডের প্রকারের উপর নির্ভর করে পরিবর্তিত হয়)।

Azure-এ, Premium স্তরটি AWS এবং GCP-তে Enterprise স্তর হিসাবে পরিচিত—ক্রস-ক্লাউড মূল্য নির্ধারণের তুলনা করার সময় গুরুত্বপূর্ণ।

Enterprise Tier

Enterprise স্তর বড় আকারের প্রোডাকশন স্থাপনার জন্য সর্বাধিক গভর্ন্যান্স, সম্মতি এবং সমর্থন সরবরাহ করে। Premium-এর বাইরে অতিরিক্ত বৈশিষ্ট্যগুলির মধ্যে রয়েছে:

  • উন্নত ডেটা গভর্ন্যান্স এবং lineage ট্র্যাকিং
  • কেন্দ্রীয় মেটাডেটা পরিচালনার জন্য Unity Catalog
  • উন্নত কর্মক্ষমতা অপ্টিমাইজেশন
  • অগ্রাধিকার সমর্থন এবং SLA প্রতিশ্রুতি

Enterprise সর্বোচ্চ DBU মূল্য স্তর উপস্থাপন করে। নিয়ন্ত্রিত ডেটা পরিচালনা করা বা জটিল অ্যাক্সেস নিয়ন্ত্রণগুলির প্রয়োজন দলগুলি সাধারণত খরচের প্রিমিয়াম সত্ত্বেও এই স্তরে কাজ করে।

ডেটা টুলগুলির জন্য অগ্রিম অতিরিক্ত অর্থ প্রদান করবেন না

Databricks-এর মূল্য নির্ধারণের দিকে তাকানো? চ্যালেঞ্জটি কেবল একটি সরঞ্জাম নয়—খরচগুলি কম্পিউট, স্টোরেজ এবং সহায়ক AI সরঞ্জাম জুড়ে যুক্ত হয়।

Get AI Perks আপনাকে প্রতিশ্রুতিবদ্ধ হওয়ার আগে সেই সামগ্রিক ব্যয় কমাতে সহায়তা করে। এটি AI, ক্লাউড এবং ডেভেলপার সরঞ্জাম জুড়ে ক্রেডিট, ছাড় এবং অংশীদার অফারগুলিকে একত্রিত করে, যাতে আপনি বিভিন্ন প্রোগ্রামের মধ্যে ছড়িয়ে থাকা ডিলগুলি অ্যাক্সেস করতে পারেন।

Get AI Perks-এর সাথে, আপনি পারেন:

  • AI এবং ডেটা পরিকাঠামো সরঞ্জামগুলির জন্য ক্রেডিট অ্যাক্সেস করুন
  • আপনার স্ট্যাক জুড়ে মোট খরচ হ্রাস করুন
  • পূর্ণ মূল্য নির্ধারণে প্রতিশ্রুতিবদ্ধ হওয়ার আগে সরঞ্জামগুলি পরীক্ষা করুন

আপনি যদি Databricks মূল্য নির্ধারণের তুলনা করেন, তবে প্রথমে আপনার মোট খরচ কমিয়ে দিন—Get AI Perks দেখুন।

Databricks কম্পিউট টাইপ এবং মূল্য নির্ধারণ

কম্পিউট টাইপ নির্বাচন উল্লেখযোগ্য খরচ ভিন্নতা সৃষ্টি করে। প্রতিটি ওয়ার্কলোড প্যাটার্নের তার ব্যবহারের ক্ষেত্রে অপ্টিমাইজ করা বিভিন্ন মূল্য নির্ধারণ রয়েছে।

Jobs Compute

Jobs কম্পিউট স্বয়ংক্রিয়, প্রোডাকশন ETL ওয়ার্কফ্লো এবং নির্ধারিত কাজগুলি চালিত করে। এই ক্লাস্টারগুলি শুরু হয়, ওয়ার্কলোড কার্যকর করে এবং স্বয়ংক্রিয়ভাবে বন্ধ হয়ে যায়।

মূল্য সুবিধা: সর্বনিম্ন DBU হার (All-Purpose-এর চেয়ে 30-50% কম)। Standard স্তরে (Azure US East) প্রতি DBU $0.15 থেকে শুরু করে, Jobs কম্পিউট পূর্বাভাসযোগ্য ওয়ার্কলোডগুলির জন্য সবচেয়ে লাভজনক বিকল্প সরবরাহ করে।

নিয়মিত ডেটা পাইপলাইন চালিত দলগুলির Jobs কম্পিউট ব্যবহার করা উচিত। All-Purpose কম্পিউটে একই ওয়ার্কলোড চালানো 2-3 গুণ বেশি ব্যয়বহুল হতে পারে কোনও কার্যকরী সুবিধা ছাড়াই—এই সঞ্চয়গুলি স্কেলে দ্রুত বৃদ্ধি পায়।

All-Purpose Compute

All-Purpose ক্লাস্টারগুলি ইন্টারেক্টিভ অ্যানালিটিক্স, নোটবুক উন্নয়ন এবং সহযোগিতামূলক অনুসন্ধানের সমর্থন করে। ব্যবহারকারীরা সক্রিয়ভাবে কাজ করার সময় এই ক্লাস্টারগুলি স্থায়ী থাকে, যা রিয়েল-টাইম কোয়েরি এক্সিকিউশন এবং পুনরাবৃত্তিমূলক উন্নয়নের অনুমতি দেয়।

ট্রেডঅফ: উল্লেখযোগ্যভাবে উচ্চ DBU হার। All-Purpose কম্পিউটে নোটবুক পরিবেশ, সহযোগিতার বৈশিষ্ট্য এবং ইন্টারেক্টিভ ক্ষমতা অন্তর্ভুক্ত থাকে যা প্রিমিয়াম মূল্য নির্ধারণকে ন্যায্যতা দেয়।

সাধারণ ভুল: All-Purpose ক্লাস্টারগুলি নিষ্ক্রিয় রেখে দেওয়া। Jobs কম্পিউটের মতো নয় যা কাজ শেষ হওয়ার পরে বন্ধ হয়ে যায়, All-Purpose ক্লাস্টারগুলি ম্যানুয়ালি বন্ধ না হওয়া পর্যন্ত বা স্বয়ংক্রিয়ভাবে বন্ধ না হওয়া পর্যন্ত চার্জ জমা করতে থাকে। অনিয়ন্ত্রিত খরচ প্রতিরোধ করার জন্য আগ্রাসী স্বয়ংক্রিয়-বন্ধ (5-10 মিনিট নিষ্ক্রিয়তা) সেট করুন।

SQL Warehouses

SQL warehouses (পূর্ববর্তী SQL endpoints) BI কোয়েরি এবং অ্যানালিটিক্স ওয়ার্কলোড পরিচালনা করে। তিন ধরণের বিদ্যমান:

  • Serverless: দ্রুততম স্টার্টআপ, সর্বোচ্চ কর্মক্ষমতা, পরিচালিত পরিকাঠামো
  • Pro: Photon এক্সিলারেশন, Predictive IO অপ্টিমাইজেশন
  • Classic: বেসিক SQL ক্ষমতা, কম খরচ

Serverless SQL warehouses Photon Engine, Predictive IO, এবং Intelligent Workload Management সহ উন্নত কর্মক্ষমতা প্রদান করে—কিন্তু প্রিমিয়াম DBU হারে। Pro warehouses সম্পূর্ণ serverless পরিকাঠামো ছাড়াই Photon এবং Predictive IO সরবরাহ করে। Classic warehouses হ্রাসকৃত খরচে বেসিক কার্যকারিতা সরবরাহ করে।

BI দলগুলির জন্য যারা ঘন ঘন অ্যাড-হক কোয়েরি চালায়, Serverless কর্মক্ষমতা উন্নতিগুলি দ্রুত কোয়েরি এক্সিকিউশনের মাধ্যমে খরচের ন্যায্যতা প্রমাণ করে (উচ্চ DBU হার সত্ত্বেও মোট DBU-ঘণ্টা কম)।

Model Serving

Model Serving মেশিন লার্নিং মডেলগুলিকে রিয়েল-টাইম API হিসাবে স্থাপন করে। স্থাপনাগুলি CPU বা GPU ইনস্ট্যান্স ব্যবহার করে কিনা তার উপর মূল্য নির্ভর করে।

অফিসিয়াল মূল্য ডেটা অনুসারে, GPU সার্ভিং DBU হার ইনস্ট্যান্স আকারের উপর নির্ভর করে পরিবর্তিত হয়:

ইনস্ট্যান্স সাইজGPU কনফিগারেশনDBUs প্রতি ঘন্টা
SmallT4 বা সমতুল্য10.48
MediumA10G × 1 GPU20.00
Medium 4XA10G × 4 GPU112.00
Medium 8XA10G × 8 GPU290.80
Large 8X 40GBA100 40GB × 8 GPU538.40
Large 8X 80GBA100 80GB × 8 GPU628.00

GPU সার্ভিং স্ট্যান্ডার্ড কম্পিউটের চেয়ে উল্লেখযোগ্যভাবে বেশি DBU ব্যবহার করে। ML মডেল স্থাপনকারী দলগুলির সঠিক ট্র্যাফিক পূর্বাভাস প্রয়োজন—কোয়েরি ভলিউম কম অনুমান করলে এই DBU হারে গুরুতর খরচ বেড়ে যায়।

Serverless Compute

Serverless কম্পিউট সম্পূর্ণরূপে ক্লাস্টার ব্যবস্থাপনা দূর করে। Databricks স্বয়ংক্রিয়ভাবে পরিকাঠামো প্রভিশনিং, স্কেলিং এবং অপ্টিমাইজেশন পরিচালনা করে।

মূল্য সুবিধা: উপলব্ধ ডেটা অনুসারে, সমতুল্য ওয়ার্কলোডের জন্য Jobs কম্পিউট DBU হারের প্রায় 50%। এই হ্রাস ভাগ করা, অপ্টিমাইজ করা সংস্থানগুলি থেকে পরিকাঠামো দক্ষতার লাভ প্রতিফলিত করে।

ঝুঁকি: serverless-এর জন্য ওয়ার্কস্পেস-স্তরের সক্রিয়করণ প্রয়োজন এবং এটি সমস্ত অঞ্চলে উপলব্ধ নয়। সমর্থিত ওয়ার্কলোডগুলির জন্য, serverless প্রায়শই হ্রাসকৃত DBU হার এবং কোনও ব্যবস্থাপনা ওভারহেড ছাড়াই সর্বনিম্ন মোট খরচ সরবরাহ করে।

Relative DBU cost comparison across Databricks compute types shows serverless and jobs compute offer the lowest rates

ক্লাউড প্রদানকারীদের মধ্যে Databricks মূল্য নির্ধারণ

Databricks AWS, Azure, এবং Google Cloud Platform-এ ক্লাউড-নির্দিষ্ট ইন্টিগ্রেশন এবং মূল্য নির্ধারণের ভিন্নতা সহ কাজ করে। মূল DBU কাঠামো সামঞ্জস্যপূর্ণ থাকে, তবে পরিকাঠামো খরচ এবং আঞ্চলিক উপলব্ধতা ভিন্ন হয়।

AWS-এ Databricks মূল্য নির্ধারণ

AWS Databricks স্টোরেজের জন্য S3, কম্পিউটের জন্য EC2, এবং নিরাপত্তার জন্য IAM-এর সাথে একীভূত হয়। পরিকাঠামো চার্জগুলি নির্বাচিত ইনস্ট্যান্স প্রকারগুলির জন্য স্ট্যান্ডার্ড AWS EC2 মূল্য নির্ধারণ অনুসরণ করে।

উদাহরণস্বরূপ, US East অঞ্চলে একটি m5.xlarge ইনস্ট্যান্স প্রতি ঘন্টা $0.3795 খরচ করে (অন-ডিমান্ড মূল্য নির্ধারণ)। ওয়ার্কলোড প্রকার এবং সাবস্ক্রিপশন স্তরের উপর ভিত্তি করে DBU গুণক যোগ করে মোট খরচ গণনা করুন।

AWS EC2 পরিকাঠামোর জন্য Savings Plans এবং Reserved Instances অফার করে, যা VM খরচ 30-70% কমাতে পারে। তবে, এই প্রতিশ্রুতিগুলি কেবল পরিকাঠামোর জন্য প্রযোজ্য—DBU চার্জের জন্য নয়।

Azure-এ Databricks মূল্য নির্ধারণ

Azure Databricks Microsoft Azure-এ একটি প্রথম-পক্ষের পরিষেবা হিসাবে বিদ্যমান, যা Microsoft থেকে সরাসরি সমন্বিত বিলিং এবং সমর্থন সরবরাহ করে। Azure-এর Premium স্তর AWS এবং GCP-তে Enterprise স্তরের সাথে সামঞ্জস্যপূর্ণ।

অফিসিয়াল উত্স অনুসারে, Azure Databricks Standard স্তর Jobs কম্পিউট US East অঞ্চলে প্রতি DBU $0.15 খরচ হয়। পরিকাঠামো খরচ নির্বাচিত ইনস্ট্যান্স পরিবারগুলির জন্য Azure VM মূল্য নির্ধারণ অনুসরণ করে।

Azure ইতিমধ্যে Microsoft ইকোসিস্টেমের প্রতি প্রতিশ্রুতিবদ্ধ সংস্থাগুলির জন্য অনন্য সুবিধা প্রদান করে—সমন্বিত বিলিং Databricks চার্জগুলি অন্যান্য Azure পরিষেবাগুলির সাথে একত্রিত করে, এবং Azure Active Directory-এর সাথে একীকরণ পরিচয় ব্যবস্থাপনা সহজ করে।

Google Cloud Platform-এ Databricks মূল্য নির্ধারণ

GCP Databricks Cloud Storage, Compute Engine, এবং GCP IAM-এর সাথে একীভূত হয়। প্ল্যাটফর্মটি একই DBU কাঠামো অনুসরণ করে তবে GCP-এর ইনস্ট্যান্স প্রকার এবং আঞ্চলিক পরিকাঠামো ব্যবহার করে।

GCP সাধারণত AWS বা Azure-এর চেয়ে কিছুটা ভিন্ন ইনস্ট্যান্স কনফিগারেশন অফার করে, যা পরিকাঠামো খরচ এবং DBU হার উভয়কেই প্রভাবিত করে। দলগুলি নির্দিষ্ট GCP অঞ্চলের জন্য Databricks মূল্য নির্ধারণ ক্যালকুলেটর ব্যবহার করে মূল্য নির্ধারণ যাচাই করা উচিত।

ক্রস-ক্লাউড মূল্য নির্ধারণ তুলনা

সমতুল্য স্তর এবং কম্পিউট প্রকারের জন্য DBU হার ক্লাউড জুড়ে তুলনামূলকভাবে সামঞ্জস্যপূর্ণ থাকে। প্রাথমিক খরচ ভিন্নতা AWS, Azure, এবং GCP-এর মধ্যে পরিকাঠামো মূল্য নির্ধারণের ভিন্নতা থেকে আসে।

সাধারণভাবে বলতে গেলে, দলগুলি ক্লাউড প্রদানকারী নির্বাচন করা উচিত:

  • বিদ্যমান পরিকাঠামো প্রতিশ্রুতি এবং এন্টারপ্রাইজ চুক্তি
  • ডেটা স্থানীয়তার প্রয়োজনীয়তা এবং সম্মতি প্রয়োজন
  • নেটিভ পরিষেবা ইন্টিগ্রেশন (S3 বনাম Blob Storage বনাম Cloud Storage)
  • প্রয়োজনীয় Databricks বৈশিষ্ট্যগুলির জন্য আঞ্চলিক উপলব্ধতা

ক্লাউড প্রদানকারীর নির্বাচন DBU চার্জের চেয়ে পরিকাঠামো খরচকে বেশি প্রভাবিত করে। বিদ্যমান AWS Reserved Instances বা Azure প্রতিশ্রুতি সহ একটি সংস্থা পরিকাঠামো সঞ্চয়ের জন্য সেগুলি ব্যবহার করতে পারে।

Databricks মূল্য নির্ধারণ ক্যালকুলেটর ব্যবহার করা

অফিসিয়াল Databricks মূল্য নির্ধারণ ক্যালকুলেটর ওয়ার্কলোড স্পেসিফিকেশনের উপর ভিত্তি করে মাসিক খরচ অনুমান করতে সহায়তা করে। অফিসিয়াল মূল্য নির্ধারণ পৃষ্ঠায় অবস্থিত, ক্যালকুলেটরের জন্য ইনপুট প্রয়োজন যেমন:

  • ক্লাউড প্রদানকারী (AWS, Azure, বা GCP)
  • অঞ্চল নির্বাচন
  • সাবস্ক্রিপশন স্তর (Standard, Premium, Enterprise)
  • কম্পিউট টাইপ (Jobs, All-Purpose, SQL, Serverless)
  • ইনস্ট্যান্স টাইপ এবং ক্লাস্টার সাইজ
  • প্রতি মাসে প্রত্যাশিত রানটাইম ঘন্টা

ক্যালকুলেটর DBU ব্যবহার এবং মোট মাসিক খরচের আনুমানিক হিসাব দেয়, যা DBU চার্জ এবং পরিকাঠামো ফি একত্রিত করে।

এখন, এখানে এটি আকর্ষণীয় হয়ে ওঠে। ক্যালকুলেটর অনুমান সরবরাহ করে—প্রকৃত খরচ বাস্তব ব্যবহারের ধরণগুলির উপর নির্ভর করে। দলগুলি প্রায়শই কম অনুমান করে:

  • স্বয়ংক্রিয়-বন্ধ সক্রিয় হওয়ার আগে ক্লাস্টার নিষ্ক্রিয় সময়
  • উন্নয়ন এবং পরীক্ষা ওয়ার্কলোড পরিমাণ
  • ইন্টারেক্টিভ উন্নয়ন থেকে প্রোডাকশন ক্লাস্টারগুলিতে ছড়িয়ে পড়া

সেরা অভ্যাস: পাইলট ওয়ার্কলোডগুলি চালান এবং বড় আকারের স্থাপনাগুলিতে প্রতিশ্রুতিবদ্ধ হওয়ার আগে সিস্টেম টেবিলের মাধ্যমে প্রকৃত বিলযোগ্য ব্যবহার নিরীক্ষণ করুন। বিলযোগ্য ব্যবহার সিস্টেম টেবিল (system.billing.usage) খরচ বিশ্লেষণের জন্য সুক্ষ্ম ব্যবহারের ডেটা সরবরাহ করে।

Databricks খরচ কী চালিত করে?

খরচ চালকদের বোঝা অপ্টিমাইজেশন প্রচেষ্টা কার্যকরভাবে লক্ষ্য করতে সহায়তা করে। মাসিক ব্যয় নির্ধারণে বেশ কয়েকটি কারণ একত্রিত হয়।

ডেটা ভলিউম এবং ওয়ার্কলোড ভেলোসিটি

বেশি ডেটার জন্য প্রক্রিয়া করার জন্য বেশি কম্পিউট প্রয়োজন। প্রতিদিন টেরাবাইট প্রসেস করা ব্যাচ জবগুলি গিগাবাইট পরিচালনা করা পাইপলাইনের চেয়ে উল্লেখযোগ্যভাবে বেশি DBU-ঘণ্টা ব্যবহার করে।

ভেলোসিটিও গুরুত্বপূর্ণ। রিয়েল-টাইম স্ট্রিমিং ওয়ার্কলোডগুলির জন্য সর্বদা-অন ক্লাস্টার প্রয়োজন, যা অবিচ্ছিন্নভাবে চার্জ জমা করে। ব্যাচ প্রসেসিং শুধুমাত্র সক্রিয় উইন্ডো চলাকালীন ক্লাস্টারগুলি চালায়, মোট রানটাইম কমিয়ে দেয়।

ক্লাস্টার কনফিগারেশন এবং ইনস্ট্যান্স নির্বাচন

বেশি vCPUs এবং মেমরি সহ বড় ইনস্ট্যান্সগুলির DBU হার এবং পরিকাঠামো খরচ বেশি। একটি m5.8xlarge (32 vCPUs, 128 GB) একটি m5.xlarge (4 vCPUs, 16 GB) এর চেয়ে প্রতি ঘন্টায় উল্লেখযোগ্যভাবে বেশি খরচ করে।

অপ্টিমাইজেশন চ্যালেঞ্জ: অতিরিক্ত বড় ক্লাস্টারগুলি অপ্রয়োজনীয় ক্ষমতার মাধ্যমে অর্থ অপচয় করে, যখন ছোট ক্লাস্টারগুলি ওয়ার্কলোডগুলি সম্পন্ন করার জন্য দীর্ঘ সময় ধরে চলে—সম্ভাব্য মোট DBU-ঘণ্টায় বেশি খরচ করে।

ওয়ার্কলোড টাইপ ডিস্ট্রিবিউশন

কম্পিউট টাইপগুলির মিশ্রণ গড় DBU হার নির্ধারণ করে। প্রাথমিকভাবে Jobs কম্পিউট চালানো সংস্থাগুলি তাদের অল-পারপাস ক্লাস্টারগুলি ব্যাপকভাবে ব্যবহার করে তাদের চেয়ে কম পরিশোধ করে।

ইঞ্জিনিয়ারিং ওয়ার্কলোড (ETL) সাধারণত সবচেয়ে কম খরচ করে, যখন ডেটা সায়েন্স ওয়ার্কলোড (ML উন্নয়ন) অল-পারপাস ক্লাস্টার ব্যবহার এবং দীর্ঘ পরীক্ষা চক্রের কারণে 3-4 গুণ বেশি খরচ করতে পারে।

ক্লাস্টার নিষ্ক্রিয় সময় এবং স্বয়ংক্রিয়-বন্ধ

স্বয়ংক্রিয়-বন্ধ সেটিংস তাদের বন্ধ না করলে অল-পারপাস ক্লাস্টারগুলি নিষ্ক্রিয় থাকার সময় চার্জ জমা করতে থাকে। রাতে চালু থাকা একটি ক্লাস্টার 8-12 ঘন্টার অপ্রয়োজনীয় চার্জ জমা করে।

উন্নয়ন ক্লাস্টারগুলির জন্য 5-10 মিনিটের স্বয়ংক্রিয়-বন্ধ সেট করা অনিয়ন্ত্রিত খরচ প্রতিরোধ করে। প্রোডাকশন Jobs ক্লাস্টারগুলি কাজ শেষ হওয়ার পরে অবিলম্বে বন্ধ হওয়া উচিত। Databricks প্রতি সেকেন্ডে চার্জ করে—কাজ শেষ হওয়ার পরে অবিলম্বে বন্ধ হওয়া ক্লাস্টারগুলি অপ্রয়োজনীয় চার্জ এড়াতে পারে।

স্টোরেজ খরচ

যদিও স্টোরেজ প্রতি GB কম্পিউটের চেয়ে কম খরচ করে, বড় ডেটা লেকগুলি উল্লেখযোগ্য মাসিক চার্জ জমা করে। ক্লাউড স্টোরেজ মূল্য নির্ধারণ ভিন্ন:

  • AWS S3 Standard স্টোরেজ মূল্য নির্ধারণ বেশিরভাগ অঞ্চলে প্রথম 50 TB/মাস পর্যন্ত প্রতি GB $0.023 থেকে শুরু হয়, তবে US East (N. Virginia) অঞ্চলে প্রতি GB $0.021
  • Azure Blob Storage: টায়ারিং বিকল্প সহ অনুরূপ মূল্য নির্ধারণ
  • GCP Cloud Storage: আঞ্চলিক ভিন্নতা সহ তুলনীয় হার

Delta Lake-এর অপ্টিমাইজেশন বৈশিষ্ট্যগুলি ফাইল সংকোচন এবং বুদ্ধিমান ডেটা লেআউটের মাধ্যমে স্টোরেজ খরচ নিয়ন্ত্রণে সহায়তা করে।

Databricks খরচ অপ্টিমাইজেশন কৌশল

অপ্টিমাইজেশন তাত্ত্বিক সেরা অভ্যাসগুলি থেকে এমন কৌশলগুলিতে চলে যা আসলে মাসিক বিল কমিয়ে দেয়। এখানে যা স্কেলে কাজ করে।

ওয়ার্কলোড প্যাটার্নের সাথে কম্পিউট টাইপ মেলান

স্বয়ংক্রিয় পাইপলাইন এবং নির্ধারিত কাজের জন্য Jobs কম্পিউট ব্যবহার করুন। শুধুমাত্র ইন্টারেক্টিভ উন্নয়ন এবং অনুসন্ধানের জন্য All-Purpose ক্লাস্টারগুলি সংরক্ষিত রাখুন।

ফল্ট-টলারেন্ট ওয়ার্কলোডগুলির জন্য স্পট ইনস্ট্যান্স সহ জব ক্লাস্টারগুলি ব্যবহার করা VM খরচ 50% পর্যন্ত কমাতে পারে, DBU চার্জ স্থির থাকে। স্পট ইনস্ট্যান্স সম্ভাব্য বাধাগুলির বিনিময়ে ছাড়যুক্ত পরিকাঠামো মূল্য নির্ধারণ সরবরাহ করে।

আগ্রাসী স্বয়ংক্রিয়-বন্ধ প্রয়োগ করুন

5-10 মিনিটের নিষ্ক্রিয়তার জন্য All-Purpose ক্লাস্টারগুলির জন্য স্বয়ংক্রিয়-বন্ধ কনফিগার করুন। নিষ্ক্রিয় থাকা উন্নয়ন ক্লাস্টারগুলি কোনও মূল্য তৈরি না করে DBU ব্যবহার করে।

ওয়ার্কলোড শেষ হওয়ার পরে অবিলম্বে বন্ধ হওয়া উচিত প্রোডাকশন Jobs ক্লাস্টারগুলি। Databricks প্রতি সেকেন্ডে চার্জ করে—কাজ শেষ হওয়ার পরে অবিলম্বে বন্ধ হওয়া ক্লাস্টারগুলি অপ্রয়োজনীয় চার্জ এড়িয়ে চলে।

ক্লাস্টার সাইজিং অপ্টিমাইজ করুন

বড় ইনস্ট্যান্সগুলির দিকে ডিফল্ট না করে ওয়ার্কলোড প্রয়োজনীয়তার উপর ভিত্তি করে ক্লাস্টারগুলির সঠিক আকার নির্ধারণ করুন। ছোট কনফিগারেশন দিয়ে শুরু করুন এবং শুধুমাত্র যখন কর্মক্ষমতা মেট্রিক্স বাধা নির্দেশ করে তখন আপস্কেল করুন।

বিলযোগ্য ব্যবহার সিস্টেম টেবিলের মাধ্যমে ক্লাস্টার মেট্রিক্স নিরীক্ষণ করুন। ক্রমাগত কম CPU বা মেমরি ব্যবহার দেখানোর ক্লাস্টারগুলি অতিরিক্ত-আকারের সুযোগ নির্দেশ করে।

Photon এক্সিলারেশন সক্ষম করুন

Photon হল একটি বিল্ট-ইন ভেক্টর কোয়েরি ইঞ্জিন যা SQL এবং DataFrame ক্রিয়াকলাপের জন্য কোয়েরি এক্সিকিউশনকে দ্রুত করে। দ্রুত এক্সিকিউশন মানে DBU হার একই হওয়া সত্ত্বেও কম DBU-ঘণ্টা ব্যবহার করা হয়।

তবুও, Photon SQL এবং DataFrame ক্রিয়াকলাপগুলির জন্য সেরা কাজ করে। জটিল Python UDFs বা কাস্টম কোড সীমিত এক্সিলারেশন দেখতে পারে।

Serverless ব্যবহার করুন যখন উপলব্ধ

Serverless কম্পিউট DBU হার সাধারণত Jobs কম্পিউট DBU হারের চেয়ে বেশি (যেমন, $0.35 – $0.40 প্রতি DBU) ($0.07 – $0.15 প্রতি DBU), যদিও সেগুলি পরিকাঠামো খরচ দূর করে।

Serverless ক্লাস্টার ব্যবস্থাপনা ওভারহেড দূর করে এবং স্বয়ংক্রিয়ভাবে পরিকাঠামো ব্যবহার অপ্টিমাইজ করে—উভয়ই সরাসরি DBU সঞ্চয়ের বাইরে অপারেশনাল খরচ হ্রাস করে।

ফল্ট-টলারেন্ট ওয়ার্কলোডগুলির জন্য স্পট ইনস্ট্যান্স ব্যবহার করুন

AWS Spot Instances এবং Azure Spot VMs অন-ডিমান্ড মূল্য নির্ধারণের তুলনায় 60-90% ছাড়ে পরিকাঠামো সরবরাহ করে। বিল্ট-ইন রিট্রাই লজিক সহ Jobs কম্পিউট ওয়ার্কলোডগুলি পরিকাঠামো খরচ উল্লেখযোগ্যভাবে কমাতে স্পট ইনস্ট্যান্স ব্যবহার করতে পারে।

DBU চার্জগুলি স্থির থাকে—স্পট ইনস্ট্যান্সগুলি শুধুমাত্র পরিকাঠামো উপাদানকে ছাড় দেয়। কিন্তু সেই পরিকাঠামো অনেক ওয়ার্কলোডের জন্য মোট খরচের 40-60% উপস্থাপন করে।

সিস্টেম টেবিলের মাধ্যমে খরচ নিরীক্ষণ করুন

বিলযোগ্য ব্যবহার সিস্টেম টেবিল (system.billing.usage) সমস্ত ওয়ার্কস্পেস অঞ্চল জুড়ে ব্যবহারের ডেটা কেন্দ্রীভূত করে। অফিসিয়াল ডকুমেন্টেশন অনুসারে, এই টেবিলটি DBU ব্যবহার, SKU বিবরণ এবং ব্যবহারের মেটাডেটা সহ নিয়মিত আপডেট হয়।

নমুনা কোয়েরিগুলি খরচ চালকদের সনাক্ত করতে পারে:

  • সর্বোচ্চ DBU-ব্যবহারকারী ওয়ার্কস্পেস এবং ক্লাস্টার
  • অতিরিক্ত নিষ্ক্রিয় সময় সহ All-Purpose ক্লাস্টার
  • অতিরিক্ত বড় ইনস্ট্যান্সে চলমান ওয়ার্কলোড
  • তদন্তের প্রয়োজন এমন অপ্রত্যাশিত ব্যবহারের বৃদ্ধি

মাসিক চালান পর্যালোচনা করার পরে—কার্যকরভাবে খরচ নিরীক্ষণ করা—প্রোঅ্যাকটিভ অপ্টিমাইজেশন সক্ষম করে।

Databricks মূল্য নির্ধারণের চ্যালেঞ্জ এবং সমস্যা

Databricks মূল্য নির্ধারণের বেশ কয়েকটি দিক দলগুলিকে অপ্রস্তুত করে। সচেতনতা ব্যয়বহুল বিস্ময় এড়াতে সাহায্য করে।

DBU এবং পরিকাঠামো খরচ আলাদাভাবে বিল হয়

ক্লাউড প্রদানকারীরা পরিকাঠামো চার্জ (VMs, স্টোরেজ, নেটওয়ার্কিং) বিল করে যখন Databricks DBU ব্যবহার বিল করে। মোট মালিকানা খরচ বোঝার জন্য দলগুলির উভয়ই মেলানো দরকার।

Databricks-এর Cloud Infra Cost Field Solution অনুসারে, সংস্থাগুলি সমন্বিত TCO দৃশ্যের জন্য Databricks ব্যবহার ডেটার সাথে ক্লাউড পরিকাঠামো খরচগুলিকে ক্লাস্টার এবং ট্যাগ স্তরে যুক্ত করতে পারে।

Azure এবং AWS/GCP-এর মধ্যে স্তরের বিভ্রান্তি

Azure-এর Premium স্তর AWS এবং GCP-তে Enterprise স্তরের সাথে সামঞ্জস্যপূর্ণ। ডকুমেন্টেশন কখনও কখনও সমতুল্য কার্যকারিতার জন্য ভিন্ন স্তরের নাম উল্লেখ করে, ক্রস-ক্লাউড তুলনার সময় বিভ্রান্তি তৈরি করে।

নামের সমতা অনুমান করার পরিবর্তে সর্বদা স্তরের বৈশিষ্ট্য সেট যাচাই করুন।

সূক্ষ্ম-গ্রেইনড অ্যাক্সেস কন্ট্রোলে লুকানো খরচ

ডেটা ফিল্টারিংয়ের জন্য ডেডিকেটেড কম্পিউটে সূক্ষ্ম-গ্রেইনড অ্যাক্সেস কন্ট্রোল (row filters, column masks, dynamic views) এখন serverless কম্পিউট ব্যবহার করে। এর জন্য ওয়ার্কস্পেস-স্তরের serverless সক্রিয়করণ প্রয়োজন।

Databricks Runtime 15.4 LTS বা তার উপরে, ডেডিকেটেড কম্পিউটে সূক্ষ্ম-গ্রেইনড অ্যাক্সেস কন্ট্রোল প্রয়োগ ডেটা ফিল্টারিংয়ের জন্য serverless কম্পিউট ব্যবহার করে—প্রাথমিক ওয়ার্কলোডগুলি ডেডিকেটেড ক্লাস্টারে চললেও serverless চার্জ যোগ করে।

স্বয়ংক্রিয় ক্লাস্টার আপডেটগুলি সম্মতির খরচ যুক্ত করে

নিরাপত্তা প্যাচিংয়ের জন্য স্বয়ংক্রিয় ক্লাস্টার আপডেটগুলি সক্ষম করা স্বয়ংক্রিয়ভাবে Enhanced Security and Compliance অ্যাড-অন চার্জ যুক্ত করে। এটি ক্লাসিক কম্পিউট প্লেন রিসোর্সের জন্য প্রযোজ্য কিন্তু serverless-এর জন্য নয়।

বৈশিষ্ট্যটি স্বয়ংক্রিয় প্যাচিংয়ের মাধ্যমে মূল্য সরবরাহ করে, তবে দলগুলি বাজেটগুলিতে অ্যাড-অন খরচ অন্তর্ভুক্ত করা উচিত।

Model Serving GPU খরচ দ্রুত বৃদ্ধি পায়

GPU সার্ভিং কনফিগারেশনের উপর নির্ভর করে প্রতি ঘন্টায় 10-628 DBU ব্যবহার করে। একটি Large 8X 80GB ইনস্ট্যান্স (A100 80GB × 8 GPU) একটানাভাবে প্রতি ঘন্টায় 628 DBU খরচ করে—GPU ইনস্ট্যান্সগুলির জন্য পরিকাঠামো চার্জ যুক্ত করুন।

প্রতি DBU $0.15 ব্যবহার করে একটি উদাহরণ হিসাবে, এটি কেবল DBU চার্জে প্রতি ঘন্টায় প্রায় $94.20, বা অবিচ্ছিন্ন অপারেশনের জন্য মাসিক প্রায় $68,200 হবে। পরিকাঠামো খরচ যোগ করুন এবং মোট উল্লেখযোগ্য হয়ে ওঠে।

Prioritized cost optimization strategies ranked by implementation effort and potential savings impact

মাসিক Databricks খরচ অনুমান করা

সঠিক খরচ অনুমানের জন্য ডেটা ওয়ার্কলোডের "3 Vs": Volume, Velocity, এবং Variety বোঝা প্রয়োজন।

Volume: বেশি ডেটার জন্য বেশি স্টোরেজ এবং এটি প্রক্রিয়া করার জন্য বেশি কম্পিউট প্রয়োজন। টেরাবাইট-স্কেল ডেটা লেকগুলি প্রসেস করা দলগুলি টেরাবাইটগুলির সাথে কাজ করা দলগুলির চেয়ে আনুপাতিকভাবে বেশি DBU ব্যবহার করে।

Velocity: রিয়েল-টাইম স্ট্রিমিং মানে সর্বদা-অন ক্লাস্টার। ব্যাচ প্রসেসিং পর্যায়ক্রমে ক্লাস্টারগুলি চালায়, মোট আপটাইম এবং সংশ্লিষ্ট চার্জ হ্রাস করে।

Variety: অসংগঠিত ডেটা (ছবি, ভিডিও, নথি) স্ট্রাকচার্ড SQL টেবিলের চেয়ে প্রক্রিয়া করতে বেশি খরচ হয়। জটিল রূপান্তরগুলি প্রতি রেকর্ড আরও বেশি কম্পিউট রিসোর্স ব্যবহার করে।

একটি ব্যবহারিক অনুমান পদ্ধতি:

  1. ওয়ার্কলোড টাইপ এবং প্রত্যাশিত মাসিক রানটাইম ঘন্টা সনাক্ত করুন
  2. উপযুক্ত কম্পিউট টাইপ নির্বাচন করুন (Jobs বনাম All-Purpose বনাম SQL)
  3. গভর্ন্যান্স প্রয়োজনীয়তার উপর ভিত্তি করে সাবস্ক্রিপশন স্তর নির্বাচন করুন
  4. নির্দিষ্ট ইনস্ট্যান্স প্রকার এবং ক্লাস্টার কনফিগারেশন সহ মূল্য নির্ধারণ ক্যালকুলেটর ব্যবহার করুন
  5. উন্নয়ন, পরীক্ষা এবং অপ্রত্যাশিত ব্যবহারের জন্য 20-30% বাফার যোগ করুন

বিদ্যমান Spark ওয়ার্কলোড সহ সংস্থাগুলি প্রক্রিয়াকৃত ডেটা ভলিউমের প্রতি DBU ব্যবহারের বেঞ্চমার্ক করতে পারে, তারপরে প্রত্যাশিত Databricks ব্যবহারের জন্য এক্সট্রাপোলেট করতে পারে। অন-প্রিমিসেস Hadoop থেকে মাইগ্রেট করা দলগুলি Databricks খরচ অপ্টিমাইজ করার সময় লার্নিং কার্ভ সময়কে অন্তর্ভুক্ত করা উচিত।

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

Databricks প্রতি মাসে কত খরচ হয়?

মাসিক খরচ ওয়ার্কলোড ভলিউম, কম্পিউট টাইপ, সাবস্ক্রিপশন স্তর এবং ক্লাউড প্রদানকারীর উপর নির্ভর করে ব্যাপকভাবে পরিবর্তিত হয়। ছোট দলগুলি যারা উন্নয়ন ওয়ার্কলোড চালায় তারা মাসিক শত শত ডলার খরচ করতে পারে, যখন এন্টারপ্রাইজগুলি যারা পেটাবাইট-স্কেল ডেটা প্রসেস করে তারা ছয়-অঙ্কের বিল তৈরি করতে পারে। অফিসিয়াল ওয়েবসাইট অনুসারে, Databricks কোনও আপ-ফ্রন্ট খরচ ছাড়াই পে-অ্যাজ-ইউ-গো মূল্য নির্ধারণ অফার করে—প্রকৃত ব্যয় ব্যবহারের উপর নির্ভর করে। সঠিক অনুমানের জন্য নির্দিষ্ট ওয়ার্কলোড প্যারামিটার সহ মূল্য নির্ধারণ ক্যালকুলেটর ব্যবহার করুন।

DBU কি এবং এটি কিভাবে গণনা করা হয়?

Databricks Unit (DBU) স্বাভাবিককৃত কম্পিউট ক্ষমতা পরিমাপ করে। DBU ব্যবহার ইনস্ট্যান্স টাইপ স্পেসিফিকেশন (vCPUs, মেমরি) এবং ওয়ার্কলোড টাইপের উপর নির্ভর করে। উদাহরণস্বরূপ, একটি m5.xlarge ইনস্ট্যান্স নির্দিষ্ট কম্পিউট প্রকারের জন্য প্রতি ঘন্টায় 0.690 DBU ব্যবহার করে। DBU চার্জ নির্ধারণের জন্য DBU ব্যবহারকে প্রতি-DBU মূল্যের (যা সাবস্ক্রিপশন স্তর এবং কম্পিউট টাইপের উপর নির্ভর করে) দ্বারা গুণ করা হয়, যা ক্লাউড পরিকাঠামো খরচ থেকে পৃথক।

AWS, Azure, বা GCP-তে Databricks কি সস্তা?

সমতুল্য স্তর এবং কম্পিউট প্রকারের জন্য DBU হার ক্লাউড প্রদানকারী জুড়ে তুলনামূলকভাবে সামঞ্জস্যপূর্ণ থাকে। পরিকাঠামো খরচ প্রতিটি প্রদানকারীর VM মূল্য নির্ধারণ এবং আঞ্চলিক উপলব্ধতার উপর নির্ভর করে ভিন্ন হয়। বিদ্যমান ক্লাউড প্রতিশ্রুতি, Reserved Instances, বা এন্টারপ্রাইজ চুক্তি সহ সংস্থাগুলি পরিকাঠামো সঞ্চয়ের জন্য সেগুলি ব্যবহার করতে পারে। সাধারণত বলতে গেলে, দলগুলি প্রান্তিক মূল্য নির্ধারণের ভিন্নতার চেয়ে বিদ্যমান পরিকাঠামো, ডেটা স্থানীয়তা এবং নেটিভ পরিষেবা ইন্টিগ্রেশনের উপর ভিত্তি করে ক্লাউড প্রদানকারী নির্বাচন করা উচিত।

Standard, Premium, এবং Enterprise স্তরের মধ্যে পার্থক্য কি?

Standard উন্নত গভর্ন্যান্স বৈশিষ্ট্য ছাড়াই মূল Databricks কার্যকারিতা সরবরাহ করে। Premium ভূমিকা-ভিত্তিক অ্যাক্সেস কন্ট্রোল (RBAC), অডিট লগ, উন্নত নিরাপত্তা এবং সহযোগিতার বৈশিষ্ট্য যুক্ত করে—সাধারণত প্রতি DBU 30-50% বেশি খরচ হয়। Enterprise সর্বাধিক গভর্ন্যান্স, কেন্দ্রীয় মেটাডেটা পরিচালনার জন্য Unity Catalog, এবং সর্বোচ্চ DBU হারে অগ্রাধিকার সমর্থন সরবরাহ করে। Azure-এ, Premium স্তর AWS এবং GCP-তে Enterprise স্তরের সাথে সামঞ্জস্যপূর্ণ।

আমি কিভাবে Databricks খরচ কমাতে পারি?

স্বয়ংক্রিয় ওয়ার্কলোডগুলির জন্য Jobs কম্পিউট ব্যবহার করুন (50-70% সঞ্চয়), উন্নয়ন ক্লাস্টারগুলির জন্য আগ্রাসী স্বয়ংক্রিয়-বন্ধ (5-10 মিনিট) সক্ষম করুন, যেখানে উপলব্ধ serverless কম্পিউটে স্থানান্তর করুন (~50% DBU হ্রাস), ফল্ট-টলারেন্ট ওয়ার্কলোডগুলির জন্য স্পট ইনস্ট্যান্স ব্যবহার করুন (60-90% পরিকাঠামো সঞ্চয়), দ্রুত এক্সিকিউশনের জন্য Photon এক্সিলারেশন সক্ষম করুন, প্রকৃত রিসোর্স ব্যবহারের উপর ভিত্তি করে ক্লাস্টারগুলির সঠিক আকার নির্ধারণ করুন, এবং অপ্টিমাইজেশন সুযোগগুলি সনাক্ত করতে system.billing.usage টেবিলের মাধ্যমে খরচ নিরীক্ষণ করুন।

Databricks কি স্টোরেজের জন্য আলাদাভাবে চার্জ করে?

Databricks কম্পিউটের (DBUs প্লাস পরিকাঠামো) জন্য চার্জ করে কিন্তু সরাসরি স্টোরেজের জন্য নয়। ক্লাউড প্রদানকারীর স্টোরেজে (S3, Blob Storage, Cloud Storage) সংরক্ষিত ডেটা AWS, Azure, বা GCP দ্বারা বিল করা স্ট্যান্ডার্ড ক্লাউড স্টোরেজ ফিগুলির সাথে যুক্ত হয়—সাধারণত স্ট্যান্ডার্ড স্তরগুলির জন্য মাসিক প্রতি GB প্রায় $0.023। Delta Lake অপ্টিমাইজেশন বৈশিষ্ট্যগুলি ফাইল সংকোচন এবং দক্ষ ডেটা লেআউটের মাধ্যমে স্টোরেজ খরচ নিয়ন্ত্রণে সহায়তা করে।

Databricks মূল্য নির্ধারণে লুকানো খরচ কি কি?

সাধারণ লুকানো খরচগুলির মধ্যে রয়েছে স্বয়ংক্রিয়-বন্ধ সক্রিয় হওয়ার আগে All-Purpose ক্লাস্টার নিষ্ক্রিয় সময়, উন্নয়ন এবং পরীক্ষা ওয়ার্কলোড স্পিলওভার, ডেডিকেটেড কম্পিউটে সূক্ষ্ম-গ্রেইনড অ্যাক্সেস কন্ট্রোলের জন্য serverless চার্জ (Runtime 15.4 LTS+), স্বয়ংক্রিয় ক্লাস্টার আপডেট সক্ষম করার সময় Enhanced Security and Compliance অ্যাড-অন, এবং ML মডেল স্থাপনার জন্য অপ্রত্যাশিতভাবে উচ্চ GPU সার্ভিং খরচ। সংস্থাগুলি এই আকস্মিকতাগুলির জন্য ক্যালকুলেটর অনুমানের উপরে 20-30% বাফার অন্তর্ভুক্ত করা উচিত।

উপসংহার: Databricks মূল্য নির্ধারণকে কাজ করানো

Databricks মূল্য নির্ধারণ জটিল মনে হয় কারণ এটি বাস্তব ওয়ার্কলোড বৈচিত্র্যকে প্রতিফলিত করে—ব্যাচ ETL, ইন্টারেক্টিভ অ্যানালিটিক্স, রিয়েল-টাইম স্ট্রিমিং, এবং GPU-অ্যাক্সিলারেটেড ML সার্ভিং—এগুলির প্রতিটির ভিন্ন রিসোর্স প্রোফাইল এবং খরচ কাঠামো রয়েছে।

কিন্তু কাঠামোটি পরিচালনাযোগ্য হয়ে ওঠে একবার উপাদানগুলি ক্লিক করলে: কম্পিউট টাইপ এবং স্তরের উপর ভিত্তি করে DBU ব্যবহার, প্লাস ক্লাউড প্রদানকারীদের থেকে পরিকাঠামো খরচ, প্রতি-সেকেন্ডে প্রকৃত ব্যবহারের জন্য বিল করা হয়।

খরচ নিয়ন্ত্রণ কম্পিউট টাইপগুলিকে ওয়ার্কলোড প্যাটার্নের সাথে মেলানো, আগ্রাসী স্বয়ংক্রিয়-বন্ধ প্রয়োগ করা, যেখানে উপলব্ধ serverless ব্যবহার করা এবং মাসিক চালানগুলিতে প্রতিক্রিয়া জানানোর পরিবর্তে অবিচ্ছিন্নভাবে ব্যবহার নিরীক্ষণ করার উপর নির্ভর করে।

অফিসিয়াল মূল্য নির্ধারণ ক্যালকুলেটর দিয়ে বেসলাইন অনুমান স্থাপন করুন। অনুমানগুলি যাচাই করার জন্য পাইলট ওয়ার্কলোডগুলি চালান। অপ্টিমাইজেশন সুযোগগুলি সনাক্ত করার জন্য বিলযোগ্য ব্যবহার ডেটা নিরীক্ষণ করুন। এবং মনে রাখবেন—লক্ষ্য কেবল পরমভাবে খরচ কমানো নয়, বরং প্রতি ডলার ব্যয়ের জন্য প্রদত্ত মূল্যের সর্বাধিকীকরণ করা।

খরচ অপ্টিমাইজ করতে প্রস্তুত? অফিসিয়াল ওয়েবসাইটে Databricks মূল্য নির্ধারণ ক্যালকুলেটর অ্যাক্সেস করুন, নিরীক্ষণের জন্য বিলযোগ্য ব্যবহার সিস্টেম টেবিল সক্ষম করুন, এবং প্রদত্ত ওয়ার্কলোড মূল্যের বিপরীতে প্রকৃত DBU ব্যবহারের বেঞ্চমার্কিং শুরু করুন।

AI Perks

AI Perks স্টার্টআপ এবং ডেভেলপারদের অর্থ সাশ্রয়ে সাহায্য করতে AI টুল, ক্লাউড সার্ভিস এবং API-তে একচেটিয়া ছাড়, ক্রেডিট এবং ডিলে অ্যাক্সেস প্রদান করে।

AI Perks Cards

This content is for informational purposes only and may contain inaccuracies. Credit programs, amounts, and eligibility requirements change frequently. Always verify details directly with the provider.