دليل تسعير Databricks 2026: تكاليف DBU وتفصيلها

ملخص سريع: يستخدم تسعير Databricks نموذجًا قائمًا على الاستهلاك يجمع بين وحدات Databricks (DBUs) المشحونة لكل نوع حمل عمل مع تكاليف البنية التحتية السحابية الأساسية من AWS أو Azure أو GCP. تختلف معدلات DBU حسب مستوى الاشتراك (Standard، Premium، Enterprise) ونوع الحوسبة، حيث تبدأ حوسبة المهام (Jobs compute) بحوالي 0.15 دولار أمريكي لكل DBU وتكلف حوسبة الأغراض العامة (All-Purpose compute) 2-3 أضعاف ذلك. تعتمد التكاليف الشهرية الإجمالية على حجم حمل العمل وتكوين الكتلة وممارسات التحسين.

تسعير Databricks يحير الجميع تقريبًا. اسأل أي قائد هندسي أو مدير مالي سؤالاً بسيطًا - "كم سيكلفنا Databricks؟" - والإجابة دائمًا ما تكون نسخة من "يعتمد".

وهذا صحيح في الواقع. تعمل المنصة على هيكل مزدوج للتكلفة: وحدات Databricks (DBUs) لأعباء عمل الحوسبة بالإضافة إلى رسوم البنية التحتية من أي مزود سحابي يشغل المنصة. ما يجعل هذا صعبًا بشكل خاص هو أن معدلات DBU تتقلب بناءً على مستوى الاشتراك ونوع حمل العمل والمنطقة السحابية.

ولكن إليك الأمر - بمجرد أن تفهم الإطار، يصبح تسعير Databricks قابلاً للتنبؤ. يقدم هذا الدليل تفصيلاً دقيقًا لكيفية تراكم التكاليف، وما الذي يدفع استهلاك DBU، وأين يؤثر التحسين فعليًا على النتائج.

ما هو Databricks؟

Databricks هي منصة سحابية لتحليلات البيانات الضخمة وهندسة البيانات والتعاون في تعلم الآلة. مبنية على Apache Spark، تتكامل مع مزودي الخدمات السحابية الرئيسيين - AWS و Azure و Google Cloud Platform - وتقدم بيئة موحدة للعمل مع Delta Lake وغيرها من التقنيات مفتوحة المصدر.

تضع المنصة نفسها كحل "lakehouse"، حيث تجمع بين هيكل مستودع البيانات ومرونة بحيرة البيانات. تستخدم الفرق Databricks لخطوط أنابيب ETL، وتحليلات الوقت الفعلي، وتطوير نماذج تعلم الآلة، ونشر الذكاء الاصطناعي في الإنتاج.

ما يميز Databricks معماريًا هو الفصل بين الحوسبة والتخزين. تعيش البيانات في التخزين السحابي (S3 على AWS، Blob Storage على Azure، Cloud Storage على GCP) بينما تقوم كتل الحوسبة بمعالجة أعباء العمل عند الطلب. هذا الفصل يعني أن التكاليف تتوسع بشكل مستقل - ينمو التخزين خطيًا بينما تنطبق رسوم الحوسبة فقط عند تشغيل الكتل.

فهم نموذج تسعير Databricks

وفقًا للموقع الرسمي، تقدم Databricks نهج الدفع حسب الاستخدام مع عدم وجود تكاليف أولية. تتراكم الرسوم بدقة في الثانية، مما يعني أن الكتلة التي تعمل لمدة 10 دقائق تولد بالضبط 10 دقائق من الرسوم - وليس ساعة كاملة.

يتكون نموذج التسعير من مكونين:

• رسوم DBU: تقيس وحدات Databricks سعة الحوسبة المعيارية عبر أنواع مثيلات مختلفة وأنماط حمل العمل.
• تكاليف البنية التحتية السحابية: أسعار بالساعة للأجهزة الافتراضية والتخزين والشبكات من AWS أو Azure أو GCP.

تتراكم هذه الرسوم. تشغيل مثيل m5.xlarge على AWS يفرض كلاً من معدل DBU (0.690 DBU لكل ساعة لأنواع معينة من أعباء العمل) وتكلفة البنية التحتية (0.3795 دولار أمريكي لكل ساعة للجهاز الافتراضي نفسه).

حديث صريح: هذا الهيكل المزدوج يفاجئ الفرق. يركز الهندسيون على حجم الكتلة واختيار الجهاز الافتراضي بينما ترى الإدارة المالية فواتير مرتفعة بشكل غير متوقع لأن مضاعفات DBU لم يتم أخذها في الاعتبار في الإسقاطات.

ما هي وحدات Databricks (DBUs)؟

تمثل DBUs وحدة قدرة المعالجة. تفرض Databricks معدلات DBU مختلفة اعتمادًا على:

• نوع حمل العمل: حوسبة المهام، حوسبة الأغراض العامة، مستودعات SQL، بدون خادم، وخدمة النماذج كلها لها معدلات مختلفة.
• مستوى الاشتراك: أسعار المستويات Standard و Premium و Enterprise لوحدات DBU بشكل مختلف.
• تكوين المثيل: تستهلك المثيلات الأكبر مع المزيد من وحدات المعالجة المركزية (vCPUs) والذاكرة وحدات DBU أكثر لكل ساعة.

يعتمد عدد وحدات DBU المستهلكة في الساعة على مواصفات المثيل. وفقًا للبيانات المتاحة، فإن مثيل m5.xlarge (4 vCPUs، 16 جيجابايت من الذاكرة) له معدل DBU يبلغ 0.690 لأنواع معينة من الحوسبة.

لذلك، إذا تم تشغيل هذا المثيل لمدة ساعة واحدة على حوسبة المهام في مستوى Standard، فإن الحساب يبدو كالتالي:

• استهلاك DBU: 0.690 DBU
• سعر DBU (مثال): 0.15 دولار أمريكي لكل DBU
• تكلفة DBU: 0.690 × 0.15 دولار أمريكي = 0.1035 دولار أمريكي
• تكلفة البنية التحتية: 0.3795 دولار أمريكي
• التكلفة الإجمالية بالساعة: 0.483 دولار أمريكي

ولكن انتظر. قم بتبديل نفس الكتلة إلى حوسبة الأغراض العامة وقفز سعر DBU بشكل كبير - غالبًا 2-3 أضعاف - لأن أعباء العمل التفاعلية تتضمن بيئات المفكرة وميزات التعاون.

شرح مستويات اشتراك Databricks

تقدم Databricks ثلاثة مستويات اشتراك رئيسية، لكل منها أسعار DBU ومجموعات ميزات مختلفة. تحدد هذه المستويات ليس فقط التكلفة ولكن أيضًا الوصول إلى قدرات الحوكمة والأمان والتعاون.

مستوى Standard

يوفر المستوى الأساسي وظائف Databricks الأساسية بدون ميزات المؤسسات المتقدمة. مستوى Standard مناسب للفرق التي تركز بشكل بحت على معالجة البيانات دون متطلبات حوكمة معقدة.

على Azure، تكلف حوسبة المهام في مستوى Standard 0.15 دولار أمريكي لكل DBU (بيانات منطقة شرق الولايات المتحدة). يمثل هذا المعدل الأساسي لـ DBU قبل المضاعفات لأنواع الحوسبة أو المستويات الأخرى.

يفتقر مستوى Standard إلى التحكم في الوصول المستند إلى الدور (RBAC)، وتسجيل التدقيق، وميزات الأمان المتقدمة - وهي مقبولة لبيئات التطوير ولكنها محدودة لأعباء العمل الإنتاجية التي تتعامل مع بيانات حساسة.

مستوى Premium (Enterprise على AWS/GCP)

يضيف Premium قدرات مصممة لتوسيع نطاق الفرق وتحسين الكفاءة التشغيلية. تشمل الميزات الرئيسية:

• التحكم في الوصول المستند إلى الدور (RBAC) للأذونات الدقيقة
• سجلات التدقيق التي تتعقب الوصول والإجراءات عبر مساحات العمل
• ميزات الأمان والامتثال المحسنة
• دفاتر الملاحظات التعاونية مع الإصدارات

تزداد معدلات DBU في مستوى Premium مقارنة بمستوى Standard. يختلف المضاعف الدقيق حسب نوع حمل العمل، ولكن تكلفة مستوى Premium لكل DBU أعلى من مستوى Standard (يختلف المضاعف الدقيق حسب نوع حمل العمل).

على Azure، يتوافق مستوى Premium مع ما تسميه AWS و GCP مستوى Enterprise - وهو أمر مهم عند مقارنة التسعير عبر السحابات.

مستوى Enterprise

يوفر مستوى Enterprise أقصى قدر من الحوكمة والامتثال والدعم لنشر الإنتاج على نطاق واسع. تشمل الميزات الإضافية بخلاف Premium:

• حوكمة بيانات متقدمة وتتبع النسب
• Unity Catalog لإدارة البيانات الوصفية المركزية
• تحسينات الأداء المحسنة
• دعم الأولوية والتزامات اتفاقية مستوى الخدمة (SLA)

يمثل Enterprise أعلى مستوى تسعير لـ DBU. عادةً ما تعمل الفرق التي تتعامل مع البيانات المنظمة أو تتطلب ضوابط وصول متطورة في هذا المستوى على الرغم من علاوة التكلفة.

لا تدفع أكثر مقابل أدوات البيانات مقدمًا

هل تبحث عن أسعار Databricks؟ التحدي نادرًا ما يكون أداة واحدة فقط - تتراكم التكاليف عبر الحوسبة والتخزين وأدوات الذكاء الاصطناعي الداعمة.

يساعد Get AI Perks في تقليل هذا الإنفاق الإجمالي قبل الالتزام. يجمع الائتمانات والخصومات وعروض الشركاء عبر أدوات الذكاء الاصطناعي والسحابة وأدوات المطورين، حتى تتمكن من الوصول إلى صفقات متفرقة عادةً عبر برامج مختلفة.

مع Get AI Perks، يمكنك:

• الوصول إلى ائتمانات لأدوات البنية التحتية للذكاء الاصطناعي والبيانات
• تقليل التكلفة الإجمالية عبر المكدس الخاص بك
• اختبار الأدوات قبل الالتزام بالأسعار الكاملة

إذا كنت تقارن أسعار Databricks، فابدأ بتقليل تكاليفك الإجمالية - تحقق من Get AI Perks.

أنواع الحوسبة Databricks وتسعيرها

يؤدي اختيار نوع الحوسبة إلى تباين كبير في التكلفة. كل نمط حمل عمل له تسعير مختلف محسّن لحالته الاستخدامية.

حوسبة المهام (Jobs Compute)

تدعم حوسبة المهام تدفقات عمل ETL الآلية والمهام المجدولة. تبدأ هذه الكتل، وتنفيذ أعباء العمل، وتنتهي تلقائيًا.

ميزة التسعير: أقل معدلات DBU (أقل بنسبة 30-50٪ من الأغراض العامة). بدءًا من 0.15 دولار أمريكي لكل DBU في مستوى Standard (Azure US East)، توفر حوسبة المهام الخيار الأكثر اقتصادية لأعباء العمل المتوقعة.

يجب أن تستخدم الفرق التي تدير خطوط أنابيب البيانات المنتظمة حوسبة المهام بشكل افتراضي. تتضاعف وفورات التكلفة بسرعة على نطاق واسع - يمكن أن تكلف إدارة نفس حمل العمل على حوسبة الأغراض العامة 2-3 أضعاف مع عدم وجود فائدة وظيفية.

حوسبة الأغراض العامة (All-Purpose Compute)

تدعم كتل الأغراض العامة التحليلات التفاعلية وتطوير المفكرة والاستكشاف التعاوني. تستمر هذه الكتل أثناء عمل المستخدمين بنشاط، مما يتيح تنفيذ استعلامات في الوقت الفعلي والتطوير التكراري.

المفاضلة: معدلات DBU أعلى بشكل ملحوظ. تتضمن حوسبة الأغراض العامة بيئات المفكرة وميزات التعاون وقدرات تفاعلية تبرر أسعار علاوة.

خطأ شائع: ترك كتل الأغراض العامة قيد التشغيل دون استخدام. على عكس حوسبة المهام التي تنتهي بعد اكتمال المهمة، تستمر كتل الأغراض العامة في تكبد الرسوم حتى يتم إيقافها يدويًا أو إنهاؤها تلقائيًا. يمنع الإيقاف التلقائي العدواني (5-10 دقائق من عدم النشاط) التكاليف الجامحة.

مستودعات SQL (SQL Warehouses)

تتعامل مستودعات SQL (المعروفة سابقًا باسم نقاط نهاية SQL) مع استعلامات BI وأعباء عمل التحليلات. توجد ثلاثة أنواع:

• بدون خادم (Serverless): أسرع بدء تشغيل، أعلى أداء، بنية تحتية مدارة.
• Pro: تسريع Photon، تحسين Predictive IO.
• Classic: إمكانيات SQL أساسية، تكلفة أقل.

توفر مستودعات SQL بدون خادم أداءً فائقًا مع محرك Photon و Predictive IO وإدارة أعباء العمل الذكية - ولكن بأسعار DBU مرتفعة. توفر مستودعات Pro تقنية Photon و Predictive IO بدون بنية تحتية كاملة بدون خادم. توفر مستودعات Classic وظائف أساسية بتكلفة مخفضة.

بالنسبة لفرق BI التي تقوم بتشغيل استعلامات مخصصة بشكل متكرر، غالبًا ما تبرر تحسينات أداء Serverless التكلفة من خلال تنفيذ استعلام أسرع (إجمالي ساعات DBU أقل على الرغم من ارتفاع معدلات DBU).

خدمة النماذج (Model Serving)

تنشر خدمة النماذج نماذج تعلم الآلة كواجهات برمجة تطبيقات في الوقت الفعلي. تعتمد الأسعار على ما إذا كانت عمليات النشر تستخدم وحدات المعالجة المركزية (CPU) أو وحدات معالجة الرسومات (GPU).

وفقًا لبيانات التسعير الرسمية، تختلف معدلات DBU لخدمة GPU حسب حجم المثيل:

تستهلك خدمة GPU استهلاك DBU أعلى بكثير من الحوسبة القياسية. تحتاج الفرق التي تنشر نماذج تعلم الآلة إلى توقعات دقيقة لحجم الزيارات - يؤدي التقليل من حجم حجم الاستعلام إلى تجاوز التكاليف بشكل خطير بهذه المعدلات.

حوسبة بدون خادم (Serverless Compute)

تلغي الحوسبة بدون خادم إدارة الكتل تمامًا. تدير Databricks توفير البنية التحتية وتوسيع نطاقها وتحسينها تلقائيًا.

ميزة التسعير: حوالي 50٪ من معدلات DBU لحوسبة المهام لأعباء العمل المكافئة، وفقًا للبيانات المتاحة. يعكس الانخفاض مكاسب كفاءة البنية التحتية من الموارد المشتركة والمحسّنة.

الشرط: تتطلب الحوسبة بدون خادم تمكينًا على مستوى مساحة العمل وغير متوفرة في جميع المناطق. بالنسبة لأعباء العمل المدعومة، غالبًا ما تقدم الحوسبة بدون خادم أقل تكلفة إجمالية من خلال معدلات DBU المنخفضة وعدم وجود تكاليف إدارية.

تسعير Databricks عبر مزودي الخدمات السحابية

تعمل Databricks على AWS و Azure و Google Cloud Platform مع تكاملات سحابية محددة واختلافات في التسعير. يظل إطار عمل DBU الأساسي ثابتًا، ولكن تكاليف البنية التحتية والتوافر الإقليمي يختلفان.

تسعير Databricks على AWS

تتكامل Databricks على AWS مع S3 للتخزين، EC2 للحوسبة، و IAM للأمان. تتبع رسوم البنية التحتية تسعير AWS EC2 القياسي لأنواع المثيلات المحددة.

على سبيل المثال، تكلف مثيلات m5.xlarge 0.3795 دولار أمريكي للساعة في مناطق شرق الولايات المتحدة (تسعير عند الطلب). أضف مضاعف DBU بناءً على نوع حمل العمل ومستوى الاشتراك لحساب التكلفة الإجمالية.

تقدم AWS خطط توفير (Savings Plans) ومثيلات محجوزة (Reserved Instances) للبنية التحتية لـ EC2، مما قد يقلل من تكاليف الأجهزة الافتراضية بنسبة 30-70٪. ومع ذلك، تنطبق هذه الالتزامات فقط على البنية التحتية - وليس على رسوم DBU.

تسعير Databricks على Azure

توجد Databricks على Azure كخدمة أولية على Microsoft Azure، وتقدم فوترة ودعمًا موحدًا مباشرة من Microsoft. يتوافق مستوى Premium على Azure مع مستوى Enterprise على AWS و GCP.

وفقًا لمصادر رسمية، تكلف حوسبة المهام في مستوى Standard لـ Azure Databricks 0.15 دولار أمريكي لكل DBU في منطقة شرق الولايات المتحدة. تتبع تكاليف البنية التحتية تسعير Azure VM لعائلات المثيلات المحددة.

تقدم Azure مزايا فريدة للمؤسسات الملتزمة بالفعل بأنظمة Microsoft - توحد الفوترة رسوم Databricks مع خدمات Azure الأخرى، ويسهل التكامل مع Azure Active Directory إدارة الهوية.

تسعير Databricks على Google Cloud Platform

تتكامل Databricks على GCP مع Cloud Storage و Compute Engine و GCP IAM. يتبع النظام الأساسي نفس إطار عمل DBU ولكنه يستفيد من أنواع المثيلات والبنية التحتية الإقليمية لـ GCP.

عادةً ما تقدم GCP تكوينات مثيلات مختلفة قليلاً عن AWS أو Azure، مما يؤثر على كل من تكاليف البنية التحتية ومعدلات DBU. يجب على الفرق التحقق من التسعير باستخدام حاسبة تسعير Databricks لمناطق GCP المحددة.

مقارنة التسعير عبر السحابات

تظل معدلات DBU ثابتة نسبيًا عبر السحابات للمستويات وأنواع الحوسبة المكافئة. يأتي الاختلاف الرئيسي في التكلفة من اختلافات تسعير البنية التحتية بين AWS و Azure و GCP.

بشكل عام، يجب على الفرق اختيار مزودي الخدمات السحابية بناءً على:

• التزامات البنية التحتية الحالية واتفاقيات المؤسسات
• متطلبات محلية البيانات واحتياجات الامتثال
• تكاملات الخدمات الأصلية (S3 مقابل Blob Storage مقابل Cloud Storage)
• التوافر الإقليمي لميزات Databricks المطلوبة

يؤثر اختيار مزود الخدمة السحابية على تكاليف البنية التحتية أكثر من رسوم DBU. يمكن للمؤسسة التي لديها مثيلات AWS Reserved Instances أو التزامات Azure الحالية الاستفادة منها لتحقيق وفورات كبيرة في البنية التحتية.

استخدام حاسبة تسعير Databricks

تساعد حاسبة تسعير Databricks الرسمية في تقدير التكاليف الشهرية بناءً على مواصفات حمل العمل. تقع الحاسبة في صفحة التسعير الرسمية، وتتطلب مدخلات مثل:

• مزود الخدمة السحابية (AWS، Azure، أو GCP)
• اختيار المنطقة
• مستوى الاشتراك (Standard، Premium، Enterprise)
• نوع الحوسبة (Jobs، All-Purpose، SQL، Serverless)
• نوع المثيل وحجم الكتلة
• ساعات التشغيل المتوقعة شهريًا

تُخرج الحاسبة تقديرات استهلاك DBU والتكاليف الشهرية الإجمالية التي تجمع بين رسوم DBU ورسوم البنية التحتية.

الآن، هذا هو الجزء المثير للاهتمام. تقدم الحاسبة تقديرات - تعتمد التكاليف الفعلية على أنماط الاستخدام الفعلية. غالبًا ما تقلل الفرق من تقدير:

• وقت الخمول في الكتلة قبل أن يبدأ الإنهاء التلقائي
• حجم عمل التطوير والاختبار
• الفيضانات من التطوير التفاعلي إلى كتل الإنتاج

أفضل ممارسة: قم بتشغيل أحمال عمل تجريبية ومراقبة الاستخدام الفعلي القابل للفوترة من خلال جداول النظام قبل الالتزام بنشر واسع النطاق. يوفر جدول استخدام الفوترة (system.billing.usage) بيانات استهلاك دقيقة لتحليل التكلفة.

ما الذي يدفع تكاليف Databricks؟

يساعد فهم محركات التكلفة في استهداف جهود التحسين بفعالية. تتراكم عدة عوامل لتحديد الإنفاق الشهري.

حجم البيانات وسرعة حمل العمل

المزيد من البيانات يتطلب المزيد من الحوسبة لمعالجتها. تستهلك وظائف الدُفعات التي تعالج تيرابايت يوميًا ساعات DBU أكثر بكثير من خطوط الأنابيب التي تتعامل مع جيجابايت.

السرعة مهمة أيضًا. تتطلب أعباء عمل البث في الوقت الفعلي كتلًا قيد التشغيل دائمًا، مما يؤدي إلى تراكم الرسوم بشكل مستمر. تشغيل معالجة الدُفعات كتلًا فقط أثناء النوافذ النشطة، مما يقلل من إجمالي وقت التشغيل.

تكوين الكتلة واختيار المثيل

المثيلات الأكبر ذات وحدات vCPUs والذاكرة الأكبر تحمل معدلات DBU وتكاليف بنية تحتية أعلى. تكلف مثيلات m5.8xlarge (32 vCPU، 128 جيجابايت) أكثر بكثير لكل ساعة من مثيلات m5.xlarge (4 vCPU، 16 جيجابايت).

تحدي التحسين: تدرج الكتل الكبيرة الحجم المال من خلال السعة غير الضرورية، بينما تستغرق الكتل الصغيرة الحجم وقتًا أطول لإكمال أعباء العمل - مما قد يكلف أكثر في إجمالي ساعات DBU.

توزيع أنواع أعباء العمل

يحدد مزيج أنواع الحوسبة متوسط معدلات DBU. تدفع المؤسسات التي تشغل بشكل أساسي حوسبة المهام أقل من تلك التي تستخدم كتل الأغراض العامة بكثافة.

عادةً ما تكون أعباء عمل الهندسة (ETL) هي الأقل تكلفة، بينما يمكن أن تكلف أعباء عمل علوم البيانات (تطوير تعلم الآلة) 3-4 أضعاف بسبب استخدام كتل الأغراض العامة بسبب استخدام كتل الأغراض العامة ودورات التجريب الأطول.

وقت خمول الكتلة والإنهاء التلقائي

تستمر كتل الأغراض العامة في تكبد الرسوم أثناء الخمول ما لم توقفها إعدادات الإنهاء التلقائي. تتقاضى الكتلة التي تُترك قيد التشغيل طوال الليل 8-12 ساعة من الرسوم غير الضرورية.

قم بتعيين الإنهاء التلقائي إلى 5-10 دقائق لكتل التطوير لمنع التكاليف الجامحة. يجب أن تنتهي كتل المهام الإنتاجية فورًا بعد اكتمال المهمة.

تكاليف التخزين

على الرغم من أن تكاليف التخزين أقل لكل جيجابايت من الحوسبة، إلا أن بحيرات البيانات الكبيرة تتراكم عليها رسوم شهرية كبيرة. يختلف تسعير التخزين السحابي:

• يبدأ تسعير تخزين AWS S3 Standard من 0.023 دولار أمريكي لكل جيجابايت لأول 50 تيرابايت شهريًا في معظم المناطق، ولكنه 0.021 دولار أمريكي لكل جيجابايت في شرق الولايات المتحدة (شمال فيرجينيا).
• Azure Blob Storage: تسعير مماثل مع خيارات التدرج.
• GCP Cloud Storage: معدلات قابلة للمقارنة مع اختلافات إقليمية.

تساعد ميزات تحسين Delta Lake في التحكم في تكاليف التخزين من خلال ضغط الملفات وتخطيط البيانات الذكي.

استراتيجيات تحسين تكاليف Databricks

يتجاوز التحسين الممارسات النظرية إلى التقنيات التي تقلل الفواتير الشهرية فعليًا. إليك ما ينجح على نطاق واسع.

مطابقة أنواع الحوسبة بأنماط حمل العمل

استخدم حوسبة المهام لخطوط الأنابيب الآلية والمهام المجدولة. احتفظ بكتل الأغراض العامة حصريًا للتطوير التفاعلي والاستكشاف.

يمكن أن يقلل استخدام كتل المهام مع المثيلات الفورية (spot instances) من تكاليف الأجهزة الافتراضية بنسبة تصل إلى 50٪ لأعباء العمل المتسامحة مع الأخطاء، مع بقاء رسوم DBU ثابتة. توفر المثيلات الفورية أسعار بنية تحتية مخفضة مقابل الانقطاعات المحتملة.

تنفيذ الإنهاء التلقائي العدواني

قم بتكوين الإنهاء التلقائي لكتل الأغراض العامة عند 5-10 دقائق من عدم النشاط. تستهلك كتل التطوير الخاملة وحدات DBU دون توليد قيمة.

يجب أن تنتهي كتل المهام الإنتاجية فورًا بعد اكتمال حمل العمل. تفرض Databricks رسومًا بالثانية - تتجنب الكتل التي يتم إيقافها فورًا بعد تنفيذ المهمة الرسوم غير الضرورية.

تحسين حجم الكتلة

قم بضبط حجم الكتل بشكل صحيح بناءً على متطلبات حمل العمل بدلاً من استخدام المثيلات الكبيرة افتراضيًا. ابدأ بتكوينات أصغر وقم بالزيادة فقط عندما تشير مقاييس الأداء إلى اختناقات.

راقب مقاييس الكتلة من خلال جدول الاستخدام القابل للفوترة. تشير الكتل التي تظهر باستمرار استخدامًا منخفضًا لوحدة المعالجة المركزية (CPU) أو الذاكرة إلى فرص التوسع المفرط.

تمكين تسريع Photon

Photon هو محرك استعلام متجه مدمج يسرع تنفيذ الاستعلام لعمليات SQL و DataFrame. يعني التنفيذ الأسرع استهلاك ساعات DBU أقل على الرغم من معدلات DBU المتطابقة.

على الرغم من ذلك، تعمل Photon بشكل أفضل لعمليات SQL و DataFrame. قد ترى وظائف Python UDF المعقدة أو التعليمات البرمجية المخصصة تسريعًا محدودًا.

الاستفادة من الحوسبة بدون خادم عند توفرها

معدلات DBU للحوسبة بدون خادم أعلى بشكل عام (على سبيل المثال، 0.35 دولار أمريكي - 0.40 دولار أمريكي لكل DBU) من معدلات DBU لحوسبة المهام (0.07 دولار أمريكي - 0.15 دولار أمريكي لكل DBU)، على الرغم من أنها تلغي تكاليف البنية التحتية.

تلغي الحوسبة بدون خادم عبء إدارة الكتلة وتحسن استخدام البنية التحتية تلقائيًا - كلاهما يقلل من التكاليف التشغيلية بما يتجاوز وفورات DBU المباشرة.

استخدام المثيلات الفورية لأعباء العمل المتسامحة مع الأخطاء

توفر مثيلات AWS Spot Instances وأجهزة Azure Spot VMs البنية التحتية بخصومات تتراوح بين 60-90٪ مقارنة بالتسعير عند الطلب. يمكن لأعباء عمل حوسبة المهام مع منطق إعادة المحاولة المدمج الاستفادة من المثيلات الفورية لتقليل تكاليف البنية التحتية بشكل كبير.

تظل رسوم DBU ثابتة - تقوم المثيلات الفورية فقط بخصم مكون البنية التحتية. لكن هذه البنية التحتية تمثل 40-60٪ من التكاليف الإجمالية للعديد من أعباء العمل.

مراقبة التكاليف من خلال جداول النظام

يوحد جدول الاستخدام القابل للفوترة (system.billing.usage) بيانات الاستهلاك عبر جميع مناطق مساحة العمل. وفقًا للتوثيق الرسمي، يتم تحديث هذا الجدول بانتظام مع استهلاك DBU وتفاصيل SKU وبيانات التعريف للاستخدام.

يمكن لعينات الاستعلامات تحديد محركات التكلفة:

• أعلى مساحات العمل والكتل استهلاكًا لـ DBU
• كتل الأغراض العامة مع وقت خمول مفرط
• أعباء العمل التي تعمل على مثيلات كبيرة الحجم
• ارتفاعات الاستخدام غير المتوقعة التي تتطلب التحقيق

تتيح مراقبة التكاليف تشغيليًا - بدلاً من مراجعة الفواتير الشهرية بعد فوات الأوان - التحسين الاستباقي.

تحديات Databricks ونقاط الضعف في التسعير

عدة جوانب من تسعير Databricks تفاجئ الفرق. يساعد الوعي في تجنب المفاجآت المكلفة.

رسوم DBU ورسوم البنية التحتية تُفْوترة بشكل منفصل

يتم فوترة رسوم البنية التحتية (الأجهزة الافتراضية، التخزين، الشبكات) بواسطة مزودي الخدمات السحابية بينما تقوم Databricks بفوترة استهلاك DBU. تحتاج الفرق إلى تسوية كليهما لفهم التكلفة الإجمالية للملكية.

وفقًا لحقل حل تكاليف البنية التحتية السحابية من Databricks، يمكن للشركات الانضمام إلى بيانات استخدام Databricks مع تكاليف البنية التحتية السحابية لعرض TCO الموحد على مستوى الكتلة والعلامات.

ارتباك المستويات بين Azure و AWS/GCP

يتوافق مستوى Azure Premium مع مستوى Enterprise على AWS و GCP. تشير الوثائق أحيانًا إلى أسماء مستويات مختلفة لوظائف مكافئة، مما يخلق ارتباكًا أثناء المقارنات عبر السحابات.

تحقق دائمًا من مجموعات ميزات المستويات بدلاً من افتراض تطابق الأسماء.

تكاليف خفية في التحكم الدقيق في الوصول

تستفيد ضوابط الوصول الدقيقة (مرشحات الصفوف، أقنعة الأعمدة، طرق العرض الديناميكية) على الحوسبة المخصصة الآن من الحوسبة بدون خادم لتصفية البيانات. يتطلب هذا تمكين الحوسبة بدون خادم على مستوى مساحة العمل.

على Databricks Runtime 15.4 LTS أو أعلى، فإن فرض التحكم الدقيق في الوصول على الحوسبة المخصصة يستفيد من الحوسبة بدون خادم لتصفية البيانات - مما يضيف رسومًا بدون خادم حتى عندما تعمل أعباء العمل الأساسية على كتل مخصصة.

تحديثات الكتلة التلقائية تضيف تكاليف الامتثال

يؤدي تمكين تحديثات الكتلة التلقائية لتصحيحات الأمان إلى إضافة رسوم المكون الإضافي Enhanced Security and Compliance تلقائيًا. ينطبق هذا على موارد مستويات الحوسبة الكلاسيكية ولكن ليس على الحوسبة بدون خادم.

توفر الميزة قيمة من خلال التصحيحات الآلية، ولكن يجب على الفرق تضمين تكلفة المكون الإضافي في الميزانيات.

تكاليف GPU لخدمة النماذج تتزايد بسرعة

تستهلك خدمة GPU ما بين 10 إلى 628 DBU في الساعة اعتمادًا على التكوين. تشغيل مثيل Large 8X 80GB (A100 80GB × 8 GPU) بشكل مستمر يكلف 628 DBU في الساعة - بالإضافة إلى رسوم البنية التحتية لمثيلات GPU نفسها.

باستخدام 0.15 دولار أمريكي لكل DBU كمثال، سيكون ذلك حوالي 94.20 دولار أمريكي في الساعة لرسوم DBU وحدها، أو حوالي 68,200 دولار شهريًا للتشغيل المستمر. أضف تكاليف البنية التحتية ويصبح الإجمالي كبيرًا.

تقدير تكاليف Databricks الشهرية

يتطلب التقدير الدقيق للتكلفة فهم "الـ 3 V" لأعباء عمل البيانات: الحجم (Volume)، السرعة (Velocity)، والتنوع (Variety).

الحجم: المزيد من البيانات يعني المزيد من التخزين بالإضافة إلى المزيد من الحوسبة لمعالجتها. تستهلك الفرق التي تعالج بحيرات بيانات بحجم بيتابايت استهلاكًا أكبر نسبيًا لوحدات DBU مقارنة بتلك التي تعمل مع تيرابايت.

السرعة: البث في الوقت الفعلي يساوي كتلًا تعمل دائمًا. تعمل معالجة الدُفعات على تشغيل الكتل بشكل دوري، مما يقلل من إجمالي وقت التشغيل والتكاليف المرتبطة به.

التنوع: البيانات غير المهيكلة (صور، فيديوهات، مستندات) تكلف أكثر للمعالجة من جداول SQL المهيكلة. تتطلب التحويلات المعقدة المزيد من موارد الحوسبة لكل سجل.

نهج تقدير عملي:

1. حدد أنواع أعباء العمل وساعات التشغيل الشهرية المتوقعة.
2. حدد أنواع الحوسبة المناسبة (Jobs مقابل All-Purpose مقابل SQL).
3. اختر مستوى الاشتراك بناءً على متطلبات الحوكمة.
4. استخدم حاسبة التسعير مع أنواع المثيلات وتكوينات الكتلة المحددة.
5. أضف حاجزًا بنسبة 20-30٪ للتطوير والاختبار والاستخدام غير المتوقع.

يمكن للمؤسسات التي لديها أعباء عمل Spark موجودة قياس استهلاك DBU لكل حجم بيانات معالج، ثم استقراء ذلك إلى استخدام Databricks المتوقع. يجب على الفرق التي تنتقل من Hadoop المحلي تضمين وقت منحنى التعلم عند تحسين تكاليف Databricks.

أسئلة متكررة

الخلاصة: جعل تسعير Databricks يعمل

يبدو تسعير Databricks معقدًا لأنه يعكس تنوع أعباء العمل الحقيقي - كل من معالجة الدُفعات ETL، والتحليلات التفاعلية، والبث في الوقت الفعلي، وخدمة تعلم الآلة المعجلة بواسطة GPU لها ملفات تعريف موارد وهياكل تكلفة مختلفة.

ولكن يصبح الإطار قابلاً للإدارة بمجرد فهم المكونات: استهلاك DBU بناءً على نوع الحوسبة والمستوى، بالإضافة إلى تكاليف البنية التحتية من مزودي الخدمات السحابية، تُفْوترة بالثانية للاستخدام الفعلي.

يأتي التحكم في التكاليف إلى مطابقة أنواع الحوسبة مع أنماط حمل العمل، وتنفيذ الإنهاء التلقائي العدواني، والاستفادة من الحوسبة بدون خادم حيثما أمكن، ومراقبة الاستخدام باستمرار من خلال جداول النظام بدلاً من الاستجابة للفواتير الشهرية.

ابدأ بحاسبة التسعير الرسمية لوضع تقديرات أساسية. قم بتشغيل أحمال عمل تجريبية للتحقق من الافتراضات. راقب بيانات الاستخدام القابلة للفوترة لتحديد فرص التحسين. وتذكر - الهدف ليس تقليل التكاليف المطلقة بل زيادة القيمة المقدمة لكل دولار يتم إنفاقه.

هل أنت مستعد لتحسين الإنفاق؟ قم بالوصول إلى حاسبة تسعير Databricks على الموقع الرسمي، وقم بتمكين جدول الاستخدام القابل للفوترة للمراقبة، وابدأ في قياس استهلاك DBU الفعلي مقابل قيمة حمل العمل المقدمة.