ماذا يقدم برنامج Databricks للشركات الناشئة
تقدم Databricks ما يصل إلى 50,000 دولار من الأرصدة لمنصة Data Intelligence الخاصة بها، والتي تغطي حساب Spark، ومستودعات SQL، وخطوط أنابيب Delta Lake، ومكدس التعلم الآلي Mosaic AI بفاتورة منصة واحدة.
هذه من أكبر المنح في فئة منصات البيانات. يتتبعها AI Perks جنبًا إلى جنب مع 7.7 مليون دولار في شكل أرصدة عبر 194 شركة.
الرقم الذي يهم حقًا ليس 50,000 دولار. بل هو حقيقة أن الرصيد يغطي استهلاك منصة Databricks وليس بشكل عام الأجهزة الافتراضية السحابية التي تعمل عليها المنصة، والتي تستمر في دفع ثمنها مباشرة لـ AWS أو Azure أو Google Cloud. يخطئ المؤسسون الذين يغفلون هذا الهيكل في الميزانية لفاتورة واحدة ويتلقون فاتورتين. تختلف الشروط حسب المسار، ويتم سرد الشروط الحالية على getaiperks.com.
لمن تُستخدم Databricks حقًا
تبيع Databricks طبقة حوكمة واحدة لكل من تحليلاتك وتعلمك الآلي، بحيث تكون الجدول الذي تقرأه لوحة معلومات BI الخاصة بك والجدول الذي يدرب عليه نموذجك هو نفس الجدول بنفس الأذونات.
كل جزء من هذا موجود بشكل منفصل وبتكلفة منخفضة. يتعامل Postgres مع التحليلات إلى مقياس مفاجئ. يتعامل dbt مع التحويل. يتعامل S3 مع Parquet مع التخزين. يتعامل Airflow مع التنسيق. MLflow مفتوح المصدر ويمكنك استضافته بنفسك.
ما تشتريه هو الربط بينها، بالإضافة إلى غياب مهندس بيانات يقوم بصيانة خمسة أنظمة تختلف حول ماهية العميل. يوفر لك Delta Lake معاملات ACID والسفر عبر الزمن على تخزين الكائنات. يمنحك Unity Catalog نموذج إذن واحد عبر SQL ودفاتر الملاحظات وتدريب النماذج.
الاختبار الصادق لما إذا كنت بحاجة إلى هذا حتى الآن: هل تستغرق الاستعلامات التي تعتمد عليها شركتك وقتًا أطول من صبرك، أم أن بيانات التدريب الخاصة بك تأتي من مكان مختلف عن لوحات المعلومات الخاصة بك؟ إذا لم يكن أي من الأمرين صحيحًا، فإن Postgres و dbt يغطيانك حقًا، والرصيد أفضل إنفاقه لاحقًا. تتعامل نسخة Postgres واحدة مع عشرات الملايين من الصفوف ومعظم تحليلات مرحلة البذور دون شكوى.
إذا كنت تربط تدفقات الأحداث ببيانات المعاملات، أو تشغل مهام Spark على مئات الجيجابايت، أو تدرب على بيانات يجب أن تظل خاضعة للرقابة، فأنت تعلم بالفعل سبب وجود هذه الفئة.
كيف تتصرف أسعار Databricks عند التوسع
تفرض Databricks الفواتير بوحدات DBU، وهي وحدة استهلاك بالثانية يتغير معدلها اعتمادًا على المنتج الذي تعمل عليه، وتلك الفاتورة تقع فوق فاتورة بنية تحتية سحابية منفصلة تدفعها لمزودك.
نفس مهمة Spark تكلف مبالغ مختلفة بشكل كبير اعتمادًا على المسار الذي تشغّلها فيه. هذا هو أهم شيء يجب فهمه قبل تفعيل الرصيد.
| العداد | سلوك القائمة التقريبي | ما الذي يسبب ارتفاعه |
|---|---|---|
| حوسبة المهام (Jobs Compute) | حوالي 0.15 دولار لكل DBU، المستوى المتميز لـ AWS | نادرًا ما تكون المشكلة، هذا هو المسار الرخيص |
| حوسبة الأغراض العامة (All-Purpose Compute) | حوالي 0.55 دولار لكل DBU، حوالي 3.5x حوسبة المهام | خطوط أنابيب الإنتاج تُترك على مجموعات تفاعلية |
| SQL الخالي من الخوادم (Serverless SQL) | حوالي 0.70 دولار لكل DBU | لوحات معلومات التحديث التلقائي، لم يتم تكوين الإيقاف التلقائي مطلقًا |
| جداول Delta الحية (Delta Live Tables) | متدرجة حسب مجموعة الميزات | وضع مستمر حيث يكفي الوضع المشغّل |
| تقديم النماذج (Model Serving) | لكل ساعة DBU من الإنتاجية المخصصة | نقاط النهاية تُبقى جاهزة لحركة مرور لا تصل |
| أجهزة VMs السحابية الأساسية | مدفوعة لـ AWS، Azure أو GCP، وليس Databricks | غالبًا ما تكون بنفس حجم الشحنة DBU نفسها |
هذه هي الأرقام المنشورة في القائمة وقت كتابة هذا التقرير على المستوى المتميز لـ AWS، وهي تتغير. تحقق من المعدلات الحالية قبل نمذجة أي شيء.
مثال عملي. مجموعة مهام مكونة من أربع عقد بحوالي 2 DBU لكل عقدة في الساعة، تعمل ساعتين ليليًا، تبلغ حوالي 480 DBU شهريًا، أو حوالي 72 دولارًا في رسوم المنصة. مستودع SQL واحد خالٍ من الخوادم بحجم 2X-Small يبقى متاحًا لمدة ثماني ساعات في أيام الأسبوع يستهلك حوالي 700 DBU، أو حوالي 490 دولارًا. أضف فاتورة EC2 الأساسية، وتكون بصمة مرحلة البذور بالقرب من 1,100 دولار شهريًا، والتي يغطيها رصيد بقيمة 50,000 دولار لمدة تزيد قليلاً عن ثلاث سنوات ونصف.
العكس هو ما يؤذي الفرق. مجموعة واحدة مكونة من خمس عقد للأغراض العامة مع تعطيل الإنهاء التلقائي تحرق حوالي 7,200 DBU شهريًا، حوالي 3,960 دولارًا في وحدات DBU وحدها، لعمل لا يقوم به أحد. لا أحد يختار ذلك. يحدث ذلك لأن شخصًا ما أغلق الكمبيوتر المحمول في يوم جمعة. يسرد AI Perks شروط الرصيد، والانضباط عليك.
ما تتوافق معه أرصدة Databricks
تغطي أرصدة Databricks استهلاك المنصة، ويتم إصدار فواتير الأجهزة الافتراضية السحابية الأساسية من قبل مزودك، لذلك فإن الأرصدة السحابية وأرصدة Databricks هي أصفى زوج متوافق في البنية التحتية.
هذا غير عادي. تتداخل معظم برامج الأرصدة، وغالبًا ما يعني امتلاك اثنين إهدار أحدهما. هنا هي متكاملة حقًا: تمنحك منح AWS أو Azure أو Google Cloud طبقة الحوسبة والتخزين، وتمنحك منح Databricks طبقة المنصة فوقها. فريق يمتلك كليهما لديه مغطى أساسًا مكدس البيانات بالكامل لنفس الفترة.
الصورة الكاملة لمنتج AI مبكر:
- الأرصدة السحابية تغطي مكان تشغيل الأجهزة ومكان وجود البيانات
- أرصدة Databricks تغطي المنصة التي تحول هذا التخزين إلى جداول وخطوط أنابيب خاضعة للرقابة
- أرصدة النماذج وواجهات برمجة التطبيقات (APIs) تغطي الاستدلال الذي تتصل به تطبيقاتك في وقت التشغيل
- أرصدة المراقبة تغطي معرفة ما إذا كان أي من ذلك يعمل
معرفة أي المنح متوافقة، وأيها تستبعد بعضها البعض بصمت، هو سبب وجود AI Perks كقائمة محدثة بدلاً من مجلد إشارات مرجعية.
ما يخطئ المؤسسون فيه بشأن أرصدة منصات البيانات
أغلى خطأ هو معاملة رصيد كبير كـ "هندسة بيانات مجانية" بدلاً من "نافذة ثابتة لبناء عادات تكلفة يمكنك تحملها بمجرد انتهائه".
خمسة أنماط فشل، بالترتيب التقريبي لتكلفتها:
تشغيل الإنتاج على حوسبة الأغراض العامة (All-Purpose Compute). المجموعات التفاعلية هي حيث تطور. حوسبة المهام (Jobs Compute) هي المكان الذي تنتمي إليه الأعمال المجدولة، بتكلفة تقارب ثلث معدل DBU لنفس الناتج. تقوم الفرق بالنمذجة الأولية في دفتر ملاحظات، وجدولة دفتر الملاحظات، ودفع ثلاثة أضعاف الثمن إلى الأبد.
لا يوجد إنهاء تلقائي. تكلف المجموعة الخاملة نفس تكلفة المجموعة النشطة تمامًا. قم بتعيين الإنهاء التلقائي الصارم على كل مجموعة للأغراض العامة والإيقاف التلقائي على كل مستودع SQL في اليوم الذي تنشئها فيه، وليس بعد الفاتورة الأولى.
نسيان الفاتورة الثانية. يخصم الرصيد وحدات DBU. لا يزال مزودك السحابي يصدر فاتورة للأجهزة والتخزين وإخراج البيانات. قم بميزانية كليهما، وتحقق من برامج السحابة التي تجلس جنبًا إلى جنب مع هذا البرنامج على getaiperks.com.
اعتماد بحيرة منزلية (lakehouse) قبل أن تبرر البيانات ذلك. يزيل الرصيد إشارة السعر في اللحظة التي يختار فيها فريقك الإعدادات الافتراضية. الترحيل إلى Databricks بحجم 5 جيجابايت من البيانات يمنحك تعقيدًا، وليس سرعة، وتتحمل نموذج التشغيل بعد ذلك.
التخطيط للخروج في وقت متأخر جدًا. يتم تحديد الأرصدة بسعر القائمة، لذا فإن رصيدًا بقيمة 50,000 دولار يعادل أقل من 50,000 دولار من الإنفاق المتفاوض عليه، والشهر الذي ينتهي فيه هو جرف بدلاً من منحدر. قرر عند استهلاك 70٪ ما ستقطعه، وليس عند 100٪.
ما يجب تسويته قبل الحصول على رصيد منصة بيانات
رصيد منصة البيانات يساوي قيمته القصوى عندما تكون عادات التكلفة التي يخفيها هي بالفعل تلك التي يمكنك تحملها بدونه.
يسرد AI Perks Databricks جنبًا إلى جنب مع مستودعات البيانات الأخرى وبرامج البث وخطوط الأنابيب في فئات البيانات والبنية التحتية، مع الشروط والمبالغ الحالية لكل منها، بحيث تقرأ الفئة كصورة واحدة بدلاً من برنامج واحد في كل مرة.
أربعة أشياء جديرة بالقرار قبل بدء العداد:
الفاتورة الثانية. يتم إصدار فواتير استهلاك المنصة والبنية التحتية السحابية بواسطة شركات مختلفة. منحة Databricks وحدها تترك حوالي نصف تكلفة منصة البيانات الحقيقية غير مغطاة، وهذا هو سبب أهمية البرامج السحابية المدرجة في نفس المكان بقدر هذا البرنامج.
مسار الشريك. تصل نسبة كبيرة من أرصدة البنية التحتية الكبيرة إلى الشركات الناشئة من خلال مسرعات، أو مستثمرين، أو أسواق سحابية بدلاً من مسار مباشر، وتختلف الشروط حسب المسار. يستحق الأمر معرفة ما تفتحه علاقاتك الحالية بالفعل قبل أن تفترض أن هناك مسارًا واحدًا.
التوقيت مقابل أعباء العمل. تبدأ ساعات الرصيد بشكل عام عند تنشيط الحساب بدلاً من اعتماده. الرصيد الذي يعمل أثناء تصميم خط الأنابيب لا يزال رصيدًا ينفق نفسه على لا شيء.
رقمك غير المدعوم. اكتب ما ستكلفه المنصة بالسعر الكامل في اليوم الأول، ثم قم بتعيين سياسات المجموعة، والإنهاء التلقائي، وتحديد حجم المستودع بحيث يكون هذا هو المكان الذي تصل إليه عند انتهاء الرصيد بدلاً من اكتشاف مكانك.
أسئلة متكررة
ما قيمة برنامج Databricks للشركات الناشئة؟
ما يصل إلى 50,000 دولار من الأرصدة لمنصة Databricks، تغطي مهام Spark، ومستودعات SQL، وخطوط أنابيب Delta Live Tables، وأعباء عمل التعلم الآلي. بالنسبة لفريق في مرحلة البذور ينفق حوالي 1,100 دولار شهريًا، فهذا يوفر حوالي ثلاث سنوات ونصف من العمل على فاتورة المنصة. يتم تتبع الشروط الحالية والأهلية على getaiperks.com.
هل تغطي أرصدة Databricks فاتورة AWS أو Azure الخاصة بي؟
بشكل عام لا. خصومات أرصدة Databricks على استهلاك المنصة المقاس بوحدات DBU، بينما يتم إصدار فاتورة الأجهزة الافتراضية، وتخزين الكائنات، وإخراج الشبكة الأساسية من قبل مزود السحابة الخاص بك. تأكد من الشروط المحددة قبل وضع الميزانية، وخطط للحصول على كل من منحة سحابية ومنحة Databricks بدلاً من منحة واحدة كبيرة.
هل Databricks مفرطة لشركة ناشئة قبل مرحلة البذور؟
غالبًا نعم. يتعامل Postgres مع dbt مع عشرات الملايين من الصفوف ومعظم تحليلات مرحلة البذور بتكلفة تقارب الصفر. تكسب Databricks سعرها بمجرد ربط بيانات الأحداث ببيانات المعاملات، أو تشغيل Spark على مئات الجيجابايت، أو تدريب نماذج على بيانات يجب أن تظل خاضعة للرقابة وقابلة للتكرار.
ما هي وحدة DBU ولماذا يتغير معدلها؟
DBU هي وحدة Databricks، وهي مقياس بالثانية للمعالجة المستهلكة. يعتمد المعدل لكل DBU على المنتج الذي يشغل العمل: حوسبة المهام هي الأرخص، وحوسبة الأغراض العامة تكلف حوالي ثلاثة أضعاف ونصف، و SQL الخالي من الخوادم أكثر من ذلك. تشغيل العمل المجدول على مجموعات تفاعلية هو الإفراط في الإنفاق الأكثر شيوعًا الذي يمكن تجنبه.
هل يمكنني دمج أرصدة Databricks مع أرصدة أخرى للشركات الناشئة؟
نعم، والتركيبة نظيفة بشكل غير عادي لأن الفواتير لا تتداخل. تغطي الأرصدة السحابية الأجهزة، وتغطي أرصدة Databricks المنصة، وتغطي أرصدة النماذج الاستدلال في وقت التشغيل. يتم تتبع البرامج المتوافقة مع بعضها البعض عبر 194 شركة على getaiperks.com.
ماذا يحدث عند نفاد أرصدة Databricks؟
ترث فاتورة يتم تحديد حجمها حسب العادات التي تم تكوينها أثناء كونها مجانية، بسعر القائمة بدلاً من سعر متفاوض عليه. الحل هو تعيين سياسات المجموعة، والإنهاء التلقائي، وحدود المستودعات مبكرًا حتى تكون بصمتك غير المدعومة هي بالفعل التي تقوم بتشغيلها عند انتهاء الرصيد.
قم ببناء منصة البيانات. دع شخصًا آخر يمول السنوات الثلاث الأولى منها.