برنامه استارتاپ Databricks چه چیزی به شما میدهد
Databricks تا 50,000 دلار اعتبار برای پلتفرم هوش داده خود ارائه میدهد که محاسبات Spark، انبارهای SQL، خطوط لوله Delta Lake و پشته یادگیری ماشین Mosaic AI را در یک صورتحساب پلتفرم پوشش میدهد.
این یکی از بزرگترین کمکهای مالی در دسته پلتفرم داده است. AI Perks آن را در کنار 7.7 میلیون دلار اعتبار در 194 شرکت ردیابی میکند.
عددی که واقعاً مهم است 50,000 دلار نیست. این واقعیت است که اعتبار مصرف پلتفرم Databricks را پوشش میدهد و معمولاً ماشینهای مجازی ابری را که پلتفرم روی آنها اجرا میشود، پوشش نمیدهد، که شما همچنان مستقیماً برای AWS، Azure یا Google Cloud هزینه پرداخت میکنید. بنیانگذارانی که این ساختار را نادیده میگیرند، بودجهای برای یک صورتحساب تنظیم میکنند و دو صورتحساب دریافت میکنند. شرایط بسته به مسیر متفاوت است و شرایط فعلی در getaiperks.com فهرست شدهاند.
Databricks واقعاً برای چه چیزی است
Databricks یک لایه حاکمیتی را بر روی تجزیه و تحلیل و یادگیری ماشین شما میفروشد، بنابراین جدولی که داشبورد BI شما میخواند و جدولی که مدل شما روی آن آموزش میبیند، یک جدول با همان مجوزها است.
هر بخشی از آن به صورت جداگانه و ارزان وجود دارد. Postgres تجزیه و تحلیل را تا مقیاس قابل توجهی مدیریت میکند. dbt تحول را مدیریت میکند. S3 به همراه Parquet ذخیرهسازی را مدیریت میکند. Airflow ارکستراسیون را مدیریت میکند. MLflow منبع باز است و شما میتوانید آن را خودتان میزبانی کنید.
آنچه شما میخرید، اتصال بین آنها، به علاوه عدم وجود یک مهندس داده است که پنج سیستم را حفظ کند که در مورد اینکه مشتری چیست، اختلاف نظر دارند. Delta Lake تراکنشهای ACID و قابلیت سفر در زمان را بر روی ذخیرهسازی اشیاء به شما میدهد. Unity Catalog یک مدل مجوزدهی واحد را در SQL، نوتبوکها و آموزش مدل به شما میدهد.
آزمون صادقانه اینکه آیا شما هنوز به این نیاز دارید: آیا پرسوجوی که کسبوکار شما به آن وابسته است، بیشتر از صبر شما طول میکشد، یا دادههای آموزشی شما از مکانی متفاوت از داشبوردهای شما میآیند؟ اگر هیچکدام درست نباشد، Postgres و dbt واقعاً شما را پوشش میدهند، و اعتبار بهتر است بعداً خرج شود. یک نمونه Postgres واحد، دهها میلیون ردیف و اکثر تجزیه و تحلیلهای مرحله بذر را بدون شکایت مدیریت میکند.
اگر جریانهای رویداد را به دادههای تراکنشی متصل میکنید، شغلهای Spark را بر روی صدها گیگابایت اجرا میکنید، یا بر روی دادههایی که باید حاکمیت شوند آموزش میدهید، از قبل میدانید که چرا این دسته وجود دارد.
رفتار قیمتگذاری Databricks در مقیاس چگونه است
Databricks بر اساس DBUs، یک واحد مصرف در هر ثانیه که نرخ آن بسته به محصولی که کار را بر روی آن اجرا میکنید تغییر میکند، صورتحساب صادر میکند، و آن صورتحساب در بالای صورتحساب زیرساخت ابری جداگانهای قرار میگیرد که به ارائهدهنده خود پرداخت میکنید.
همان شغل Spark بسته به مسیری که آن را در آن اجرا میکنید، هزینههای متفاوتی دارد. این مهمترین چیزی است که باید قبل از فعال کردن اعتبار آن را درک کنید.
| متر | رفتار تقریبی لیست | چه چیزی باعث افزایش آن میشود |
|---|---|---|
| شغل محاسباتی | حدود 0.15 دلار برای هر DBU، رده برتر AWS | به ندرت مشکل است، این مسیر ارزان است |
| محاسبات همهمنظوره | حدود 0.55 دلار برای هر DBU، تقریباً 3.5 برابر شغل محاسباتی | خطوط لوله تولید که روی خوشههای تعاملی باقی ماندهاند |
| SQL بدون سرور | حدود 0.70 دلار برای هر DBU | داشبوردهای خودکار بهروزرسانی شده، توقف خودکار هرگز پیکربندی نشده است |
| خطوط لوله Delta Live | بر اساس مجموعه ویژگیها طبقه بندی شده است | حالت پیوسته که در آن ماشه شده میتوانست کار کند |
| ارائه مدل | در هر ساعت DBU از توان عملیاتی تامین شده | نقاط پایانی برای ترافیکی که وارد نمیشود گرم نگه داشته میشوند |
| ماشینهای مجازی ابری زیربنایی | به AWS، Azure یا GCP پرداخت میشود، نه Databricks | اغلب در همان مقیاس هزینه DBU قرار دارد |
اینها ارقام لیست منتشر شده در زمان نوشتن در رده برتر AWS هستند و آنها تغییر میکنند. قبل از مدلسازی هر چیزی، نرخهای فعلی را تأیید کنید.
یک مثال کار شده. یک خوشه شغل چهار گرهای با حدود 2 DBU در هر گره-ساعت، که دو ساعت در شب اجرا میشود، حدود 480 DBU در ماه است، یا تقریباً 72 دلار هزینه پلتفرم. یک انبار SQL بدون سرور 2X-Small که هشت ساعت در روزهای کاری در دسترس است، حدود 700 DBU، یا تقریباً 490 دلار مصرف میکند. صورتحساب EC2 زیر را اضافه کنید و یک ردپای مرحله بذر به 1,100 دلار در ماه نزدیک میشود، که اعتبار 50,000 دلاری حدود سه سال و نیم را پوشش میدهد.
عکس این وضعیت جایی است که تیمها آسیب میبینند. یک خوشه همهمنظوره پنج گرهای با غیرفعال کردن پایان خودکار، حدود 7,200 DBU در ماه میسوزاند، حدود 3,960 دلار فقط DBU، برای کاری که هیچکس انجام نمیدهد. هیچکس این را انتخاب نمیکند. این اتفاق میافتد چون کسی جمعه لپتاپ خود را بسته است. AI Perks شرایط اعتبار را فهرست میکند، نظم و انضباط با شماست.
اعتبارات Databricks با چه مواردی ترکیب میشوند
اعتبارات Databricks مصرف پلتفرم را پوشش میدهند، و ماشینهای مجازی ابری زیربنایی توسط ارائهدهنده شما صورتحساب میشوند، بنابراین اعتبارات ابری و اعتبارات Databricks تمیزترین جفت ترکیبی در زیرساخت هستند.
این غیرمعمول است. اکثر برنامههای اعتباری همپوشانی دارند، و داشتن دو اعتبار اغلب به معنای اتلاف یکی است. در اینجا آنها واقعاً مکمل یکدیگر هستند: AWS، Azure یا Google Cloud شما لایه محاسبات و ذخیرهسازی را جذب میکند، و اعتبار Databricks لایه پلتفرم را روی آن جذب میکند. تیمی که هر دو را دارد، اساساً کل پشته داده را برای همان دوره زمانی پوشش داده است.
تصویر کامل برای یک محصول هوش مصنوعی اولیه:
- اعتبارات ابری محل اجرا شدن ماشینها و نگهداری دادهها را پوشش میدهد.
- اعتبارات Databricks پلتفرمی را پوشش میدهد که آن ذخیرهسازی را به جداول و خطوط لوله حاکمیتی تبدیل میکند.
- اعتبارات مدل و API استنتاجی را که برنامه شما در زمان اجرا فراخوانی میکند، پوشش میدهد.
- اعتبارات مشاهدهپذیری اطمینان از کارکرد صحیح همه اینها را پوشش میدهد.
دیدن اینکه کدام اعتبارات سازگار هستند و کدام به طور پنهانی یکدیگر را مستثنی میکنند، دلیل وجود AI Perks به عنوان یک لیست نگهداری شده به جای پوشهای از نشانکها است.
بنیانگذاران در مورد اعتبارات پلتفرم داده اشتباه میکنند
گرانترین اشتباه این است که یک اعتبار بزرگ را به عنوان مهندسی داده رایگان در نظر بگیرید به جای یک پنجره ثابت برای ایجاد عادات هزینهای که پس از پایان آن بتوانید از عهده آنها برآیید.
پنج الگوی شکست، به ترتیب تقریبی هزینه آنها:
اجرای تولید بر روی محاسبات همهمنظوره. خوشههای تعاملی جایی هستند که شما توسعه میدهید. شغل محاسباتی جایی است که کار زمانبندی شده متعلق به آن است، با تقریباً یک سوم نرخ DBU برای خروجی یکسان. تیمها در یک نوتبوک نمونهسازی میکنند، نوتبوک را زمانبندی میکنند و برای همیشه سه برابر هزینه پرداخت میکنند.
عدم پایان خودکار. یک خوشه بیکار دقیقاً به اندازه یک خوشه فعال هزینه دارد. در روزی که آنها را ایجاد میکنید، نه پس از اولین صورتحساب، پایان خودکار سختگیرانه را بر روی هر خوشه همهمنظوره و توقف خودکار را بر روی هر انبار SQL تنظیم کنید.
فراموش کردن صورتحساب دوم. اعتبار مصرف DBU را جبران میکند. ارائهدهنده ابری شما همچنان برای نمونهها، ذخیرهسازی و خروجی صورتحساب صادر میکند. هر دو را بودجهبندی کنید و بررسی کنید که کدام برنامههای ابری در کنار این یکی در getaiperks.com قرار دارند.
پذیرش دریاچه خانه قبل از اینکه دادهها آن را توجیه کنند. اعتبار سیگنال قیمت را دقیقاً در لحظهای که تیم شما پیشفرضهای خود را انتخاب میکند، حذف میکند. مهاجرت به Databricks با 5 گیگابایت داده، پیچیدگی را به شما میدهد، نه سرعت، و شما پس از آن مدل عملیاتی را به ارث میبرید.
برنامهریزی خروج بیش از حد دیرهنگام. اعتبار با قیمت لیست ارزشگذاری میشود، بنابراین 50,000 دلار اعتبار کمتر از 50,000 دلار هزینه مذاکره شده ارزش دارد، و ماه پایان آن به جای یک دامنه، یک پرتگاه است. در 70% مصرف تصمیم بگیرید چه چیزی را قطع خواهید کرد، نه در 100%.
آنچه قبل از دریافت اعتبار پلتفرم داده باید حل شود
اعتبار پلتفرم داده زمانی بیشترین ارزش را دارد که عادات هزینهای که پنهان میکند، همانهایی باشند که بدون آن هم توانایی پرداخت آنها را داشتید.
AI Perks Databricks را در کنار سایر برنامههای انبار، پخش جریانی و خطوط لوله در دستههای داده و زیرساخت، با شرایط و مبالغ فعلی برای هر کدام فهرست میکند، بنابراین این دسته به عنوان یک تصویر واحد خوانده میشود تا یک برنامه در یک زمان.
چهار مورد که ارزش تصمیمگیری قبل از شروع شمارش معکوس را دارند:
صورتحساب دوم. مصرف پلتفرم و زیرساخت ابری توسط شرکتهای مختلف صورتحساب میشوند. اعتبار Databricks به تنهایی حدود نیمی از هزینه واقعی پلتفرم داده را بدون پوشش باقی میگذارد، به همین دلیل است که برنامههای ابری که در همان مکان فهرست شدهاند به اندازه این یکی مهم هستند.
مسیر شریک. سهم قابل توجهی از اعتبارات بزرگ زیرساخت از طریق شتابدهندهها، سرمایهگذاران و بازارهای ابری به استارتاپها میرسد تا مسیر مستقیم، و شرایط بسته به مسیر متفاوت است. ارزش دانستن اینکه روابط موجود شما چه چیزی را از قبل باز میکنند قبل از اینکه فرض کنید یک مسیر وجود دارد.
زمانبندی در برابر بار کاری. ساعتهای اعتبار معمولاً از زمان فعال شدن حساب شروع میشوند تا زمان تأیید. اعتباری که در حالی که خط لوله هنوز در حال طراحی است اجرا میشود، اعتباری است که خود را بر روی هیچ چیز خرج میکند.
عدد بدون یارانه شما. بنویسید که پلتفرم در روز اول با قیمت کامل چقدر برای شما هزینه خواهد داشت، سپس خطمشیهای خوشه، پایان خودکار و اندازهبندی انبار را طوری تنظیم کنید که وقتی اعتبار منقضی میشود، به همان جایی برسید که متوجه میشوید نه جایی که متوجه میشوید هستید.
پرسش و پاسخهای متداول
برنامه استارتاپ Databricks چقدر ارزش دارد؟
تا 50,000 دلار اعتبار برای پلتفرم Databricks، پوششدهنده شغلهای Spark، انبارهای SQL، خطوط لوله Delta Live Tables و بارهای کاری یادگیری ماشین. برای یک تیم در مرحله بذر که حدود 1,100 دلار در ماه هزینه میکند، این حدود سه سال و نیم زمان برای صورتحساب پلتفرم است. شرایط و واجد شرایط بودن فعلی در getaiperks.com ردیابی میشوند.
آیا اعتبارات Databricks صورتحساب AWS یا Azure من را پوشش میدهند؟
معمولاً نه. اعتبارات Databricks مصرف پلتفرم اندازهگیری شده در DBU را جبران میکنند، در حالی که ماشینهای مجازی، ذخیرهسازی اشیاء و خروجی شبکه زیربنایی توسط ارائهدهنده ابری شما صورتحساب میشوند. شرایط خاص را قبل از بودجهبندی تأیید کنید، و برنامهریزی کنید که به جای یک اعتبار بزرگ، هم اعتبار ابری و هم اعتبار Databricks را داشته باشید.
آیا Databricks برای یک استارتاپ قبل از بذر بیش از حد است؟
اغلب بله. Postgres به همراه dbt دهها میلیون ردیف و بیشتر تحلیلهای مرحله بذر را با هزینهی نزدیک به صفر مدیریت میکند. Databricks زمانی ارزش خود را نشان میدهد که شما دادههای رویداد را به دادههای تراکنشی متصل میکنید، Spark را بر روی صدها گیگابایت اجرا میکنید، یا مدلها را بر روی دادههایی که باید حاکمیت و قابل تکرار باقی بمانند، آموزش میدهید.
DBU چیست و چرا نرخ آن تغییر میکند؟
DBU واحد Databricks است، اندازهگیری در هر ثانیه از پردازش مصرف شده. نرخ هر DBU به محصولی که کار را اجرا میکند بستگی دارد: شغل محاسباتی ارزانترین مسیر است، محاسبات همهمنظوره حدود سه و نیم برابر بیشتر هزینه دارد، و SQL بدون سرور حتی بیشتر. اجرای کار زمانبندی شده بر روی خوشههای تعاملی رایجترین هزینه اضافی قابل اجتناب است.
آیا میتوانم اعتبارات Databricks را با سایر اعتبارات استارتاپی ترکیب کنم؟
بله، و ترکیب آنها به طور غیرمعمولی تمیز است زیرا صورتحسابها همپوشانی ندارند. اعتبارات ابری ماشینها را پوشش میدهند، اعتبارات Databricks پلتفرم را پوشش میدهند، و اعتبارات مدل استنتاج را در زمان اجرا پوشش میدهند. اینکه کدام برنامهها با یکدیگر سازگار هستند، در 194 شرکت در getaiperks.com ردیابی میشود.
وقتی اعتبارات Databricks تمام میشود چه اتفاقی میافتد؟
شما یک صورتحساب را به اندازهی عادات شکل گرفته در حالی که رایگان بود، با قیمت لیست به جای نرخ مذاکره شده، به ارث میبرید. راه حل این است که خطمشیهای خوشه، پایان خودکار و محدودیتهای انبار را زود تنظیم کنید تا ردپای بدون یارانه شما همان چیزی باشد که هنگام انقضای اعتبار اجرا میکنید.
در getaiperks.com مشترک شوید →
پلتفرم داده را بسازید. اجازه دهید شخص دیگری سه سال اول آن را تامین مالی کند.