برنامه استارتاپی Confluent چه چیزی به شما میدهد
Confluent تا 20,000 دلار اعتبار برای Confluent Cloud، سرویس کاملاً مدیریت شده Apache Kafka خود، ارائه میدهد که هزینه استفاده از کلاستر، انتقال داده، ذخیرهسازی نگهداری شده و لایه پردازش جریان در بالای آن را پوشش میدهد.
AI Perks این را در کنار 7.7 میلیون دلار اعتبار در 194 شرکت ردیابی میکند.
جزئیات ساختاری بیش از عدد عنوان مهم است. کلاسترهای Confluent Cloud در حسابهای ابری خود Confluent اجرا میشوند، نه حسابهای شما. بنابراین اعتبار، صورتحساب جریان را به طور شفاف پوشش میدهد، بدون اینکه کنتور مشترکی برای بحث وجود داشته باشد، و هیچ یک از محاسباتی را که تولیدکنندگان و مصرفکنندگان شما اجرا میکنند، و هیچ یک از شبکههای خصوصی که بین آنها قرار میدهید را پوشش نمیدهد. شرایط فعلی در getaiperks.com ذکر شده است.
Confluent در واقع برای چیست
Kafka یک لاگ (log) بادوام، مرتب، و قابل پخش مجدد است که به بسیاری از مصرفکنندگان مستقل اجازه میدهد تا جریان رویدادهای یکسان را با سرعت خود بخوانند. Confluent آن لاگ است که برای شما اجرا میشود، به علاوه لایه اسکما (schema)، کانکتور (connector) و پردازش جریان که در غیر این صورت بیشتر تیمها خودشان سر هم میکنند.
تمایزی که تعیین میکند آیا به آن نیاز دارید یا نه، لاگ در مقابل صف (queue) است. یک صف یک پیام را یک بار، به یک کارگر تحویل میدهد و آن را فراموش میکند. یک لاگ رویدادها را حفظ میکند، و یک مصرفکننده که شش ماه دیگر اضافه میکنید میتواند کل تاریخچه را از ابتدا بخواند.
سه سوال موارد را از هم جدا میکنند:
- آیا بیش از یک سیستم به رویداد یکسان نیاز دارد؟ یک تولیدکننده، چهار مصرفکننده، که هیچکدام نباید از یکدیگر خبر داشته باشند. این همان موردی است که Kafka برای آن ساخته شده است.
- آیا هرگز میخواهید پخش مجدد کنید؟ بازسازی یک جدول مشتق شده، پر کردن مجدد یک فروشگاه ویژگی جدید، پردازش مجدد پس از یک اشکال. یک صف نمیتواند این کار را انجام دهد. یک لاگ آن را معمول میکند.
- آیا مصرفکنندگان به طور مستقل شکست میخورند؟ اگر پایین رفتن مخزن تحلیل شما نباید پرداخت را مسدود کند، به جداسازیای نیاز دارید که لاگ فراهم میکند.
اگر پاسخ صادقانه به هر سه "نه" است، Postgres با یک جدول کار (jobs table)، Redis streams یا SQS با هزینه بسیار کمتر و سطح عملیاتی بسیار کمتر شما را پوشش میدهند. بسیاری از محصولات موفق هرگز از این فراتر نمیروند. اعتبار بهتر است بعداً خرج شود.
نیمه دیگر تصمیم، ساخت در مقابل خرید است. Kafka نرمافزار رایگان است و مجوز هرگز بخش گرانقیمت نبود. متعادلسازی مجدد پارتیشن (partition rebalancing)، تنظیم نگهداری (retention tuning)، ارتقاء کارگزار (broker upgrades)، فشار دیسک در ساعت 3 صبح و شخصی که همه اینها را میفهمد، بخش گرانقیمت است. KRaft وابستگی ZooKeeper را حذف کرد و میزبانی خود را به طور معناداری سادهتر کرد، اما دور تناوب در دسترس بودن (on-call rotation) را حذف نکرد.
نحوه رفتار قیمتگذاری Confluent Cloud در مقیاس
Confluent Cloud عمدتاً بر اساس بایتها صورتحساب میدهد: داده ورودی، داده خروجی و داده نگهداری شده. کنتوری که بنیانگذاران را شگفتزده میکند، خروجی (egress) است، زیرا در تعداد گروههای مصرفکنندهای که همان موضوع را میخوانند ضرب میشود.
| کنتور | چه چیزی آن را هدایت میکند | چه چیزی باعث جهش آن میشود |
|---|---|---|
| ورودی (Ingress) | گیگابایت نوشته شده توسط تولیدکنندگان | رویدادهای پرحرف، بدون فشردهسازی، گزارشهایی که به عنوان رویداد در نظر گرفته میشوند |
| خروجی (Egress) | گیگابایت خوانده شده توسط مصرفکنندگان | هر گروه مصرفکننده اضافی، جریان کامل را دوباره میخواند |
| ذخیرهسازی | گیگابایت نگهداری شده x پنجره نگهداری | نگهداری نامحدود یا پیشفرض که بدون بررسی رها شده است |
| پایه کلاستر | نوع کلاستر و ظرفیت تخصیص یافته | ظرفیت اختصاصی خریداری شده قبل از اینکه توان عملیاتی آن را توجیه کند |
| کانکتورها | وظایف در حال اجرا به علاوه توان عملیاتی | کانکتورهای بیکار که پس از اتمام مهاجرت همچنان در حال اجرا هستند |
| پردازش جریان | استفاده از Flink، بر اساس کنتور خود صورتحساب میشود | مشاغل پیوسته که در آنها یک بچ (batch) زمانبندی شده کافی بود |
| شبکهسازی | شبکهسازی خصوصی و مسیرهای بین منطقهای | PrivateLink یا نظیرسازی (peering) اضافه شده برای انطباق، بودجهبندی نشده است |
نرخها بسته به نوع کلاستر، ارائهدهنده ابری و منطقه متفاوت است و تغییر میکند. قبل از مدلسازی هر چیزی، ارقام فعلی را در مقابل صفحه قیمتگذاری Confluent بررسی کنید.
محاسبات ریاضی که واقعاً مهم است، ضریب پخش (fan-out multiplier) است. محصولی را در نظر بگیرید که 50 گیگابایت در ماه رویداد مینویسد. چهار گروه مصرفکننده آن موضوع را میخوانند: برنامه، شاخصساز جستجو، مخزن انبار و بررسی کلاهبرداری. این 50 گیگابایت ورودی و 200 گیگابایت خروجی است، بنابراین شما بر روی حدود 250 گیگابایت برای 50 گیگابایت داده واقعی، با ضریب 5 برابر صورتحساب دریافت میکنید.
آن را مقیاسبندی کنید و شکل حفظ میشود. با 1 ترابایت ورودی در ماه با چهار مصرفکننده مشابه، حدود 5 ترابایت صورتحساب دریافت میکنید. عدد خود را وارد ماشین حساب قیمتگذاری کنید، نه رقم ورودی خود را. تیمهایی که فقط از ورودی بودجهبندی میکنند، به هر میزان ضریب پخششان باشد، اشتباه میکنند، که همچنین دلیل است که یک کمک 20,000 دلاری برای برخی محصولات بسیار طولانیتر از بقیه دوام میآورد. AI Perks شرایط اعتبار را لیست میکند، ضریب پخش با شماست.
دو اهرم بیش از هر چیز دیگری صورتحساب را جابجا میکنند. فشردهسازی سمت تولیدکننده بایتهایی را که از سیم عبور میکنند کاهش میدهد، و zstd یا lz4 بر روی بارهای JSON معمولاً کاهش بزرگی برای تغییر پیکربندی یک خطی است. نگهداری (Retention) یک ضریب خالص بر روی ذخیرهسازی است، و پیشفرض به ندرت عددی است که شما عمداً انتخاب کردهاید.
اعتبارنامههای Confluent با چه چیزهایی انباشته میشوند
اعتبارات Confluent فقط لایه جریان را پوشش میدهند. محاسباتی که تولیدکنندگان و مصرفکنندگان شما را اجرا میکنند، انبار دادهای که جریان در آن فرود میآید، و مدلهایی که تغذیه میکند، همه صورتحسابهای جداگانه هستند، که باعث میشود اعتبارات جریان به طور غیرمعمولی به راحتی انباشته شوند.
یک خط لوله رویداد کارآمد با چهار فروشنده مجزا تماس میگیرد و کمکهای مالی برای هر کدام وجود دارد:
- اعتبارات ابری ماشینهایی را که تولیدکنندگان و مصرفکنندگان شما اجرا میکنند، به علاوه ذخیرهسازی و خروجی در سمت سیم شما را پوشش میدهند
- اعتبارات Confluent حمل و نقل، رجیستری اسکما و پردازش جریان بینابین را پوشش میدهند
- اعتبارات پلتفرم داده انبار یا دریاچه دادهای را که جریان در آن فرود میآید پوشش میدهند
- اعتبارات مدل و API هرگونه استنتاجی را که مصرفکنندگان شما در زمان اجرا فراخوانی میکنند پوشش میدهند
تیمی که سه مورد از این چهار مورد را در اختیار دارد، بیشتر پشته داده بلادرنگ را برای همان پنجره زمانی پوشش داده است. دانستن اینکه کدام کمکهای مالی سازگار هستند و کدام به آرامی یکدیگر را مستثنی میکنند، دلیل این است که AI Perks به عنوان یک لیست به جای پوشه نشانکها نگهداری میشود.
بنیانگذاران در مورد اعتبارات جریان چه چیزی را اشتباه میدانند
گرانترین اشتباه استفاده از Kafka به عنوان صف وظیفه است، زیرا شما مدل عملیاتی و هزینهی یک لاگ را بدون نیاز به چیزی که لاگ فراهم میکند، به خود میگیرید.
پنج الگوی شکست، به ترتیب تقریبی هزینه:
استفاده از Kafka به عنوان صف کار. اگر یک کارگر هر پیام را مصرف کند و هیچکس پخش مجدد نکند، شما مدیریت پارتیشن و متعادلسازی مجدد گروه مصرفکننده را برای انجام کاری که یک جدول پایگاه داده و یک شغل کرون (cron job) از قبل انجام میدادند، خریداری کردهاید.
کوربینی ضریب پخش (Fan-out blindness). هر گروه مصرفکننده جدید یک خواندن کامل اضافی از موضوع است. سه تیم که در یک فصل یک مصرفکننده اضافه میکنند، میتوانند صورتحساب را سه برابر کنند بدون اینکه کسی تغییری ایجاد کرده باشد. قبل از اضافه کردن یک مصرفکننده، بپرسید که آیا یک مصرفکننده موجود نمیتواند به جای آن یک موضوع مشتق شده منتشر کند.
جریان دادن به گزارشها (Streaming logs). گزارشهای برنامه حجم بالا، ارزش کم به ازای هر بایت دارند و متعلق به یک پلتفرم گزارشدهی هستند که برای آن شکل قیمتگذاری شده است. عبور دادن آنها از Kafka سریعترین راه برای مصرف اعتبار بر روی دادههایی است که هیچکس پخش مجدد نخواهد کرد.
زود پارتیشنبندی بیش از حد (Over-partitioning early). پارتیشنها واحد موازیسازی هستند و رایگان نیستند. تیمها یک عدد بزرگ را برای اطمینان انتخاب میکنند، سپس متوجه میشوند که افزایش تعداد پارتیشن آسان است و کاهش آن دردناک.
برنامهریزی خروج خیلی دیر. پروتکل Kafka واقعاً قابل حمل است؛ آنچه در اطراف آن میسازید قابل حمل نیست. در 70% اعتبار مصرف شده تصمیم بگیرید که معماری بدون یارانه شما چگونه به نظر میرسد، نه در 100%.
چگونه در اطراف Confluent و سایر اعتبارات پلتفرم داده برنامهریزی کنیم
اعتبار جریان به هر چیزی که معماری شما به آن اجازه میدهد ارزش داشته باشد، ارزش دارد، و آن تصمیمات قبل از اولین راهاندازی موضوع گرفته میشوند.
پنج مورد که ارزش دارد زودتر تسویه شوند، به ترتیب تقریبی تاثیر هزینه:
کل صورتحساب را نقشهبرداری کنید، نه خط Confluent. کاتالوگ در getaiperks.com برنامههای جریان، انبار و خط لوله را در کنار هم لیست میکند، دیدگاهی که نشان میدهد کدام بخشهای یک پشته بلادرنگ پوشش داده شدهاند و کدامها مال شما باقی میمانند.
صورتحساب ابری را جداگانه بودجهبندی کنید. تولیدکنندگان، مصرفکنندگان و شبکههای خصوصی توسط AWS، Azure یا Google Cloud صورتحساب میشوند، صرف نظر از اینکه Confluent چه چیزی را پوشش میدهد، و آن خط به دلیل اینکه خط جریان کوچک شد، کوچک نمیشود.
نگهداری و فشردهسازی را قبل از وجود مصرفکنندگان تنظیم کنید. هر دو تصمیمات یک خطی هستند که در طول عمر اعتبار انباشته میشوند، و تغییر هر دو زمانی که سیستمهای پاییندستی به آنها وابسته میشوند، ناخوشایند میشود.
هر گروه مصرفکننده جدید را به عنوان یک تصمیم هزینه در نظر بگیرید. ضریب پخش کنتوری است که بدون اینکه کسی پیکربندی را ویرایش کند رشد میکند، بنابراین بپرسید که آیا یک مصرفکننده موجود میتواند به جای آن یک موضوع مشتق شده منتشر کند.
تصمیم بگیرید مرز قابل حمل شما کجا قرار دارد. استفاده از پروتکل ساده Kafka سفر میکند. مشاغل مدیریت شده Flink، کانکتورهای Confluent و پیکربندی حاکمیت سفر نمیکنند، بنابراین بخشهای قابل جابجایی را از ابتدا تمیز نگه دارید.
سوالات متداول
ارزش برنامه استارتاپی Confluent چقدر است؟
تا 20,000 دلار اعتبار برای Confluent Cloud، که هزینه استفاده از کلاستر، ورودی، خروجی، ذخیرهسازی نگهداری شده و پردازش جریان را پوشش میدهد. برای محصولی که ده ها گیگابایت در ماه جریان دارد، این یک مسیر طولانی برای صورتحساب جریان به طور خاص است. مقادیر فعلی و واجد شرایط بودن در getaiperks.com ردیابی میشوند.
آیا اعتبارات Confluent صورتحساب AWS یا Google Cloud من را پوشش میدهند؟
خیر. کلاسترهای Confluent Cloud در حسابهای ابری خود Confluent اجرا میشوند، بنابراین اعتبار فقط فاکتور Confluent را جبران میکند. محاسباتی که تولیدکنندگان و مصرفکنندگان شما را اجرا میکنند، ذخیرهسازی شما و هرگونه شبکهسازی خصوصی که پیکربندی میکنید، توسط ارائهدهنده ابر شما صورتحساب میشود. برنامهریزی کنید که هر دو اعتبار ابری و اعتبار Confluent را نگه دارید.
آیا Kafka برای یک استارتاپ در مرحله اولیه بیش از حد است؟
اغلب، بله. اگر یک کارگر هر پیام را مصرف کند و شما هرگز تاریخچه را پخش مجدد نکنید، Postgres، Redis streams یا SQS ارزانتر و سادهتر هستند. Kafka هزینه خود را زمانی توجیه میکند که چندین سیستم مستقل رویدادهای یکسان را بخوانند، زمانی که پخش مجدد مهم است، یا زمانی که یک مصرفکننده کند نباید بقیه محصول را مسدود کند.
چرا صورتحساب خروجی Confluent من بیشتر از ورودی من است؟
زیرا هر گروه مصرفکننده جریان کامل را میخواند. چهار مصرفکننده در یک موضوع به معنی تقریباً چهار برابر حجم ورودی شما در خروجی است. از رقم ضرب شده ضریب پخش خود به جای ورودی بودجهبندی کنید، و در نظر بگیرید که یک مصرفکننده به جای اضافه کردن خواننده پنجم، یک موضوع مشتق شده منتشر کند.
آیا میتوانم اعتبارات Confluent را با سایر اعتبارات استارتاپی ترکیب کنم؟
بله، و اعتبارات جریان به طور غیرمعمولی به خوبی انباشته میشوند زیرا صورتحسابها همپوشانی ندارند. اعتبارات ابری ماشینها را پوشش میدهند، Confluent حمل و نقل را پوشش میدهد، اعتبارات پلتفرم داده انبار دادهای را که در آن فرود میآید پوشش میدهد، و اعتبارات مدل استنتاج را پوشش میدهند. کدام برنامهها سازگار هستند در 194 شرکت در getaiperks.com ردیابی میشوند.
وقتی اعتبارات Confluent تمام شود چه اتفاقی میافتد؟
شما یک صورتحساب با اندازه گرفته شده از پیشفرضهای نگهداری، فشردهسازی و ضریب پخش که در حالی که رایگان بود انتخاب شدهاند، به ارث میبرید. آنها را در ابتدا عمداً تنظیم کنید، ادغام خود را در سطح پروتکل Kafka نگه دارید تا قابل حمل باقی بماند، و تصمیم بگیرید که در 70% اعتبار مصرف شده چه چیزی را قطع خواهید کرد، نه پس از رسیدن فاکتور.
در getaiperks.com مشترک شوید →
رویدادها را جابجا کنید. اجازه دهید شخص دیگری هزینه حمل و نقل را بپردازد در حالی که شما بر روی آن میسازید.