Databricks 스타트업 프로그램이 제공하는 것
Databricks는 데이터 인텔리전스 플랫폼에 대해 최대 $50,000의 크레딧을 제공하며, 이는 단일 플랫폼 청구서에서 Spark 컴퓨팅, SQL 웨어하우스, Delta Lake 파이프라인 및 Mosaic AI 머신러닝 스택을 포함합니다.
이는 데이터 플랫폼 범주에서 상당한 보조금 중 하나입니다. AI Perks는 이를 194개 회사에 걸쳐 $7.7M의 크레딧과 함께 추적합니다.
실제로 중요한 숫자는 $50,000가 아닙니다. 신용이 Databricks 플랫폼 사용량을 포함하고, 일반적으로 플랫폼이 실행되는 클라우드 가상 머신에는 해당되지 않아 AWS, Azure 또는 Google Cloud에 직접 계속 비용을 지불한다는 사실입니다. 이러한 구조를 놓치는 창업자는 하나의 청구서를 예산으로 잡았다가 두 개의 청구서를 받게 됩니다. 조건은 경로에 따라 다르며, 현재 조건은 getaiperks.com에 나열되어 있습니다.
Databricks는 실제로 무엇을 위한 것인가
Databricks는 분석 및 머신러닝 모두에 대해 하나의 관리 계층을 판매하므로, BI 대시보드가 읽는 테이블과 모델이 학습하는 테이블은 동일한 권한을 가진 동일한 테이블입니다.
이 모든 것의 각 부분은 별도로 저렴하게 존재합니다. Postgres는 놀라운 규모까지 분석을 처리합니다. dbt는 변환을 처리합니다. S3와 Parquet는 스토리지를 처리합니다. Airflow는 오케스트레이션을 처리합니다. MLflow는 오픈 소스이며 직접 호스팅할 수 있습니다.
귀하가 구매하는 것은 이들 간의 연결이며, 고객을 다르게 정의하는 다섯 가지 시스템을 유지 관리하는 데이터 엔지니어가 없다는 것입니다. Delta Lake는 객체 스토리지에 대한 ACID 트랜잭션과 시간 여행을 제공합니다. Unity Catalog는 SQL, 노트북 및 모델 학습 전반에 걸쳐 하나의 권한 모델을 제공합니다.
이것이 필요한지 여부를 판단하는 정직한 테스트: 비즈니스가 의존하는 쿼리가 인내심보다 오래 걸리거나, 대시보드와 다른 곳에서 학습 데이터를 가져오나요? 둘 다 사실이 아니라면, Postgres와 dbt는 실제로 귀하를 지원하며, 크레딧은 나중에 사용하는 것이 좋습니다. 단일 Postgres 인스턴스는 수천만 행과 대부분의 시드 단계 분석을 문제없이 처리합니다.
이벤트 스트림을 트랜잭션 데이터와 결합하거나, 수백 기가바이트에 걸쳐 Spark 작업을 실행하거나, 거버넌스를 유지해야 하는 데이터에 대해 학습하는 경우, 이 범주가 존재하는 이유를 이미 알고 있습니다.
Databricks 가격은 대규모에서 어떻게 동작하는가
Databricks는 초당 소비 단위인 DBU로 청구하며, 이 비율은 어떤 제품에서 작업을 실행하는지에 따라 달라집니다. 이 청구서는 제공업체에 지불하는 별도의 클라우드 인프라 청구서 위에 있습니다.
동일한 Spark 작업은 어떤 레인에서 실행하는지에 따라 극적으로 다른 비용이 발생합니다. 이것이 크레딧을 켜기 전에 이해해야 할 가장 중요한 사항입니다.
| 측정 항목 | 대략적인 목록 동작 | 급증하는 이유 |
|---|---|---|
| 작업 컴퓨팅 | DBU당 약 $0.15, AWS 프리미엄 티어 | 거의 문제되지 않음, 이것이 저렴한 레인입니다 |
| 범용 컴퓨팅 | DBU당 약 $0.55, 작업 컴퓨팅의 약 3.5배 | 대화형 클러스터에 계속 켜져 있는 프로덕션 파이프라인 |
| 서버리스 SQL | DBU당 약 $0.70 | 자동 새로고침 대시보드, 자동 중지 미설정 |
| Delta Live Tables | 기능 세트에 따라 계층화됨 | 트리거되었으면 되는 연속 모드 |
| 모델 서빙 | 프로비저닝된 처리량의 DBU 시간당 | 도착하지 않는 트래픽에 대해 계속 켜져 있는 엔드포인트 |
| 기본 클라우드 VM | AWS, Azure 또는 GCP에 지불, Databricks에는 아님 | 종종 DBU 요금 자체와 동일한 규모 |
이것들은 AWS 프리미엄 티어에서 작성 당시 게시된 목록 가격이며, 변동합니다. 무언가를 모델링하기 전에 현재 요율을 확인하십시오.
작업 예시. 시간당 약 2 DBU의 4노드 작업 클러스터가 매일 밤 2시간씩 실행되면 한 달에 약 480 DBU, 즉 플랫폼 요금으로 약 $72입니다. 8시간 동안 주중 내내 활성 상태인 단일 2X-Small 서버리스 SQL 웨어하우스는 약 700 DBU, 즉 약 $490를 소비합니다. 그 아래의 EC2 요금을 추가하면 시드 단계의 발자국이 월 $1,100 근처에 도달하며, $50,000 크레딧으로 약 3년 반 동안 커버할 수 있습니다.
반대의 경우 팀이 피해를 입습니다. 자동 종료가 비활성화된 단일 5노드 범용 클러스터는 월 약 7,200 DBU, 즉 $3,960의 DBU만 소모하며, 아무도 사용하지 않는 작업에 대한 것입니다. 아무도 그렇게 선택하지 않습니다. 누군가가 금요일에 노트북을 닫아서 발생합니다. AI Perks는 크레딧 조건을 나열하며, 규율은 귀하에게 있습니다.
Databricks 크레딧은 무엇과 함께 사용할 수 있는가
Databricks 크레딧은 플랫폼 사용량을 포함하며, 기본 클라우드 VM은 제공업체에서 청구하므로 클라우드 크레딧과 Databricks 크레딧은 인프라에서 가장 깔끔하게 결합되는 쌍입니다.
이는 이례적입니다. 대부분의 크레딧 프로그램은 중복되며, 두 개를 보유하면 종종 하나를 낭비하게 됩니다. 여기서는 진정으로 보완적입니다. AWS, Azure 또는 Google Cloud 보조금은 컴퓨팅 및 스토리지 계층을 흡수하고, Databricks 보조금은 그 위에 있는 플랫폼 계층을 흡수합니다. 둘 다 보유한 팀은 동일한 기간 동안 본질적으로 전체 데이터 스택을 확보한 것입니다.
초기 AI 제품에 대한 전체 그림:
- 클라우드 크레딧은 머신이 실행되는 곳과 데이터가 저장되는 곳을 포함합니다.
- Databricks 크레딧은 해당 스토리지를 거버넌스된 테이블 및 파이프라인으로 변환하는 플랫폼을 포함합니다.
- 모델 및 API 크레딧은 런타임에 애플리케이션이 호출하는 추론을 포함합니다.
- 관찰 가능성 크레딧은 이 중 어느 것이 작동하는지 여부를 아는 것을 포함합니다.
어떤 보조금이 호환되는지, 어떤 것이 조용히 서로를 배제하는지 보는 것이 AI Perks가 북마크 폴더가 아닌 유지 관리되는 목록으로 존재하는 이유입니다.
창업자들이 데이터 플랫폼 크레딧에 대해 잘못 이해하는 것
가장 비싼 실수는 대규모 크레딧을 무료 데이터 엔지니어링으로 취급하는 것이 아니라, 종료 후에 감당할 수 있는 비용 습관을 구축할 고정된 기간으로 취급하는 것입니다.
다섯 가지 실패 패턴, 비용 순으로:
범용 컴퓨팅에서 프로덕션 실행. 대화형 클러스터는 개발하는 곳입니다. 작업 컴퓨팅은 예약된 작업이 속한 곳으로, 동일한 결과에 대해 DBU 요금의 약 1/3입니다. 팀은 노트북으로 프로토타입을 만들고, 노트북을 예약하고, 영원히 세 배의 비용을 지불합니다.
자동 종료 없음. 유휴 클러스터는 바쁜 클러스터와 동일한 비용이 듭니다. 모든 범용 클러스터에 공격적인 자동 종료를 설정하고, 첫 번째 인보이스 이후가 아니라 생성하는 날에 모든 SQL 웨어하우스에 자동 중지를 설정하십시오.
두 번째 청구서 잊기. 크레딧은 DBU를 상쇄합니다. 클라우드 제공업체는 여전히 인스턴스, 스토리지 및 나가는 트래픽에 대해 청구합니다. 둘 다 예산으로 잡고, getaiperks.com에서 이와 함께 제공되는 클라우드 프로그램이 무엇인지 확인하십시오.
데이터가 정당화하기 전에 레이크하우스 채택. 크레딧은 팀이 기본값을 선택하는 정확한 순간에 가격 신호를 제거합니다. 5GB의 데이터로 Databricks로 마이그레이션하는 것은 속도가 아닌 복잡성을 제공하며, 이후에 운영 모델을 상속합니다.
퇴출 계획이 너무 늦음. 크레딧은 목록 가격으로 표시되므로, $50,000의 크레딧은 협상된 지출 $50,000보다 가치가 낮으며, 종료되는 달은 경사보다는 절벽입니다. 70% 소비 시점에 무엇을 줄일지 결정하십시오. 100%가 아닙니다.
데이터 플랫폼 크레딧을 받기 전에 결정해야 할 사항
데이터 플랫폼 크레딧은 숨겨진 비용 습관이 이미 그것 없이도 감당할 수 있는 습관일 때 가장 큰 가치를 지닙니다.
AI Perks는 Databricks를 데이터 및 인프라 범주의 다른 웨어하우스, 스트리밍 및 파이프라인 프로그램과 함께 나열하며, 각 프로그램의 현재 조건과 금액을 표시하여 범주가 한 번에 한 프로그램이 아닌 하나의 그림으로 읽히도록 합니다.
미터가 시작되기 전에 결정할 가치가 있는 네 가지 사항:
두 번째 청구서. 플랫폼 사용량과 클라우드 인프라는 다른 회사에서 청구합니다. Databricks 보조금 자체만으로는 실제 데이터 플랫폼 비용의 절반 정도가 충당되지 않으므로, 같은 장소에 나열된 클라우드 프로그램이 이 프로그램만큼 중요합니다.
파트너 경로. 대규모 인프라 크레딧의 상당 부분은 직접 경로가 아닌 액셀러레이터, 투자자 및 클라우드 마켓플레이스를 통해 스타트업에 도달하며, 조건은 경로에 따라 다릅니다. 하나의 경로가 있다고 가정하기 전에 기존 관계가 이미 무엇을 잠금 해제하는지 아는 것이 중요합니다.
워크로드에 대한 타이밍. 크레딧 시계는 일반적으로 계정이 승인될 때가 아니라 계정이 활성화될 때 시작됩니다. 파이프라인이 아직 설계 중일 때 실행되는 크레딧은 아무것도 소비하지 않는 크레딧입니다.
귀하의 보조금 없는 금액. 첫날 정가로 플랫폼 비용이 얼마인지 적어둔 다음, 크레딧이 종료될 때 그곳에 도착하도록 클러스터 정책, 자동 종료 및 웨어하우스 크기를 설정하십시오.
자주 묻는 질문
Databricks 스타트업 프로그램의 가치는 얼마입니까?
Databricks 플랫폼에 대해 최대 $50,000의 크레딧을 제공하며, Spark 작업, SQL 웨어하우스, Delta Live Tables 파이프라인 및 머신러닝 워크로드를 포함합니다. 월 $1,100 정도를 지출하는 시드 단계 팀의 경우, 플랫폼 청구서에 대해 약 3년 반의 런타임입니다. 현재 조건 및 자격은 getaiperks.com에서 추적됩니다.
Databricks 크레딧이 AWS 또는 Azure 청구서를 포함하나요?
일반적으로 그렇지 않습니다. Databricks 크레딧은 DBU로 측정되는 플랫폼 사용량을 상쇄하는 반면, 기본 가상 머신, 객체 스토리지 및 네트워크 이그레스는 클라우드 제공업체에서 청구합니다. 예산을 책정하기 전에 특정 조건을 확인하고, 하나의 대규모 보조금보다는 클라우드 보조금과 Databricks 보조금을 모두 보유할 계획을 세우십시오.
Databricks는 사전 시드 스타트업에게 과도한가요?
종종 그렇습니다. Postgres와 dbt는 수천만 행과 대부분의 시드 단계 분석을 거의 무료로 처리합니다. Databricks는 이벤트 데이터를 트랜잭션 데이터와 결합하거나, 수백 기가바이트에 걸쳐 Spark를 실행하거나, 거버넌스되고 재현 가능한 데이터에 대해 모델을 학습할 때 가격 대비 가치를 발휘합니다.
DBU는 무엇이며 왜 요율이 변경되나요?
DBU는 Databricks Unit으로, 소비된 처리량의 초당 측정 단위입니다. DBU당 요율은 어떤 제품에서 작업을 실행하는지에 따라 달라집니다. 작업 컴퓨팅은 가장 저렴한 레인이며, 범용 컴퓨팅은 약 3.5배 더 비싸고, 서버리스 SQL은 더 비쌉니다. 대화형 클러스터에서 예약된 작업을 실행하는 것이 가장 일반적인 피할 수 있는 과소비입니다.
Databricks 크레딧을 다른 스타트업 크레딧과 결합할 수 있나요?
예, 청구서가 중복되지 않아 조합이 매우 깔끔합니다. 클라우드 크레딧은 머신을 포함하고, Databricks 크레딧은 플랫폼을 포함하며, 모델 크레딧은 런타임 시 추론을 포함합니다. 어떤 프로그램이 서로 호환되는지는 getaiperks.com에서 194개 회사에 걸쳐 추적됩니다.
Databricks 크레딧이 소진되면 어떻게 되나요?
무료였을 때 형성된 습관에 의해 크기가 결정된 청구서를 물려받게 되며, 이는 협상된 요금이 아닌 목록 가격으로 청구됩니다. 해결책은 크레딧이 만료될 때 실행 중인 것이 귀하의 보조금 없는 발자국이 되도록 클러스터 정책, 자동 종료 및 웨어하우스 제한을 조기에 설정하는 것입니다.
데이터 플랫폼을 구축하십시오. 나머지 3년은 다른 사람이 자금 지원하도록 하십시오.