Giá trị của tín dụng AWS Trainium miễn phí là bao nhiêu?
Tín dụng AWS Trainium có thể lên tới 300.000 đô la cho các startup đào tạo hoặc phục vụ mô hình trên các bộ tăng tốc AI của Amazon, đưa nó vào danh sách các khoản tài trợ tính toán lớn nhất mà một nhóm giai đoạn đầu có thể nhận được.
Số tiền lớn là do khối lượng công việc tốn kém. Đối với một công ty sở hữu trọng số mô hình của riêng mình, giờ bộ tăng tốc là khoản chi duy nhất có thể vượt quá tiền lương trước khi sản phẩm có khách hàng.
Điều kiện đủ điều kiện phụ thuộc vào giai đoạn và nguồn vốn thay vì kế hoạch xây dựng của bạn. AI Perks theo dõi các điều khoản hiện tại cùng với 7,7 triệu đô la tín dụng trên 194 công ty.
Mục đích thực sự của AWS Trainium là gì
Trainium là một con chip, không phải là một dịch vụ. AWS thiết kế nó để đào tạo học sâu và suy luận khối lượng lớn, và bạn sử dụng nó dưới dạng các phiên bản EC2 Trn chạy ngăn xếp của riêng bạn thay vì dưới dạng API được lưu trữ.
Sự khác biệt đó quyết định liệu tín dụng có hữu ích cho bạn hay không. Từ đó rút ra hai điều:
Bạn mang theo mã đào tạo. Các phiên bản Trainium cung cấp cho bạn năng lực bộ tăng tốc thô. Khung làm việc của bạn, thiết lập đào tạo phân tán của bạn, điểm kiểm tra của bạn, điều phối của bạn.
Lớp phần mềm là Bộ công cụ AWS Neuron SDK. Neuron là thứ biên dịch biểu đồ PyTorch hoặc JAX xuống trình chạy Trainium. Nó là thứ làm cho mô hình chạy nhanh trên silicon này, và nó cũng là thứ làm cho việc chuyển đổi trở nên không hề đơn giản.
Trainium có một dòng sản phẩm song song là Inferentia, nhắm vào suy luận, mặc dù các thế hệ Trainium mới hơn được tiếp thị cho cả hai. AWS thường xuyên lặp lại thế hệ chip, và thế hệ bạn thực sự có thể nhận được phụ thuộc vào khu vực và dung lượng thay vì số dư tín dụng của bạn.
Trainium phù hợp với các nhóm tinh chỉnh các mô hình trọng lượng mở, tiếp tục đào tạo trước trên dữ liệu miền hoặc tự lưu trữ suy luận với số lượng lớn. Nếu sản phẩm của bạn chỉ gọi mô hình của người khác qua API, đây là lớp sai và bạn muốn tín dụng mô hình thay thế. AI Perks liệt kê cả hai loại song song.
Chi phí Trainium hoạt động như thế nào ở quy mô lớn
Chi tiêu bộ tăng tốc được tính theo giờ phiên bản, không phải yêu cầu, vì vậy hóa đơn theo dõi thời gian hoạt động của cụm của bạn và mức độ sử dụng tốt của bạn, không phải lượng đầu ra bạn đã tạo ra.
Đây là điều quan trọng nhất cần ghi nhớ trước khi chi tiêu một khoản tín dụng lớn.
| Khối lượng công việc | Điều gì thúc đẩy hóa đơn | 300.000 đô la hoạt động như thế nào |
|---|---|---|
| Tinh chỉnh các mô hình trọng lượng mở | Các đợt bùng nổ đa nút ngắn | Bao gồm nhiều thử nghiệm, khó hết |
| Tiếp tục đào tạo trước trên dữ liệu miền | Nhiều tuần thời gian cụm ổn định | Một lần chạy nghiêm túc, không phải một loạt |
| Tự lưu trữ suy luận ở tải ổn định | Giờ phiên bản luôn bật | Giảm dần có thể dự đoán hàng tháng |
| Đánh giá và rà soát nghiên cứu | Cụm nhàn rỗi giữa các công việc | Lãng phí nhanh hơn bất kỳ mẫu nào khác |
| Đào tạo quy mô biên giới từ đầu | Hàng nghìn giờ bộ tăng tốc | Một lỗi làm tròn |
Ba hành vi chi phí đáng để lên kế hoạch:
Sử dụng chiếm ưu thế hơn tốc độ. Một cụm ở mức sử dụng 40% có chi phí tương đương mỗi giờ với cụm ở mức 90%. Theo đuổi mức giá mỗi giờ rẻ hơn trong khi chạy các công việc nửa nhàn rỗi là sự tối ưu hóa sai.
Mở rộng quy mô đa nút là dưới tuyến tính. Nhân đôi số nút hiếm khi giảm một nửa thời gian đồng hồ. Kết nối và tải dữ liệu trở thành giới hạn, và khoảng cách giữa thông lượng lý thuyết và thực tế là nơi tín dụng biến mất.
Lưu trữ và di chuyển dữ liệu là hóa đơn thứ hai. Điểm kiểm tra, bộ dữ liệu và lưu lượng truy cập giữa các vùng tích lũy âm thầm bên cạnh dòng bộ tăng tốc, và tín dụng áp dụng cho tính toán có thể không bao gồm tất cả.
AWS định vị Trainium dựa trên hiệu suất giá so với các phiên bản GPU tương đương chứ không phải dựa trên giá mỗi giờ. Hãy coi bất kỳ so sánh nào được công bố là tuyên bố của nhà cung cấp và hãy tự mình kiểm tra mô hình của bạn, vì kết quả phụ thuộc rất nhiều vào kiến trúc và độ dài chuỗi.
Tín dụng AWS Trainium kết hợp với những gì
Tín dụng tính toán và tín dụng mô hình là các hóa đơn khác nhau, và vị thế tài chính mạnh nhất là nắm giữ nhiều khoản tài trợ vừa phải trên các lớp khác nhau thay vì một khoản tài trợ lớn trong một lớp duy nhất.
Hầu hết các startup AI phải trả bốn hóa đơn riêng biệt. Một khoản tài trợ chi trả cho một trong số đó là hữu ích. Sự kết hợp chi trả cho ba là khả năng hoạt động trong một năm.
| Lớp của ngăn xếp | Chi trả cho điều gì | Quy mô tín dụng điển hình |
|---|---|---|
| Tính toán bộ tăng tốc (Trainium) | Chạy đào tạo, suy luận tự lưu trữ | Lên đến 300.000 đô la |
| Điện toán đám mây chung (lưu trữ, dữ liệu, phục vụ) | Mọi thứ bao quanh mô hình | Năm đến sáu con số |
| API mô hình (Anthropic, OpenAI, Google) | Các lệnh gọi mà sản phẩm của bạn thực hiện | Bốn đến sáu con số |
| Công cụ phát triển và khả năng quan sát | Xây dựng, giám sát, đánh giá | Hàng trăm đến hàng nghìn |
Trainium chỉ nằm ở hàng đầu tiên. Nếu bạn vừa đào tạo một mô hình vừa gọi một API biên giới cho các phần bạn chưa tự đào tạo, bạn đang trả tiền cho hàng một và hàng ba cùng một lúc, và bạn nên đăng ký cho cả hai. Khả năng tương thích giữa các chương trình khác nhau, và đó là chi tiết mà AI Perks tồn tại để giải quyết.
Những gì người sáng lập hiểu sai về Trainium
Sai lầm tốn kém nhất là lập ngân sách Trainium như một sự thay thế GPU tức thời và phát hiện ra chi phí chuyển đổi sau khi tín dụng đã bắt đầu hoạt động.
Bốn lỗi lặp đi lặp lại:
Đánh giá thấp quá trình chuyển đổi. Các kiến trúc transformer tiêu chuẩn chạy qua các đường dẫn khung làm việc được hỗ trợ có xu hướng chuyển đổi gọn gàng. Các kernel CUDA tùy chỉnh, các biến thể chú ý mới nhất và mã nghiên cứu tiên tiến thì không. Hãy kiểm tra một bước đào tạo thực tế trên dữ liệu thực tế trước khi bạn cam kết lộ trình cho nó.
Giả định tín dụng giải quyết dung lượng. Số dư tín dụng là một công cụ thanh toán. Việc có được một cụm đa nút lớn trong khu vực bạn muốn, vào thời điểm bạn muốn, là một vấn đề về dung lượng và đặt chỗ mà tiền không thể giải quyết.
Bắt đầu đồng hồ quá sớm. Tín dụng tính toán có thời hạn. Kích hoạt một khoản tài trợ lớn nhiều tháng trước khi bạn có khối lượng công việc có thể hấp thụ nó là cách phổ biến nhất mà người sáng lập lãng phí nó, và trình tự quan trọng hơn số tiền nổi bật.
Đo lường đơn vị sai. Tỷ lệ mỗi giờ không phải là chi phí của bạn. Chi phí cho mỗi lần chạy đào tạo hoàn thành, hoặc chi phí cho mỗi triệu token được phục vụ, mới là chi phí. Các nhóm theo dõi con số mỗi giờ tối ưu hóa cho phiên bản rẻ nhất và cuối cùng phải trả nhiều hơn cho mỗi kết quả.
Sai lầm thứ năm, thầm lặng là đăng ký một chương trình và dừng lại. Tiêu chí phê duyệt khác nhau đủ giữa các nhà cung cấp đến nỗi một vài đơn đăng ký tốt hơn một đơn cẩn thận duy nhất. getaiperks.com là nơi toàn bộ tập hợp cư trú.
Vị thế của Trainium trong các chương trình tín dụng tính toán
Trainium là một lựa chọn trong số một lĩnh vực cạnh tranh về các chương trình bộ tăng tốc, và sự so sánh hữu ích không phải là số tiền nổi bật nào lớn nhất mà là mỗi chương trình thực sự giải quyết phần nào của hóa đơn.
AWS, Google Cloud, Azure, Nvidia và một loạt các nhà cung cấp GPU không máy chủ ngày càng tăng đều chạy các chương trình tín dụng nhắm vào các startup AI. Số tiền quảng cáo không thể so sánh với nhau, vì mỗi chương trình bao gồm một hỗn hợp khác nhau của giờ bộ tăng tốc, dịch vụ đám mây chung và các điểm cuối mô hình được quản lý. Một khoản tài trợ lớn chỉ chi trả cho các dịch vụ bạn không sử dụng thì ít giá trị hơn một khoản tài trợ khiêm tốn chi trả cho điểm nghẽn thực tế của bạn.
Ba điều phân biệt các nhóm nhận được giá trị từ khoản tài trợ tính toán với các nhóm giữ một khoản tài trợ không sử dụng:
Sự sẵn sàng vượt trội về quy mô. Một khoản tài trợ có giá trị tương đương với những gì bạn có thể hấp thụ khi nó còn hiệu lực. Các nhóm có mã đào tạo sẵn sàng chạy biến tín dụng bộ tăng tốc thành kết quả. Các nhóm vẫn đang chọn mô hình cơ sở có xu hướng để số dư đứng yên.
Sự đa dạng vượt trội hơn sự tập trung. Tiêu chí phê duyệt khác nhau đủ giữa các nhà cung cấp đến nỗi việc giữ nhiều khoản tài trợ vừa phải trên bộ tăng tốc tính toán, điện toán đám mây chung, API mô hình và công cụ là một vị thế mạnh hơn một khoản tài trợ lớn trong một lớp duy nhất.
Các điều khoản thay đổi. Các chương trình cơ sở hạ tầng sửa đổi số tiền, phạm vi bảo hiểm và tiêu chí đủ điều kiện thường xuyên hơn bất kỳ loại tín dụng nào khác, vì vậy một ảnh chụp nhanh về cảnh quan sẽ lỗi thời nhanh hơn những gì người sáng lập mong đợi. AI Perks tồn tại vì việc giữ cho bức tranh này luôn cập nhật là một công việc tự thân.
Câu hỏi thường gặp
Giá trị của tín dụng AWS Trainium miễn phí là bao nhiêu?
Lên đến 300.000 đô la, đôi khi được viết là 300K tín dụng AWS, cho các startup đào tạo hoặc phục vụ mô hình trên các phiên bản bộ tăng tốc AWS. Đó là một trong những khoản tài trợ tính toán lớn nhất dành cho một công ty giai đoạn đầu. Điều kiện đủ điều kiện phụ thuộc vào giai đoạn và nguồn vốn thay vì trường hợp sử dụng của bạn, và các điều khoản hiện tại được theo dõi tại getaiperks.com.
AWS Trainium dùng để làm gì?
Trainium là bộ tăng tốc tùy chỉnh của Amazon cho học sâu. Các nhóm sử dụng nó để đào tạo mô hình từ đầu, tiếp tục đào tạo trước, tinh chỉnh các mô hình trọng lượng mở và suy luận tự lưu trữ khối lượng lớn. Nó được sử dụng dưới dạng các phiên bản EC2 Trn và được lập trình thông qua Bộ công cụ AWS Neuron SDK, vì vậy bạn tự cung cấp ngăn xếp đào tạo.
Trainium có rẻ hơn thuê GPU không?
AWS định vị Trainium dựa trên hiệu suất giá chứ không phải giá mỗi giờ, và câu trả lời trung thực là nó phụ thuộc vào mô hình của bạn. Khối lượng công việc transformer tiêu chuẩn ánh xạ gọn gàng lên trình biên dịch Neuron có xu hướng hoạt động tốt. Các kiến trúc bất thường hoặc kernel tùy chỉnh có thể mất lợi thế vào nỗ lực chuyển đổi và sử dụng thực tế thấp hơn.
Tôi có thể kết hợp tín dụng Trainium với tín dụng API mô hình không?
Có, và hầu hết các nhóm nên làm vậy. Chúng chi trả các hóa đơn khác nhau: Trainium là nơi mô hình của bạn được đào tạo và chạy, trong khi tín dụng Anthropic, OpenAI và Google chi trả cho các lệnh gọi API biên giới mà sản phẩm của bạn thực hiện xung quanh nó. Sở hữu cả hai là cách người sáng lập trang trải một năm đầy đủ. Xem những gì kết hợp tại AI Perks.
Tôi có cần viết lại mã PyTorch của mình cho Trainium không?
Thông thường không phải viết lại, nhưng hãy chuẩn bị cho việc chuyển đổi. Bộ công cụ AWS Neuron SDK tích hợp vào PyTorch và JAX, và các kiến trúc mô hình phổ biến sẽ chuyển đổi với các thay đổi cấu hình. Kernel tùy chỉnh và các hoạt động không được hỗ trợ là nơi công việc thực sự nằm, vì vậy hãy kiểm tra một bước đào tạo đầy đủ trước khi lên kế hoạch xung quanh nó.
Một startup nên đăng ký các khoản tín dụng tính toán nào khác?
AWS, Google Cloud, Azure, Nvidia và một số nhà cung cấp GPU không máy chủ đều chạy các chương trình startup, và một số trong số chúng tương thích với nhau. AI Perks theo dõi 7,7 triệu đô la tín dụng trên 194 công ty, với các điều khoản hiện tại cho từng công ty, tại getaiperks.com.
Đào tạo mô hình. Hãy để người khác trả tiền cho phần cứng.