AWS Trainium 免费额度值多少钱？
AWS Trainium 额度为在亚马逊自研 AI 加速器上训练或服务模型的初创公司提供高达 30 万美元的额度，这使其成为早期团队可以获得的最大单项计算资助之一。
之所以金额如此之大，是因为相关的计算工作量成本高昂。对于拥有自己模型权重的公司而言，在产品尚未有客户的情况下，加速器使用时长这一项支出就可能超过人力成本。
资格取决于公司所处的阶段和融资情况，而不是您计划构建什么。 AI Perks 会追踪当前的条款，并已为 194 家公司提供了总计 770 万美元的额度。
AWS Trainium 的实际用途
Trainium 是一款芯片，而非一项服务。AWS 设计它是为了进行深度学习训练和高流量推理，您需要将其作为 EC2 Trn 实例来运行自己的堆栈，而不是通过托管 API 来使用。
这一区别决定了该额度是否对您有用。由此引申出两点：
您需要自行提供训练代码。 Trainium 实例为您提供原始的加速器算力。您的框架、分布式训练设置、检查点、编排都需由您自行负责。
软件层是 AWS Neuron SDK。 Neuron 负责将 PyTorch 或 JAX 的计算图编译到 Trainium 运行时。它使得模型能在该芯片上快速运行，同时也意味着迁移模型并非易事。
Trainium 有一个同系产品 Inferentia，主要面向推理任务，尽管新一代 Trainium 也被宣传可用于两者。AWS 会定期更新芯片代际，您实际能使用的代际取决于区域和可用容量，而非您的额度余额。
Trainium 适用于需要微调开源模型、对领域数据进行持续预训练或进行高流量自托管推理的团队。如果您的产品只是通过 API 调用其他人的模型，那么这项服务就不适合您，您需要的是模型额度。 AI Perks 会并列展示这两类额度。
Trainium 在规模化使用时的成本表现
加速器支出按实例小时计费，而非按请求量计费，因此账单反映的是您的集群运行了多久以及利用率有多高，而不是您产生了多少输出。
在花费大笔额度之前，理解这一点至关重要。
| 工作负载 | 成本驱动因素 | 30 万美元额度的使用情况 |
|---|---|---|
| 微调开源模型 | 短时间的多节点爆发 | 可支持大量实验，难以用尽 |
| 对领域数据进行持续预训练 | 数周的持续集群时间 | 可支持一次大规模训练，而非系列训练 |
| 稳定负载下的自托管推理 | 持续运行的实例小时 | 每月可预测地消耗 |
| 评估和研究扫描 | 作业之间的闲置集群 | 消耗速度快于任何其他模式 |
| 从零开始的超大规模训练 | 数千个加速器小时 | 仅占很小的比例 |
有三种成本行为值得提前规划：
利用率决定成本。 一个利用率 40% 的集群每小时的成本与一个利用率 90% 的集群相同。在任务半空闲时追求更低的每小时费率是错误的优化方向。
多节点扩展是非线性的。 节点数量翻倍，通常无法使完成时间减半。互连和数据加载成为瓶颈，理论吞吐量与实际吞吐量之间的差距是额度消失的地方。
存储和数据移动是第二项账单。 检查点、数据集和跨区域流量会悄悄地累积，而适用于计算的额度可能无法覆盖所有这些费用。
AWS 将 Trainium 定位为与同类 GPU 实例相比具有价格性能优势，而非追求最低的每小时价格。将任何公开的比较视为供应商的宣传，并对您自己的模型进行基准测试，因为结果很大程度上取决于模型架构和序列长度。
AWS Trainium 额度可以与其他哪些额度叠加使用
计算额度与模型额度是不同的账单，而最有利的融资策略是持有多个不同层级的适度额度，而不是在一个层级上持有单一的大额度。
大多数 AI 初创公司需要支付四项独立的账单。一项能覆盖其中一项的资助就很有帮助。能够覆盖三项的组合则可以提供一年的运营资金。
| 技术栈层级 | 支付内容 | 典型额度规模 |
|---|---|---|
| 加速器计算 (Trainium) | 训练运行，自托管推理 | 最高 30 万美元 |
| 通用云 (存储，数据，服务) | 模型相关的全部周边服务 | 五到六位数 |
| 模型 API (Anthropic, OpenAI, Google) | 您的产品调用的 API | 四到六位数 |
| 开发工具和可观测性 | 构建、监控、评估 | 数百到数千美元 |
Trainium 仅位于第一行。如果您既训练自己的模型，又调用前沿 API 来处理未训练的部分，那么您将同时支付第一行和第三行的费用，并应同时申请这两项额度。不同计划之间的兼容性各不相同， AI Perks 旨在解决这一细节问题。
创始人常在 Trainium 上犯的错误
最昂贵的错误是将 Trainium 视为一个可以直接替代 GPU 的方案，并在额度已经开始消耗后才发现迁移成本。
四个常见的错误：
低估迁移成本。 在支持的框架路径下运行的标准 Transformer 架构通常可以顺利迁移。自定义 CUDA 内核、奇异的注意力变体和最新的研究代码则不行。在制定路线图之前，请先在真实数据上进行一次实际训练步骤的基准测试。
假定额度能解决算力问题。 额度余额是一种计费工具。在您想要的区域、想要的时间获得一个大型多节点集群，是算力和预订问题，金钱本身无法解决。
过早启动计时器。 计算额度有时间限制。在您有足够工作量来消耗额度之前几个月激活一个大型资助，是创始人浪费额度的最常见方式，时序比头条数字更重要。
衡量错误的单位。 每小时费率不是您的成本。成本按完成的训练运行次数，或每百万个服务标记数计算。追踪每小时数字的团队会优化选择最便宜的实例，但最终每项结果的成本却更高。
第五个，也是不那么显眼的错误是只申请一个项目就停止了。不同提供商的审批标准差异很大，因此申请多个项目比只仔细申请一个效果更好。 getaiperks.com 包含了所有项目。
Trainium 在计算额度项目中的地位
Trainium 是众多加速器项目中的一个选项，有用的比较不是哪个头条数字最大，而是每个项目实际抵消了账单的哪一部分。
AWS、Google Cloud、Azure、Nvidia 以及越来越多的无服务器 GPU 提供商都推出了面向 AI 初创公司的额度项目。不同项目宣传的金额无法直接比较，因为它们涵盖的加速器小时数、通用云服务和托管模型端点组合不同。一个支付您不使用的服务的巨额资助，价值低于一项覆盖您实际瓶颈的适度资助。
能够从计算额度中获得价值的团队与那些拥有未使用的额度的团队之间，有三个关键区别：
准备度胜于规模。 额度的价值在于您在额度有效期内能够消耗多少。那些拥有已准备好运行的训练代码的团队可以将加速器额度转化为实际成果。而那些还在选择基础模型的团队，则容易眼睁睁看着余额不动。
广度胜于集中。 不同提供商的审批标准差异很大，因此同时持有加速器计算、通用云、模型 API 和开发工具等多个层级的适度额度，比在一个层级上持有单一的大额度更有优势。
条款变动。 基础设施项目会比其他任何额度类别更频繁地修订金额、覆盖范围和资格标准，因此行业格局的快照会比创始人预期的更快过时。AI Perks 的存在就是因为保持这种最新图景本身就是一项艰巨的任务。
常见问题解答
AWS Trainium 免费额度值多少钱？
对于在 AWS 加速器实例上训练或服务模型的初创公司，最高可达 30 万美元，有时也写为 30 万 AWS 额度。这是早期公司可以获得的最大单项计算资助之一。资格取决于公司所处的阶段和融资情况，而不是您的用例，当前的条款可在 getaiperks.com 上追踪。
AWS Trainium 用于什么？
Trainium 是亚马逊定制的深度学习加速器。团队用它来从零开始训练模型、进行持续预训练、微调开源模型以及进行高流量自托管推理。它以 EC2 Trn 实例的形式被消耗，并通过 AWS Neuron SDK 进行编程，因此您需要自行提供训练堆栈。
Trainium 比租用 GPU 更便宜吗？
AWS 将 Trainium 定位为具有价格性能优势，而非追求最低的每小时价格。诚实的回答是，这取决于您的模型。能够干净地映射到 Neuron 编译器的标准 Transformer 工作负载通常表现良好。不寻常的架构或自定义内核可能会因为迁移成本和较低的实际利用率而失去优势。
我可以将 Trainium 额度与模型 API 额度结合使用吗？
是的，而且大多数团队都应该这样做。它们支付不同的账单：Trainium 是您自己模型训练和运行的地方，而 Anthropic、OpenAI 和 Google 的额度则支付您的产品在其周围调用的前沿 API 费用。同时拥有这两项是创始人获得一年运营资金的方式。请参阅 AI Perks 查看可以叠加的项目。
我需要重写我的 PyTorch 代码以适应 Trainium 吗？
通常不需要重写，但预计需要进行迁移。AWS Neuron SDK 可以集成到 PyTorch 和 JAX 中，常见的模型架构只需进行一些配置更改即可迁移。自定义内核和不受支持的操作才是真正需要投入工作的部分，因此在规划之前，请先对一个完整的训练步骤进行基准测试。
初创公司还应该申请哪些其他计算额度？
AWS、Google Cloud、Azure、Nvidia 以及多家无服务器 GPU 提供商都提供初创公司计划，其中许多项目可以相互兼容。AI Perks 在 getaiperks.com 上追踪了 194 家公司的总计 770 万美元额度，并列出了每项计划的当前条款。
训练模型。让别人来支付芯片的费用。