免费 GPU 推理积分的价值是多少？
通常，自己部署模型的团队可以同时从多个提供商那里获得推理计算积分，已跟踪的赠款从入门级的 500 美元到大型提供商的六位数不等。
有用的视角不是“哪个提供商给得最多”，而是“每个提供商支付我账单的哪个部分”。推理费用分为三个独立的账单——GPU 小时本身、调度和自动扩展它们的平台，以及当您自己的模型不适用时的备用令牌 API。大多数创始人只申请一个计划，获得批准，但仍然有账单的三分之二未被覆盖。
AI Perks 跟踪了 194 家公司总计 770 万美元的积分。计算计划的资格取决于公司所处的阶段和融资情况，这些具体细节在每个计划页面上，而不是在这篇博文中。
值得比较的提供商
五类提供商提供推理计算，它们是互补的而非替代品。
| 提供商 | 积分可购买的物品 | 已跟踪的积分价值 |
|---|---|---|
| Modal | 按秒计费的无服务器 GPU 容器 | 最高 50,000 美元 |
| Together AI | 托管的开源模型推理 | 注册时 25 至 50 美元，通过其创业公司计划最高可达 50,000 美元 |
| Nvidia | GPU 访问以及折扣的第一方云服务 | 最高 15,000 美元，外加折扣条款 |
| IO.net | 分布式 GPU 集群和开源模型终端 | 5,000 美元 |
| Replicate | 大型开源模型目录的每秒推理 | 500 美元，无需信用卡 |
| AWS | EC2 GPU 和定制芯片实例，以及托管模型 API | 高达六位数，定制芯片计划可达 300,000 美元 |
| Google Cloud 和 Azure | 托管终端和预留加速器容量 | 五到六位数，按阶段分级 |
这张表格中有两点值得注意。首先，表格底部范围内的即时赠款无需任何费用即可领取，并且是在您承诺任何提供商之前进行基准测试的正确方式。其次，最大的数字与那些最难离开的平台的提供商相关联，这不是偶然的。每个提供商的当前条款均可在 getaiperks.com 上找到。
推理计算的实际规模成本
推理成本由 GPU 利用率决定，而不是由定价页面上的每小时费率决定。您租用的是整张显卡，而显卡要么忙碌，要么空闲。
这一个事实解释了大多数意外的账单。在一台 H100 上每秒处理 40 个请求的模型，其每小时成本与处理 4 个请求的相同模型完全相同，因此每千个令牌的有效成本可能会随着提供商价格不变而变化一个数量级。
在决定积分赠款能用多久时，成本曲线的三个属性很重要：
批处理是您能控制的最大因素。 令牌生成受内存带宽限制，因此一个 GPU 处理一个请求会浪费其大部分吞吐量。现代服务堆栈中的连续批处理可在不影响模型质量的情况下大幅提高每 GPU 小时的令牌数。
冷启动是无服务器的税费。 将权重加载到 GPU 内存需要真实的时间，并且在突发工作负载下，您可能会花费比生成更多的积分来加载模型。保持容器保温可以解决延迟问题，但会破坏无服务器吸引力的经济性。
空闲是预留容量的税费。 占空比为 15% 的预留 GPU，每令牌的成本大约是相同显卡 100% 占用率的七倍。大多数产品-市场契合度不高的流量的占空比都在这个范围内。
实际结果是：积分在队列式和批处理工作中发挥的作用最大，在始终保温的低流量终端上消失得最快。任何可以从实时处理转移到异步处理的工作，大约可以使赠款的续航时间翻倍。
无服务器终端、租用 GPU 还是令牌 API？
根据占空比选择，而不是根据基准速度。突发且不可预测的流量需要无服务器，持续高流量的流量需要预留 GPU，而您尚未验证的任何内容都需要令牌 API。
无服务器平台为您提供自动扩展、按秒计费和无空闲成本，但代价是冷启动和对服务堆栈的控制较少。来自市场或大型云提供商的原始 GPU 租赁为您提供高利用率下的最低每令牌成本和对推理引擎的完全控制，但代价是您可能尚未进行的容量规划。托管的开源模型 API 完全将 GPU 从您的思维模式中移除，并按令牌收费，这是在哪个模型上出错的最便宜方式。
大多数团队应该遵循的顺序是：在您仍然选择模型时使用令牌 API，一旦有流量但模式不确定的情况就使用无服务器，只有在利用率有足够证据证明足够高时才使用预留容量。积分可以为所有这三个阶段提供资金，这就是持有多个赠款而非一个赠款的论点。AI Perks 按类别列出了计划，以便您可以看到每个计划涵盖哪个层面。
推理计划在摩擦方面有何不同
美元价值和摩擦力并存。最大的计算计划审查速度最慢，对流量的要求最高，而最小的计划则附加到新账户，无需审查。
该类别中有三个明显的摩擦等级：
即时赠款。 Replicate 和 Together AI 的注册级别积分无需任何审查。它们的实际价值与其说是美元数字，不如说是它们解锁的度量：您自己工作负载的真实每千个令牌成本，这比预测是更强的后续决策输入。
专业 GPU 平台。 Modal、Nvidia 和 IO.net 处于中间范围。审查比大型云提供商更轻，并且积分范围仅限于计算，而不是整个云账户。
大型云提供商计划。 六位数的计划带有最多的条件和最严格的审查，并且它们假定工作负载已存在。创始人最常犯的错误是，他们在有流量来花费它之前就收到了可用的最大赠款。
批准标准因计划而异，这就是为什么一篮子赠款的行为与单个赠款截然不同的原因。资格取决于阶段、融资情况，有时还取决于您与哪个加速器或投资者有关联，这些要求是按计划的并且经常变化。它们在 getaiperks.com 上跟踪，而不是在此处发布。
创始人对推理积分的误解
最昂贵的错误是将积分赠款视为续航时间，而不是您已验证的工作负载的折扣。
五种重复出现的错误：
混淆令牌积分和 GPU 积分。 来自前沿模型提供商的赠款支付 API 调用费用。GPU 积分支付您自己调度的硬件费用。如果您的整个产品都是调用托管的前沿模型，那么 GPU 积分将解决您没有的账单。
忽略 GPU 以外的所有内容。 权重的存储、出口流量、负载均衡器和控制平面通常占推理账单的 10% 到 25%，而积分并不总是涵盖所有这些。
在服务堆栈之前优化模型。 团队在启用连续批处理之前进行量化和蒸馏，这带来的好处要小得多，而工程工作却多得多。
为积分会过期的提供商构建。 针对一个平台原语编写的自定义服务代码会将有限的赠款变成迁移项目。尽可能保留与 OpenAI 兼容的接口。
只申请一次。 这些不是互斥的。计算积分、模型积分和数据基础设施积分是独立的账单，而为全年提供资金的创始人拥有几个中型赠款，而不是一个大型赠款。这种组合视图是 AI Perks 存在的全部原因。
常见问题解答
哪个提供商提供的免费 GPU 推理积分最多？
大型云提供商提供最大的赠款，在定制芯片计划的跟踪价值可达六位数，而 Modal 等专业平台则高达 50,000 美元。最大的数字很少是最好的起点，因为这些计划的审查速度较慢，并且假定工作负载已存在。每个提供商的当前金额可在 getaiperks.com 上跟踪。
我可以叠加多个提供商的 GPU 积分吗？
是的，而且大多数获得资助的团队都会这样做。计算积分、托管模型积分和数据基础设施积分是独立的账单，因此每种类型的积分都可以比单一的大型赠款更广泛地覆盖 AI 产品的实际成本。哪些组合兼容取决于计划条款，每个计划的条款均在 getaiperks.com 上列出。
我需要融资才能获得免费 GPU 推理积分吗？
不一定。有些赠款是即时的，并附加到新账户，无需任何审查，而较大的计划会评估公司所处的阶段、融资情况，有时还会评估加速器或投资者的联系。阈值因提供商而异，并且经常变化，因此请检查每个计划的当前要求，而不是假设。
免费推理积分实际上能持续多久？
这在很大程度上取决于您的占空比，而不是美元数字。相同的赠款可以覆盖许多个月的队列批处理推理，或者几周的始终保温的、服务于少量流量的终端。在假设赠款等于续航时间之前，请对您实际利用率下的每千个令牌成本进行建模。
GPU 积分是否优于推理 API 的免费套餐？
它们回答不同的问题。带有每分钟令牌限制的免费套餐非常适合评估模型和构建原型。一旦您开始服务自己的权重，并且账单是硬件费用而不是 API 调用费用，GPU 积分就变得重要了。大多数团队在同一年的不同阶段都需要两者。
在花费大额赠款之前，我应该进行哪些基准测试？
实际批处理大小和占空比下的每千个令牌成本，在实际模型上的冷启动时间，以及爆发情况下的尾部延迟。这三个数字决定了无服务器还是预留容量对您更有利，并且可以使用即时注册赠款轻松测量它们，然后再承诺一个大型计划。
服务令牌。让别人支付 GPU 小时费。