OpenAI 的 ChatGPT 风靡全球，仅在一月份就迅速积果了超过 1亿活跃用户。这是增长速度最快的应用程序，之前的两个记录保特者是TikTok9 个月和Instagram ，他们的记录事 2.5 年。

搜索领域的创新不是免费的。正如我们要详述的那样，培训 LLM 的成本很高。更重要的是，在以任何规模部署模型时，推理成本远远超过训练成本。事实上，每周推理 ChatGPT 的成本超过培训成本。如果将类似于 ChatGPT 的 LLM 部署到搜索中，这意味着 Google 的 300 亿美元利润将直接转移到了计算行业的手中。

今天，我们将深入探讨LLM在搜索中的不同用途、ChatGPT的日常成本、LLM的推理成本、谷歌对数字的搜索中断影响、LLM推理工作负载的硬件要求，包括英伟达H100和TPU成本比较的性能改进数字、序列长度、延迟标准、可调整的各种杠杆，微软、谷歌和Neeva解决这个问题的不同方法，以及OpenAI下一个模型体系结构的模型体系结构如何在多个方面显著降低成本，我们在这里详细介绍了这一点。

有关数据表明，谷歌每秒运行约32万次搜索查询。与此相比，谷歌的搜索业务部门在2022年的收入为1624.5亿美元，每次查询的平均收入为1.61美分。从这里开始，谷歌必须为搜索、广告、网络爬行、模型开发、员工等方面的计算和网络开销支付巨额费用。谷歌成本结构中值得注意的一项是，他们为了成为苹果产品的默认搜索引擎支付了约200亿美元。

谷歌服务业务部门的营业利润率为34.15%。如果我们分配每次查询的COGS/营业费用，则每次搜索查询的成本为1.06美分，产生1.61美分的收入。这意味着，一个LLM的搜索查询必须低于0.5美分，否则谷歌的搜索业务就没有利润可言了。

由于几个未知变量，估计ChatGPT成本是一个非常棘手的命题。我们建立了一个成本模型，数据表明ChatGPT每天的计算硬件成本为694,444美元。OpenAI需要大约3,617台HGX A100服务器（28,936个GPU）来为Chat GPT服务。我们估计每次查询的成本为0.36美分。

我们假设OpenAI使用了GPT-3密集模型架构，其参数大小为1750亿，隐藏维度为16k，序列长度为4k，每个响应的平均tokens为2k，每个用户15个响应，1300万日活跃用户，FLOPS利用率是FasterTransformer的2倍，延迟<2000ms，int8量化，由于纯空闲时间，硬件利用率为50%，以及每个GPU1小时1美元的成本。

你们也可以来计算下ChatGPT的成本；我也希望得到的数据更加准确，但我相信我的预测是正确的。

如果ChatGPT模型被强行纳入谷歌现有的搜索业务，这将是毁灭性的。营业收入将减少360亿美元，这就是LLM推断成本。下面成本分析图：

在谷歌完成的每一次搜索中部署ChatGPT需要512,820.51个A100 HGX服务器，总共4,102,568个A100 GPU。这些服务器和网络的总成本就超过1000亿美元，英伟达将拿走其中大部分。当然，这个假设基本不会发生。

令人惊奇的是，微软知道将 LLM 插入搜索将压垮搜索的盈利能力并需要大量的资本支出。虽然我们估计了营业利润率的变化，但看看 Satya Nadella 对毛利率的看法。

不可思议的是，微软明知道LLM的嵌入将摧毁搜索的盈利能力，并需要巨额资金支出。当营业利润没有大的变化时，看看微软CEO怎么说。

Satya Nadella 微软CEO：从现在起，搜索的毛利率将永远下降。

他们然道没有考虑到随着搜索质量的提高，搜索量就会有所下降，广告收入就会减少，以及出现其他技术问题。

微软还对搜索市场的盈利能力做了预测：

在搜索市场上每增加一个百分点的份额，我们的广告业务就会获得 20 亿美元的收入机会。

目前必应的市场份额还很低。微软抢占的任何份额都将为他们带来巨大的盈利。

与此同时，谷歌处于守势。如果他们的搜索业务出现动摇，就会出现巨大问题。由于谷歌的运营成本相对较高，份额的损失看起来会比上面的分析还要糟糕。

谷歌当然不会坐视不管。在ChatGPT发布的短短几个月内，谷歌已经推出了LLM的搜索版。从我们在新的必应与新的谷歌上看到的情况来看，有优点也有缺点。

Bing GPT在LLM功能方面更加强大。谷歌在准确性方面又很大的问题，还搞砸了演示效果。如果你同时测量Bing GPT和Google Bard的响应时间，Bard在响应时间上会超过Bing。模型响应时间和质量差异与模型大小直接相关。

Google ：Bard将世界知识的广度与大型语言模型的力量、智慧和创造力相结合。它利用网络信息提供新鲜和高质量的回应。我们最初发布的是LaMDA的轻量级模型版本。这个小得多的模型所需的计算能力大大降低，使我们能够扩展到更多的用户，从而获得更多的反馈。

谷歌正在用这种较小的模型进行利润防御。他们本可以部署全尺寸的LaMDA模型或功能更强、更大的PaLM模型，但他们选择了更轻薄的模型。

这完全没有必要。

谷歌无法将这些庞大的模型部署到搜索中。这将严重侵蚀他们的毛利率。

由于谷歌的搜索收入来自广告，不同的用户每次搜索产生的收入水平不同。普通的美国郊区妇女每条广告的收入要比印度的男性农民多得多。这也意味着他们产生的运营利润率也大不相同。

将LLM直接用于搜索并不是改进搜索的唯一方法。多年来，谷歌一直在搜索中使用语言模型来生成嵌入。可以在不增加成本预算的情况下改善最常见搜索的结果，因为这些模型可以一次性生成并提供给许多人浏览。

此外，在没有新硬件的情况下，每次推理的成本可以显著降低。OpenAI正在训练下一个LLM架构的改进，在推理成本方面也有所改进。

总之，大型语言模型是一种引人入胜且快速发展的技术，有可能改变我们与机器和彼此交互的方式。尽管LLM的含义仍有许多问题需要回答，但很明显，它们将在人工智能和NLP的未来发挥越来越重要的作用。