见识了2023年以来以ChatGPT为代表的大语言模型的巨大威力，采用生成式AI无疑已经成为CIO们不能忽视的要务。但是，ROI难以衡量却成为生成式AI项目的绊脚石。

这到底该怎么破？

生成式AI应用风生水起
普华永道2023年新兴技术调查显示，73%的美国公司已经在业务的某些领域采用了人工智能，其中生成式AI处于领先地位。另据研究公司IDC的数据，到2027年，人工智能的支出预计将达到1511亿美元，复合年增长率为85.9%。

Gartner对822名企业领导者进行的《2024年生成式AI规划调查》，绝大多数正在实施或计划推出生成式AI工具的企业高管已经预期或实现了采用生成式AI工具带来的好处：

• 15.8%的收入增长；
• 15.2%的成本节约，其中4.6%通过减少人员编制实现；
• 22.6%的生产力改进；
• ChatGPT被证明可以提高37%的工人生产力；
• 生成式AI编码助手可以使工人的生产力提高7%至55%；
• 生成式AI对话助手（聊天机器人）可以改善客户服务和支持代理商的生产力14%至35%。

关于生成式AI对生产力的影响，管理咨询公司麦肯锡分析了63个涉及生成式AI的案例得出结论，全球范围内，生成式AI可能带来年均2.6万亿至4.4万亿美元的产值增加。其中，75%的产值增加来自客户运营、市场营销与销售、软件工程和研发领域

在麦肯锡应用案例研究中，16个业务功能在使用生成式AI工具来解决特定的业务挑战后可产生一个或多个可衡量的结果。例如，它可以借助聊天机器人支持与客户的互动，为市场营销提供创造性内容，并用自然语言提示来写计算机代码。

根据麦肯锡的数据，生成式AI给银行业、高科技和生命科学等行业带来的收入影响最大。以银行业为例，如果这些用例得到充分实施，该技术每年可以带来2000亿至3400亿美元的增值。在零售和消费品行业，潜在价值可能在每年4000亿至6600亿美元之间。

麦肯锡还指出，生成式AI在数字化转型方面应用广泛。例如，它与云计算结合，可解析非结构化数据，从而加速几乎任何与数据相关的转型计划。它还可以帮助公司跨越多个阶段，处理财务、税务、法律和IT合规等部门以前难以完成的复杂任务；帮助公司更高效地满足新的Pillar II 税务报告要求等。

更常见的是，生成式AI可能很快消除企业常见的升级用程序的需求——这些应用程序可迁移到云端，定制的生成式AI模块可帮助它们持续演进，以满足不断变化的业务需求。
ROI不好衡量带来挑战
根据上述预测，到2030年，企业每年将在生成式AI项目上花费420亿美元，包括聊天机器人、研究、写作和摘要工具等。尽管人们一直将这项技术视为提高生产力的利器，但确定生成式AI项目的投资回报率（ROI）可能是一项具有挑战性的任务。

根据Gartner的数据，到2025年，90%的企业生成式AI部署将因为成本超过价值而放缓，其中30%的项目将在概念验证（POC）后被放弃。这些决定的原因包括数据质量不佳、风险控制不足、成本上升或者业务价值不明确。Gartner的研究还显示，到2028年，超过50%的企业将放弃从头开始构建大语言模型的努力，原因在于部署过程中的成本、复杂性和技术债务。

Gartner的杰出副总裁分析师Rita Sallam指出，对于许多Gartner的客户来说，捕捉和衡量确切的生产力改进一直是一个挑战。对于生成式AI来说，表达ROI就已经比较困难，因为像其他生产力提升的好处一样，生成式AI的好处可能会产生间接影响或者非财务影响，未来才能体现在财务报表上。

生成式AI带来的绝大多数改进将体现在未来财务价值或间接价值指标的领先上，例如生产力、周期时间、客户体验、品牌、质量，以及对经验较少的员工进行更快速的技能提升。除非这些好处能够直接转化为立即的人员缩减和其他成本降低，否则很难在财务数据上体现。

例如，采用生成式AI实现的代码自动化生成可以提高软件开发人员的生产力，从而为开发人员提高生产力和进行创新创造机会。从长远来看，这可能意味着新功能将被更快推出，从而提高客户满意度。

然而，这样的无形资产如何评估呢？

Sallam认为，企业可以通过聘用技能较低的开发人员来降低人力成本，或者用相同数量的开发人员来处理更多的工作，从而更快地获取收入，减少客户和开发人员的流失，并增加客单价。后者虽然不涉及减少员工数量，但却能间接降低成本。

他补充说，对于这些特定任务以及与特定流程相关的总体任务，需要在特定的时间段内衡量和评估节省的时间。随着时间的推移，单纯的生产率提升差异化会变得越来越不明显，尽管将这些能力整合到其他业务流程中可以帮助企业保持竞争优势。
生成式AI项目的ROI解法
那么ROI衡量如此之难，生成式AI项目还要不要推进呢？当然要。

普华永道的数据与人工智能负责人Bret Greenstein给出的办法是，通过将大语言模型用于执行某个功能或流程，就可以更容易地将其性能（成本、准确性和速度）与之前的流程进行比较。

他认为，一旦某个生成式AI项目的收益能够持续大于投资，企业就可以在生产环境中部署该项目，并采取适当的治理和运营流程来跟踪其使用情况。他补充说，如果有一个用例可以在一个六小时的过程中节省两个小时，并持续跟踪其使用情况，就可以汇总如此带来的成本节约。

Gartner系统性地提出，组织要想计算新的生成式AI投资价值，可以通过模拟一系列活动的潜在成本和价值来构建一个商业案例，其中应包括以下因素：

• 快速成功
• 差异化案例
• 转型计划

生成式AI的快速获胜侧重于潜在的生产力改进，目前来看比较理想的做法是采用Microsoft 365 Copilot和Google Workspace等助手，国内现在也推出了很多这样的生成式AI助手。这样的项目容易开始、尝试和购买，且通常用于特定任务，不到一年时间就能看到效果。

软件项目托管平台公司GitHub对Microsoft 365 Copilot的采用就是一个生成式AI快速成功的典型案例。

大约两年半前，GitHub公司在微软公开发布Copilot之前就采用了Copilot。起初，GitHub定制Copilot只是为了记录代码。但随着时间的推移，GitHub发现它实际上可以自动化生成大量代码——开始主要用Copilot来帮助编写Python、JavaScript和Ruby等代码；随着时间的推移，他们发现Copilot还可以帮助编写公开可用的编程语言以及专有语言，到现在GitHub发展到用Copilot编写几乎每种现代编程语言，有时是完成一行代码，有时可以完成整个函数或文件。

通过Copilot的聊天功能，开发人员可以与AI交谈，描述问题，然后AI可以生成整个文件，然后可以进行调整，直到满足开发人员的需求。由Copilot生成的绝大部分代码都由开发人员保存下来。在开发代码之后，在完成代码开发后，持续创新的过程以及提交拉取请求的操作也会变得更加容易，因为代码往往一开始就更加正确。

现在，GitHub每天有超过一百万用户在使用Copilot，生产力因此提高了约55%。同时，Copilot正在编写约65%的代码。预计随着时间的推移，这个比例将提高到85%。

GitHub的首席运营官Kyle Daigle认为，由此带来的最大的好处是让开发人员感到更充实，使他们能够进行创造性的工作，而不是枯燥的工作。因此他认为，生成式AI代码开发项目本身就涵盖了投资回报率，因为它减少了上市时间，释放了开发人员的时间，并使开发人员能够更多地专注于创造性任务而不是琐碎的工作。

值得一提的是，在衡量生成式AI的ROI方面，企业普遍存在误区，即将生成式AI项目看作是企业倡议的总体，而不是分别看待每个单独的项目。然而，分别看待每个项目能够更容易突显哪些倡议有效，哪些不是。比如说，如果员工通过Copilot完成某项活动，就更容易衡量由此带来生产力的提升。

因此，尽管生成式AI项目的ROI衡量存在挑战，但通过适当的方法和工具，企业仍然能够有效地评估和实现这些项目的潜在价值。

卡内基梅隆大学Tepper商学院的商业技术教授Param Vir Singh则代表了一种看法。他认为，组织不应仅将财务回报作为ROI的衡量标准，至少目前是如此。现在应该更多地关注生成式AI如何改善客户满意度，提高盈利能力。但是在几年之后，财务回报将会更加明显。