发布时间：2024 年 5 月 14 日；上次更新时间：2024 年 11 月 13 日
我们正在开发Web 平台 API 和浏览器功能，以便与浏览器中内置的 AI 模型（包括大语言模型 [LLM]）搭配使用。其中包括 Gemini Nano，它是 Gemini 系列 LLM 的最高效版本，专为在大多数新型桌面设备和笔记本电脑上本地运行而设计。借助内置 AI，您的网站或 Web 应用无需部署或管理自己的 AI 模型，即可执行 AI 赋能的任务。
了解内置 AI 的优势、我们的实施计划，以及如何利用这项技术。
内置 AI 为 Web 开发者带来的好处
借助内置 AI，您的浏览器可提供和管理基础模型和专家模型。
与自行构建客户端 AI 解决方案相比，内置 AI 具有以下优势：
- 易于部署：在分发模型时，浏览器会考虑设备的功能并管理模型的更新。这意味着，您无需负责通过网络下载或更新大型模型。您无需解决存储空间驱逐、运行时内存预算、提取费用和其他问题。
- 使用硬件加速：浏览器的 AI 运行时经过优化，可充分利用可用的硬件（无论是 GPU、NPU 还是回退到 CPU）。因此，您的应用可以在每部设备上实现最佳性能。
运行客户端的好处
借助内置 AI 方法，在客户端执行 AI 任务变得轻而易举，这反过来又带来了以下优势：
- 在本地处理敏感数据：客户端 AI 可以改善您的隐私保护状况。例如，如果您处理敏感数据，则可以通过端到端加密向用户提供 AI 功能。
- 流畅的用户体验：在某些情况下，取消对服务器的往返意味着您可以提供近乎即时的结果。客户端 AI 可以将可行功能与不太理想的用户体验区分开来。
- 更广泛地使用 AI：用户设备可以承担部分处理负载，以换取对更多功能的使用权限。例如，如果您提供 AI 高级功能，则可以使用客户端 AI 预览这些功能，让潜在客户了解您产品的优势，而您无需额外付费。这种混合方法还可以帮助您管理推理费用，尤其是在经常使用的用户体验流程中。
- 离线 AI 使用：即使没有连接到互联网，用户也可以使用 AI 功能。这意味着，您的网站和 Web 应用可以在离线状态下或在网络连接不稳定的情况下正常运行。
混合 AI：客户端和服务器端
虽然客户端 AI 可以处理各种各样的用例，但有些用例需要服务器端支持。
服务器端 AI 非常适合大型模型，并且可以支持更多平台和设备。
您可以考虑采用混合方法，具体取决于：
- 复杂性：借助设备端 AI，更容易支持特定且易于上手的用例。对于复杂用例，请考虑服务器端实现。
- 弹性：默认使用服务器端，当设备离线或连接不稳定时使用设备端。
- 妥善回退：采用内置 AI 的浏览器需要时间，部分模型可能无法使用，并且旧款或性能较低的设备可能不符合运行所有模型的最佳硬件要求。为这些用户提供服务器端 AI。
对于 Gemini 模型，您可以使用后端集成（使用 Python、Go、Node.js 或 REST），也可以使用新的 Google AI 客户端 SDK for Web 在 Web 应用中实现。
浏览器架构和 API
为了支持 Chrome 中的内置 AI，我们创建了基础架构，以便访问基础模型和专家模型以在设备端执行。此基础架构已经为帮我写等创新的浏览器功能提供了支持。
您可以主要通过任务 API（例如 Translator API 或 Summarizer API）来访问内置 AI 功能。任务 API 旨在针对分配的最佳模型运行推理。
在 Chrome 中，这些 API 旨在通过微调或专家模型对 Gemini Nano 运行推理。Gemini Nano 专为在大多数新型设备上本地运行而设计，最适合语言相关用例，例如摘要、重述或分类。
我们正在构建探索性 API（例如 Prompt API），以便您在本地进行实验并分享更多用例。
未来，我们可能会提供一个探索性的 LoRA API，以便通过调整内置模型的权重来提升其性能。
何时使用内置 AI
内置 AI 可让您和用户受益，具体体现在以下几方面：
- AI 赋能的内容消费：包括摘要、翻译、分类、特征描述，以及知识提供方。
- AI 赋能的创作内容：例如写作辅助、校对、语法纠正和重述。
后续步骤
您可以在源试用中测试多个内置 AI API。探索性 API 和其他处于早期阶段的 API 可供早期预览版计划参与者使用。
如需了解如何在 Google 服务器上将 Gemini Pro 与您的网站和 Web 应用搭配使用，请参阅 Google AI JavaScript SDK 快速入门。
抢先预览
我们需要您的反馈来塑造 API，确保它们能够满足您的用例，并为我们与其他浏览器供应商就标准化事宜进行讨论提供依据。
加入我们的抢先体验计划，针对处于早期阶段的内置 AI 创意提供反馈，并发现通过本地原型设计测试正在开发的 API 的机会。
加入 Chrome AI 开发者公开通告群组，以便在有新 API 发布时收到通知。