Chrome build-in AI 最初需要填寫申請表，只能在 Chrome 的開發者版本中體驗。現在，使用者可以透過幾個簡單的步驟在正式版本中開啟這項功能。
按照網頁上的指示完成配置後，您就可以訪問除錯頁面。在這裏，您可以快速修改程式碼，體驗本地 AI 的強大功能。
注意：Chrome API 仍處於草案階段，可能會有較大變動。本網頁基於 Chrome 129 版本開發，不相容 Chrome 128 版本的API。
為什麼會有 Chrome 本地 AI？
在以往使用AI應用，我們通常習慣於依賴服務端的解決方案，引發部分使用者對於隱私的擔憂。
也有部分開發者嘗試遷移AI模型到瀏覽器中，模型大小通常是網頁中位數大小的千倍左右，由於這些模型不會在網站之前共享，訪問不同的網頁都需要重新下載這些模型，是個非常消耗使用者資源的解決方案。
因此 Chrome 在瀏覽器中整合 Gemoni Nano，並暴露標準的 Web 平臺 API，旨在在大多數桌上型電腦和筆記本中執行。藉助Chrome內建AI的能力，你的網站可以快速執行AI驅動的任務，而無需部署或管理自己的AI模型。
目前可以直接在網頁中以隱私安全的模式呼叫本地的大模型，進行問答、翻譯等功能。
Chrome 內建 AI 對 Web 開發人員的好處？
部署簡便：因為瀏覽器會自動分發模型，所以它會考慮裝置的能力並管理模型的更新。這意味著您無需負責透過網路下載或更新大型模型，也不需要擔心儲存釋放、執行時記憶體限制、服務成本等其他問題。
訪問硬體加速：瀏覽器的人工智慧執行時經過最佳化，能夠充分利用可用的硬體資源，無論是GPU、NPU，還是回退到CPU。因此，您的應用可以在每種裝置上實現最佳效能。
在裝置上執行AI的好處？
敏感資料的本地處理：裝置上的人工智慧可以提升您的隱私保護。例如，如果您處理敏感資料，可以為使用者提供帶有端到端加密的人工智慧功能。
靈敏的使用者體驗：在某些情況下，省去往返伺服器的過程意味著可以提供近乎即時的結果。裝置上的人工智慧可以成為實現可用功能與次優使用者體驗之間的關鍵差異。
更廣泛的AI訪問：使用者的裝置可以分擔部分處理負擔，以換取更多功能的使用。例如，如果你提供高階AI功能，可以透過裝置上的AI來預覽這些功能，讓潛在客戶瞭解你產品的優勢，而無需增加你的費用。這種混合方法也可以幫助你管理推理成本，特別是在經常使用的使用者流程中。
離線AI使用：您的使用者即使在沒有網際網路連線的情況下也能訪問AI功能。這意味著您的網站和網路應用可以在離線或網路連線不穩定的情況下正常工作。
瀏覽器架構和 API
主要透過任務 API 訪問內建的 AI 功能。任務 API 旨在針對分配的最佳模型執行推理。
在 Chrome 中，這些 API 旨在透過微調或專家模型針對 Gemini Nano 執行推理。Gemini Nano 旨在在大多數現代裝置上本地執行，最適合與語言相關的用例，例如摘要、改寫或分類。
關鍵術語：微調是一種動態提高模型執行特定任務的能力的方法，而無需為每個任務下載新模型。
提供兩類API：
提示 API：將以自然語言表示的任意任務傳送到內建的大型語言模型（Chrome 中的 Gemini Nano）。
微調 （LoRA） API：透過使用低秩自適應微調來調整模型的權重，從而提高內建 LLM 在任務上的效能。
可以給使用者提供怎樣的能力？
人工智慧增強的內容消費：包括摘要、翻譯、回答內容相關問題、分類和特徵分析。
人工智慧支援的內容創作：包括寫作輔助、校對、語法糾正和改寫。
摘要 API：
對於較晚加入會議或完全錯過會議的使用者，會議記錄概述。
客戶關係管理支援對話中的要點。
多個產品評論的句子或段落大小的摘要。
長篇文章的要點，以幫助讀者確定文章是否相關。
在論壇中總結問題，以幫助專家找到與其專業領域最相關的問題。
寫作和重寫的API：
根據初始想法和可選背景寫作。例如，給銀行寫一封正式郵件，請求提高信用額度，背景是您是一位長期客戶。
透過調整文字的長度或語氣，來最佳化現有內容。例如，可以將一封簡短的郵件重寫，使其聽起來更加禮貌和正式。
線上體驗地址：chrome-ai.edgeone.app
