sell人工智慧

alt_route

AI Gateway

觀察、快取、限速並保護每一次 AI 請求——完全不用改動你的模型程式碼。

23+支援的供應商

1改一個網址就啟用

All所有方案皆可用

lightbulb

AI Gateway 是什麼？

AI Gateway 是一個聰明的中間人，站在你的應用程式和你用的 AI 供應商（OpenAI、Anthropic、Workers AI 等）之間。每次請求都經過它，你就立刻擁有紀錄、分析、快取和限速。

你不用重寫應用程式，只要把原本打給供應商的網址，改成打給 Gateway 的網址就好——設定就這麼簡單。

router

把它想成一個智慧電源延長線

把所有電器（AI 供應商）都插在同一條智慧延長線上，你就能看到每台用多少電、用太兇時把它關掉、還能記住上次的設定不浪費電。AI Gateway 對 AI 請求做的就是這件事。

help

為什麼要用它？

一旦你的應用開始呼叫 AI，很快會冒出四個煩惱：到底花了多少錢？會不會很慢？供應商掛掉怎麼辦？有沒有人在濫用？AI Gateway 把這四個都解決。

monitoring

全都看得到

儀表板顯示每個應用的請求數、token 用量和花費，還有每次呼叫的即時紀錄。

cached

快取重複請求

同樣的問題再次進來時，直接從 Cloudflare 回傳存好的答案，不必再付一次錢給供應商。

speed

限制流量

限制能通過的請求數量，避免某個使用者（或某個 bug）把帳單衝爆。

restart_alt

重試與備援

某個供應商失敗時，自動重試或改用另一個供應商，讓你的應用繼續運作。

target

什麼時候該用它？

attach_money

想盯緊成本

當你需要清楚知道 AI 功能花了多少錢、錢花在哪裡時。

shield

要正式上線

真正的使用者上門前，加上限速和備援，避免流量暴衝或供應商當機時出包。

swap_horiz

同時用多家供應商

當你同時混用 OpenAI、Anthropic 等，想用一個地方統一管理時。

bug_report

想除錯提示詞

即時紀錄讓你重現當時送出了什麼、又收到了什麼。

rocket_launch

怎麼開始用？

建立一個 Gateway
在 Cloudflare 控制台打開 AI Gateway 並建立一個。你會拿到一個帳號 ID 和一個 Gateway 名稱，要放進網址裡。
換掉基底網址
把供應商的網址換成 Gateway 網址。格式如下——你真正要打給供應商的部分接在 Gateway 後面。
text
```
https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/{provider}
```

送出一個請求

這裡我們透過 Gateway 把請求轉給 OpenAI。注意只有主機網址變了——其餘都是平常的 OpenAI 呼叫。

bash

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai/chat/completions \
  -H "Authorization: Bearer {openai_token}" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o-mini",
    "messages": [{ "role": "user", "content": "What is Cloudflare?" }]
  }'

進階：自動備援

Universal Endpoint（通用端點）可以接受一串供應商清單。第一個失敗時，Gateway 會自動換下一個——很適合做容錯。

bash備援請求

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id} \
  -H "Content-Type: application/json" \
  -d '[
    {
      "provider": "workers-ai",
      "endpoint": "@cf/meta/llama-3.1-8b-instruct",
      "headers": { "Authorization": "Bearer {cf_token}" },
      "query": { "messages": [{ "role": "user", "content": "Hi" }] }
    },
    {
      "provider": "openai",
      "endpoint": "chat/completions",
      "headers": { "Authorization": "Bearer {openai_token}" },
      "query": { "model": "gpt-4o-mini", "messages": [{ "role": "user", "content": "Hi" }] }
    }
  ]'

school

重點概念

hub

通用端點

一個能連到任何支援供應商的網址——還能依序嘗試多個，組成備援鏈。

lan

供應商

像 OpenAI、Anthropic 或 Workers AI 這樣的 AI 服務。AI Gateway 支援超過 23 家。

cached

快取

把之前的答案存起來，讓之後一模一樣的請求免費又即時。

token

Token 與成本追蹤

Token（詞元）是模型計費的文字單位。Gateway 幫你統計，讓你看清花費。

tips_and_updates

小提示與計費

check_circle

所有方案都能用

AI Gateway 在所有 Cloudflare 方案都內建，連免費方案也有。導入通常只要改一行網址。

先打開快取——通常能立刻省下最多錢。
及早設定限速，避免失控的迴圈把預算燒光。
用即時紀錄在使用者發現前，先除錯有問題的提示詞。
搭配 Workers AI 或 Agents，組成全託管的 AI 技術棧。

相關產品

menu_book官方文件open_in_new