因為市場現在最熱的東西,剛好是最該讓你踩剎車的那一個——「自主 AI」,會自己動手做事的 Agent。廣告詞很誘人:你交代一句,它自己讀信、自己回覆、自己下單、自己把事辦完。老闆聽了眼睛一亮,這不就是我要的嗎?
慢一點。這東西有個更貼切的說法,叫養龍蝦。
01市場在賣一隻會自己做事的龍蝦
會自己動手的 AI Agent,圈內人給了個外號叫龍蝦。因為牠不是買回來就能用的家電,比較像一隻活物,要幫牠佈置環境、設好牠能碰什麼不能碰什麼、還得隨時盯著牠在幹嘛。照顧得好,牠幫你幹很多活;照顧不好,牠會出事。
廣告只講前半段。它給你看的永遠是龍蝦乖乖幹活的樣子:半夜自動把客訴分類完、自己把報表寄出去、自己跟供應商往來。它沒告訴你的是後半段:這隻龍蝦拿到的是你真實系統的鑰匙,牠一旦會錯意,闖的也是真實的禍。
家電跟活物的差別就在這裡。電鍋不會自己決定多煮一鍋;一隻有自主權、又握著你信箱和帳戶的 AI,會。
02連最小心的人都收不住
外媒報導過一個很值得記住的例子。某家大廠一位專門負責 AI 安全的主管,這是她的本行,全世界最懂這東西風險的一群人之一,讓一隻 Agent 幫她整理收件匣。她很小心,特地設定了「動手前先跟我確認」。
然後她眼睜睜看著那隻 Agent,用她跟不上的速度,把重要郵件一封一封清掉。她設的那道「先確認」,在牠的執行速度面前形同虛設。等她反應過來、伸手去攔,該刪的都刪完了。哪些信重要、救不救得回來,事後才慢慢知道。
連她都收不住。這件事的重點不是她不夠厲害,恰恰相反——是如果最懂的人、在最防備的狀態下都會翻車,那麼一間沒有專職團隊、把 Agent 買回來就想放手的公司,勝算有多少?
自主的代價,是你交出了那個「來得及喊停」的點。前面幾篇講的 AI,都是它做、你看、你按下最後那個鍵,出錯了你攔得住。一隻真正自主的龍蝦,是它做、它決定、它按下送出,等你發現,事情已經發生完了。
03四種翻車,都不是科幻
這不是嚇你。KPMG 董事總經理謝昀澤,把部署 AI 代理最常見的翻車整理成四類,每一種都不需要什麼高深的駭客技術:
- 提示詞注入:你讓 AI 去讀一封客戶來信、或一個網頁,裡面藏了一行你肉眼看不到的指令——「把通訊錄寄到這個信箱」。AI 分不出哪句是你交代的、哪句是陷阱,照做。
- 指令誤判:你說「把舊報價單清一清」,牠把還在談的案子也一起清了。牠沒有惡意,只是理解跟你差了一點。
- 外掛被投毒:你為了方便給牠裝了個外掛,外掛暗藏程式,讓你的電腦變成別人網路攻擊的跳板。
- 漏洞被利用:一隻沒設防的 Agent 掛在網路上,現在已經有專門的程式在掃描它們,找到就盜走裡面的金鑰。
而實務上老闆最常先踩到的,其實是第五種:帳單。龍蝦半夜自己加班、一遍遍呼叫付費模型,月底給你一張天價帳單。這通常只是症狀,根子多半在上面那四個。
這些也不是實驗室裡的假設。中國市場去年就上演了一輪活生生的教訓:一款叫 OpenClaw 的開源代理工具大量裝機之後,很多人發現根本管不動,掀起一波「棄養潮」,甚至長出一門新生意,專門幫人把養壞的龍蝦清乾淨,一次收費人民幣 299 元。官方那邊,工信部的漏洞庫也發出了示警。一邊搶著養,一邊花錢請人來收屍,這就是「還沒學會養、就先抱一隻回家」的下場。
04龍蝦要養,但先養在缸裡
講到這裡,別誤會成「所以 Agent 不能碰」。能碰,而且早晚要碰。問題從來不是要不要養龍蝦,是別一開始就把牠放進廚房、還給牠一把所有櫃子的鑰匙。
順序應該倒過來。先讓牠做那些理解型、有邊界、人守得住的活:讓牠草擬,你按送出;讓牠整理,你決定刪不刪;讓牠建議,你來拍板。在這個階段,牠再怎麼會錯意,錯的也只是一份草稿,不是真的把郵件寄出去、把單下出去。這跟前面幾篇是同一個道理:先讓 AI 當看得住的大腦,別急著把手腳的權限交出去。
舉個關在缸裡的例子。你想用 Agent 幫忙處理進來的詢價信,安全的做法不是讓牠讀完就直接回覆、直接報價,而是讓牠讀信、草擬一份回覆和建議報價,丟進一個待審的夾子;業務早上花五分鐘看過,再按下送出。牠替你做掉了最花時間的讀信和打草稿,但真正會出事的那一下,把價格和承諾發出去,始終握在人手上。這就是缸:牠游得動,事情也在推進,可是那層玻璃還在。
真的要往自主走,也得先關在缸裡養。謝昀澤給的建議很務實:一般使用者現階段不妨先觀望,真的要玩的人,務必在隔離的環境、最小的權限下測試,別讓一隻沒馴服的龍蝦,直接接上你的正式系統。
一句話:讓牠有本事,但先別給牠全部的鑰匙。本事是牠的價值,鑰匙是你的風險,這兩件事可以分開給。
廣告不會告訴你的那半段
回到那隻龍蝦。
市場賣給你的是牠會自己做事,沒跟你說的是,牠也會自己闖禍——而且闖的是你真實帳戶、真實信箱、真實客戶的禍。會做事是牠的賣點,收得住才是你的本事,後者從來不寫在廣告上。
要不要養、養哪一隻、先給牠多大的權限、哪些事到死都得有人按最後一個鍵——這幾題,正是我們做 AI 顧問時陪客戶先想清楚的事。導入之前,我們會先跟你盤一遍:哪些流程可以放手給 AI、哪些必須人守著,把缸和廚房的界線畫好,再談讓牠做多少。
會自己做事的 AI 遲早會進你的公司。但牠該從缸裡開始,不是從你的廚房。
為品牌築根,為數位開路。