香港
AI agent 建置流程:四步由工作流梳理做到品質控制

AI agent 建置流程:四步由工作流梳理做到品質控制

要讓一條重複流程可以由 AI 接手,可以按四步走:先梳理工作流與要產出的文件,再做一個能親手試用的 mockup,然後把助手逐步進化成 agent 並部署,最後用人工審核與指標做品質控制。每一步都要交出可以核對的成果,這也是 ai agent development 與單純買一個工具的差別。

先看結論

  • Social Media Examiner 在 2025 年 11 月 4 日的文章中(Michael Stelzner 與 Sara Davison),把建置寫成四個步驟,每一步只放開一點自主權,通過驗收才進下一步。
  • 第一步不碰 AI 工具。工作流、參與者與例外沒有問清楚,後面三步只會把一個誤解自動化。
  • 品質控制分兩層,上線前按樣本與門檻驗收,上線後按運行記錄改進。

誰適合走這條路,開始前要準備什麼

這條路徑適合有一條每月重複、輸出固定、參與者不超過幾個人的流程的公司,例如月報、客戶查詢跟進與商品內容。流程穩定,才有東西可以梳理;輸出固定,才有東西可以驗收。

三類公司不適合。流程仍在改,這個月與上個月做法不同,應該先標準化再談 agent。輸入資料鎖在無法匯出的系統裡,先解決資料能否取得。期望一次全自動、不設人工審核的團隊也不適合,對外發送、付款與改預算一出錯就收不回。

第一步之前先準備以下幾樣,缺一項就會在後面卡住:

  • 每個系統的讀取權限,包括 CRM、廣告平台、工單系統與雲端硬碟,先確認可以匯出資料。
  • 一個能把會議或通話記錄匯出成逐字稿的工具,以及一個可以試用的大模型帳號或能切換多個模型的聚合介面。
  • 一個存放樣本、驗收記錄與版本的地方,共用文件夾已經足夠。
  • 一位有權判定「這樣算過關」的流程負責人,以及一位熟悉例外的前線同事。

中文、非開發者的 AI agent 建置流程:由工作流梳理到品質控制與人工審核

用中文搜「AI agent 建置」,排在前面的多是英文開發者課程,教你在 Python 裡接一個模型、寫幾個工具。那些內容回答的是「怎樣寫」,企業主想知道的是「我這條流程由哪裡開始、每一步交出什麼、誰來簽收」。以下把四步走完,每步寫明完成後應該看到的東西。

  1. 梳理工作流與要產出的文件:完成後應有流程圖、參與者與例外清單、現有文件的樣本,以及「哪些判斷只有某位同事做得對」的紀錄。
  2. 做一個可以試用的 mockup:完成後應有一個能親手輸入、親眼看輸出的版本,加上試用者的問題清單。
  3. 把助手進化成 agent 並部署:完成後應有一份處理真實任務的版本、一份列明可讀、可寫與需批准動作的權限清單,以及例外的回報路徑。
  4. 品質控制與持續改進:完成後應有驗收樣本、測試記錄、指標基線與下一輪改進清單。

原文把這個順序稱為演化:你不會第一天就把整串鑰匙交給一個實習生,先讓他做一段、你核對一段。工具愈來愈容易上手,落差於是在另一邊出現:建立一個 agent 很快,建立一個可靠運作的 agent 很慢。

資深同事在白板前把流程分成四段講解,年輕同事拿着筆記本逐項記下。

第一步:把工作流問到底,連例外一齊寫下來

Sara Davison 與 Tyler 接到委託時,第一件事是不碰任何 AI 工具,先做 discovery。他們問這個人每日實際做什麼,職位說明書放在其次;也問流程斷掉時大家怎樣補救,那些補救方法通常只存在於訊息往來與口頭交接裡。

他們把這些分開幾層記錄。標準作業程序是理想版本,下面一層是實際運作與各種臨時補丁,再下面一層是情境判斷,也就是某位同事看一眼就知道怎樣做的能力。多數 agent 項目停在第一層,做出來的東西自然平淡。

原文用文件生成(DocGen)說明價值。Tyler 家族經營溫室設備生意,客戶之一是打算開小農場的創業者;Tyler 的父親 Roger 對市場園藝有多年經驗,以往靠一對一指導傳授,無法規模化。他們做的流程是:Roger 與客戶進行一場九十分鐘的諮詢通話,逐字稿連同筆記交給系統,系統產出一份三十五頁、按客戶情況定制的計劃書。同類計劃的競爭者收費達六位數,原本要幾週的工作,原文的說法是十一週縮短至十一分鐘。

這個例子把「誰的判斷」寫清楚了:哪些內容由 Roger 提供,哪些由系統組合。你的第一步也要交出同樣的東西,範圍可以小得多。

完成後應該看到什麼

一份畫得出來的流程圖,標明每一步用哪個系統、輸入與輸出是什麼;一份參與者清單,寫明每個人實際負責的判斷;一份例外清單,記下最常出錯的情況與補救方法;一份現有文件的樣本,作為日後比對的基準。任何一項寫不出來,先不要進第二步。

第二步:做一個可以試用的 mockup

梳理完之後,多數人會開始比較工具。原文的建議相反:先把一個簡單版本做出來,交給用戶試用。agent 仍然抽象,你說十次「它會幫你整理月報」,不如讓他親手輸入一份資料,看它輸出什麼。

mockup 不需要接上正式系統,用典型資料跑一次就夠。它會暴露訪談階段看不到的問題:流程是否需要更多角色、系統是否做得太多、哪些輸入會令流程斷掉。試用完把意見收成清單,改一版再試一次,直到它應付得了真實流程的複雜度與例外。

工具選擇上守住一個原則:對模型、工具與平台保持中立。OpenAI 的公告提到 Ramp 用可視化畫布建 agent,把迭代週期縮減 70%;LY Corporation 在兩小時內建出第一個多代理工作流。畫布類工具的確快,也提醒一件事:OpenAI 已公布,Agent Builder 與 Evals 自 2026 年 11 月 30 日起不再提供,並建議把要繼續運作的工作流改寫成程式碼。把流程綁死在某個畫布上,工具退場時就得重來一次。

完成後應該看到什麼

一個可以讓同事親手試用的版本,即使介面只是聊天框;一份樣本輸入與期望輸出;一份試用意見清單,按缺少的角色與會斷掉的輸入分類。這份清單就是第三步的工作範圍。

幾位同事圍在電腦前,一人輸入資料,眾人一起看屏幕上的輸出結果。

第三步:由助手進化成 agent,然後才部署

助手與 agent 的分別在於誰掌握流程。助手要你每一次推它一把,你停下來,工作就停;agent 會自己判斷下一步、自己呼叫工具、自己決定何時回來問你。部署前的重點因此落在邊界。

Anthropic 在 2024 年發表的〈Building effective agents〉把兩者分得很清楚:工作流由預先寫好的路徑編排模型與工具,agent 由模型自己決定過程與工具用法。他們的建議是先找最簡單可行的方案,只在複雜度確實帶來更好結果時才加上去。自主程度愈高,錯誤累積的風險也愈高,測試要在隔離環境做,護欄要事先設好。

規模化的潛力是真的。OpenAI 在 2025 年發表的 AgentKit 公告提到,Klarna 的客服 agent 處理了全部工單的三分之二。客服之所以適合,是因為它有清楚的完成定義、可量度的解決率,也有可以轉交人手的位置。換到你的流程,先問三件事:做完的定義寫得出來嗎?出錯時誰接手?哪些動作要人批准?

完成後應該看到什麼

一次真實任務的完整執行記錄,最好用上週最麻煩的那一宗;一份權限清單,分開列出可讀的資料、可執行的動作與必須先批准的動作;一份例外處理與回報路徑;一份操作說明,讓沒有參與建置的同事也接得手。對外發送或預算變更沒有審批安排的話,先不要部署。

第四步:品質控制要分兩層做

多數團隊把品質控制當成上線前的關卡,過了就結束。可靠的做法是拆成兩層:上線前用樣本驗收,上線後用運行記錄改進。

上線前的驗收要在開發之前約定:用哪一批樣本、按什麼規則評分、幾分算通過。沒有事先約定的門檻,驗收就會變成一句「效果不錯」。功能正常但權限開得太大,仍然不可上線。

上線後的改進要有節奏,不要等出事才做。抽查真實任務時,優先處理缺失資料與接口問題;看審批與修訂記錄時,優先處理經常出現的內容錯漏。有一個原則值得寫進流程:內容不會在無人檢查下自行更新。記錄能回答「做了什麼、依據什麼」,但不能證明任務做對了。

若交由外部團隊建置,把 ai agent development 的驗收樣本與測試記錄寫進交付條款。

完成後應該看到什麼

一份驗收樣本與測試記錄,寫明用哪批資料、由誰核對;一組指標基線,至少包括處理時間、審核時間、任務完成率與錯誤率;一份按影響排序的改進清單。每個指標要指定由誰看,否則沒有人會看。

兩人在長桌旁對照手中的樣本文件與屏幕上的執行記錄,逐項核對。

常見錯誤與排查方法

出錯的地方很少是模型不夠聰明,多半是流程、權限或驗收沒有寫清楚,排查順序由下而上:先看資料能否取得,再看權限與接口,最後才懷疑模型。以下幾種症狀可以對號入座。

症狀通常的原因排查方法
示範很順,真實任務一跑就卡只設計了成功路徑拿上週最麻煩的一宗重跑,看它停在哪一步
同一份報告,兩個同事算出不同數字指標口徑沒有定義,或有多個入口各算一次先寫下每個指標的定義與分母,指定單一資料來源
agent 對外發了不該發的內容,或改動了預算權限一次開到最大列出可讀、可寫、需批准三張清單,對外動作走審批
後台有執行記錄,結果卻是錯的把記錄當成完成證明回讀輸出與證據,把記錄與結果分開檢視
平台停用或改版之後,整條流程停擺綁死單一工具或介面保留切換模型與介面的設計,工作流以可轉移的方式保存
上線後才發現某個系統接不上只驗功能,沒有驗接口與授權上線前逐項核對接口、授權範圍與資料品質

如何驗證成效:四個指標與一條基線

成效分兩層看:功能有沒有做到,業務有沒有改善。混在一起談,就會出現「系統很好用,但沒人說得出省了多少」。

功能層面用四個指標就夠:處理時間、審核時間、任務完成率、錯誤率。沒有歷史數據的團隊,先用小範圍試點建立基線,再比較前後。

流程層面可以更細。報告類流程看整理與複核時間、數字一致性、返工原因;客戶查詢類看首次響應時間、資料完整度、逾期跟進比例;內容生產類看製作與修訂時間、審核通過率。指標定義要在開工前寫下來,否則同一份數據可以得出不同結論。

業務層面要誠實。原文的 DocGen 例子用時間與收費作對照,那是個案,不是你的預測,不要當成收入保證。功能驗收與經營成效分開檢視,才不會把一個運作正常的系統說成增長引擎。

什麼時候應該改為委外定制?有三個訊號。要連接的既有系統超過一兩個,各有不同的授權與資料格式;需要自建介面給同事或客戶使用;內部沒有人能承接上線後的維護。工程量在接口、資料映射與寫回權限,也就是ai 系統整合處理的範圍。流程橫跨多個後台的話,先把ai 系統 整合要做的同步方式問清楚,比先選模型有用。

Topkee 的看法:交付流程與人工審核邊界

Topkee 把這件事寫成四階段的交付流程:評估與設計、開發與試點、驗收與上線、持續改進,與上面四步一一對應。mockup 落在開發與試點的前段,品質控制則延伸為驗收加上持續改進,每階段都有交付物與改進建議。

驗收用四項原則:結果能核對,先約定樣本、評分規則與通過門檻;動作有邊界,對外發送、預算或訂單變更須另行確認權限;失敗有人接手,缺失資料與接口錯誤都有處理方式;成果可以交接,代碼、配置與部署說明一併交付。

人工審核與權限邊界是這裡最容易被跳過的一段。資料不足時,做法是提出確認事項,不擅自補寫客戶事實;未納入範圍的自動發布,不會由 agent 自行執行;複雜的多級審批需要獨立評估,不能假設單級審批可以承擔合規要求。

不想從零定制,可以走平台化搭建的另一條路徑。Topkee Agent 以崗位模板(Bot Team)、任務方法(Skill)、工具接口(Plugin)三層組裝,先按任務尋找已發布的 Skill,再配置角色與模型,最後接入真實服務。要注意 Bot Team 是崗位模板的名稱,不等於多代理協作。

知識庫有三條示範流程:營銷報告與分析、客戶查詢與跟進、商品內容與協作,各自列出可觀察指標。它們是示範,不是已實施的客戶案例。

下一步:由一條流程開始

今天可以做的第一件事,是寫一頁紙:選一條每月重複、有明確輸出的流程,寫下誰在做、輸入什麼、輸出什麼、哪一步最常出錯。這一頁就是第一步的雛形,也是日後驗收的依據。

寫完之後,找一位熟悉例外的同事核對,再用典型資料做一個最簡陋的 mockup,讓他把最麻煩的一宗交給你跑一次。流程涉及多個既有系統的話,可以看ai agent development的交付範圍。

如果這條流程的終點是電話跟進與商機推進,可以先看 Voice Agent 如何幫你接電話、打 Cold Call 與跟進客,理解對話環節怎樣與後台交接;要把跟進結果寫回系統、讓銷售看到同一份數據,商機跟蹤說明欄位與流程怎樣對齊。兩者都只是其中一段,順序仍然是先梳理,再試用,然後部署。

Sources

  1. Building AI Agents: A Proven Process, Social Media Examiner, 2025-11-04. https://www.socialmediaexaminer.com/building-ai-agents-a-proven-process/
  2. Introducing AgentKit, new Evals, and RFT for agents, OpenAI, 2025-10-06. https://openai.com/index/introducing-agentkit/
  3. Building effective agents, Anthropic, 2024-12-19. https://www.anthropic.com/research/building-effective-agents
分享到:
日期: 2026-11-21
Wing Yau

作者

Wing Yau

Marketing Manager