封面故事 > 歷代精選
2025年7月
導入代理式AI的雙面刃
NVIDIA總部超級運算部門亞太區前負責人張智為口述、郭美瑜整理
過去,企業多依賴流程導向來處理任務,隨後進化至大型語言模型(LLM),例如OpenAI的ChatGPT或Google的Gemini,透過自然語言協助資訊搜尋與知識問答。但LLM仍局限於單次回應與無法主動執行的框架,代理式AI則突破這些限制。想像一組由多個AI代理人(AI Agents)組成的團隊,各自專精又互相協調,協力完成複雜任務,這就是代理式AI的概念,最大優勢在於其自主查詢、跨平台整合與多代理協作的能力,透過代理之間的溝通處理揉合出結論,還能執行任務並追蹤結果,這項技術大幅提升整體作業效率與生產力,因而成為企業導入的新趨勢。
企業通常擁有獨立的生產、行銷、庫存、會計等部門,各有其相應的知識庫,這些部門就像是各自獨立的代理人,當CEO想了解公司的營運狀況時,傳統上他必須從業績、訂單、出貨、庫存、應收、應付帳款、現金餘額等彙整分析,評估營運效率及整體財務健康狀況,但透過代理式AI,統合財務、銷售、即時監控物流系統等產出完整的營運評估報告,不僅節省時間、人力,也提高決策精準度,這正是目前代理式AI應用的具體實踐。
金融業代理式AI的實際應用場景也略見雛形。目前主要仍在客服與內部知識管理優化方面展現非凡的潛力。以傳統銀行客服為例,以往客戶必須經過層層的身分驗證,且客服總是被動應答,但導入代理式AI後,系統可根據客戶過往的消費紀錄來預測客戶需求,當客戶進線時,代理式AI即啟動消金、理財業務的代理人連結,客服人員得以主動依據客戶在數月前的信用卡消費機票資料,提供機場接送資訊,甚至預告剩餘的接送次數。此外,各部門營運的終極目標不外乎創造利潤,客服中心有了代理式AI的助力,還可以推薦客戶財務規劃方案,提升客戶的服務體驗與交叉銷售的效率。
國內某金控即導入AI技術運用,協助旗下壽險業務員精準掌握客戶輪廓與需求,客製化保單建議,成功推動業績成長。過去旗下人壽子公司的上千名保險業務員,依賴挨家挨戶推銷保單,但在現今市場競爭激烈、產品多樣的年代,業務員就可以藉由代理式AI分析客戶的貸款、存款、理財、推理家中可能人口結構、消費習慣等,得以客製化最適保單,進一步推動業績成長,可說是「創造收單的臨門一腳」。
雖然代理式AI帶來飛躍式的效率與決策力,但也面臨現實的限制。首先是成本難題,代理式AI需要處理大量的token(詞元),對GPU等硬體資源依賴度高,導致企業可能引發算力瓶頸,若大規模部署代理式AI,企業恐面臨運算資源不足,以及難以負荷GPU的高昂建置成本。
另一個不容小覷的是維運成本,假設一家3.5萬人的員工,運用LLM系統導入代理式AI時,原本規劃350名員工上線使用,不過,員工使用的慣性常常是登入後經常占線,導致進線量不敷使用,此外,若員工凡事問代理式AI,企業知識庫不預先訓練,token數需求就會增加,這也為企業帶來算力不敷使用的風險。
若要降低代理式AI的建置成本,那麼建置高品質知識庫與預訓練模型(Pretrained Model)將會是手段,因為預載知識建置得當,RAG檢索就用得好、用得精準,將可進一步減少token的運算數量,並降低GPU算力損耗,而毋需陷入token競賽的迴圈。
資料安全、洩密議題是AI問世以來廣泛受到重視的議題,應用代理式AI時亦然。企業導入AI過程中,可選用閉源模型或開源的AI模型,但閉源模型常由大型科技公司開發,通常以API方式允許使用者從雲端存取,機密或個人資料一旦透過雲端存取API,可能導致外洩疑慮,促使企業不得不思考轉向部署地端、可控的AI模型架構。
另一個挑戰是產業知識的保存。目前企業多數使用LLaMA、Mistral、DeepSeek等開源大型語言模型,然而,這些模型皆為英文與簡體中文的語料,對台灣所使用的繁體中文語料理解與生成能力有限,尤其在商業、製造、法務、醫療等專業語境中常出現誤譯、誤判或用詞不當的情形。若企業期望AI能成為支援內部決策、客服、文件生成、知識管理等場景的助力,就必須加強可以完全掌控模型的部署方式、資料訓練過程,以及與內部知識庫的整合深度。
無論是傳統流程、大型語言模型LLM或代理式AI,皆有其行為特徵、主要優勢與限制,企業毋須盲目地在所有的工作流程導入代理式AI,關鍵在於先釐清所要獲致的成果,並針對目標優化各階段代理式AI的使用深度。
代理式AI已經實踐了多工處理,未來重複、固定的業務勢將由代理式AI取代,人力的服務將演變成個人化的顧問建議模式。展望代理式AI的下一步,或許能結合Edge AI(邊緣運算),實現AI模型於終端設備的分散式部署。想像在智慧電話、燈具、冰箱,甚至會議裝置內建代理式AI,提供即時互動與指令執行。例如,在一場視訊會議中,參與者僅需說出幫我做會議記錄,這個小小的裝置即可啟動會議代理式AI,並主動將會議記錄發送給通訊錄的相關人等,並進行後續追蹤,擴大應用的廣度。
代理式AI雖具顛覆現狀的實力,但其運用仍依靠人的啟動。如果現實生活中代理式AI將成為企業的數位員工,企業與其觀望,不如擁抱並掌握趨勢,讓它成為企業升級與轉型的最佳推手。(張智為為現任台灣人工智慧實驗室營運長)