◎ 113年度計畫團隊技術組
在「淺談政府機關導入檢索增強生成(RAG)-上篇」中，介紹了生成式人工智慧（generative artificial intelligence，生成式AI）與檢索增強生成（retrieval-augmented generation, RAG）的概念，以及其如何可能成為降低大型語言模型（large language model, LLM）幻覺、與提升組織學習與知識管理的可行方案，而在本篇中將主要探討政府機關導入RAG的相關因素與可行模式。
一、公部門導入RAG的整備因素
作為嘗試RAG於其特定業務的起手式，政府機關可選定符合發展目標、契合RAG特性、且在其他組織已有初步成效的小規模任務類型開始試行（例如上篇案例所述）。以傳統公共管理的角度來看，依賴組織內部文本的組織學習與知識管理應適合作為初始應用的領域，這也可避免在RAG產出品質尚未穩定時，直接應用於對外公共服務而引發爭議（例如對民眾開放的智慧聊天機器人）。
考量此概念驗證（proof of concept, PoC）案例時，組織也應同步盤點RAG應用所需資料的品質與可得程度，包括資料的正確性、更新頻率、存放位置、格式、總容量、資料機敏性，以及使用權限劃分等。此外，也必須考量如何將文本資料由現有資訊系統介接與轉換，或是與預期產出可能搭配的現有資訊系統或應用場景的整合，這些皆是導入RAG的關鍵備因素。
應用案例的考量與選定亦須搭配PoC團隊的組成，由於RAG應用案例需跨領域（資訊技術、資料科學、法律與業務領域等）成員的投入，建議由機關副首長召集跨單位任務編組，並由主責RAG案例的業務主管作為幕僚與推動單位，並搭配資源授權與其他激勵誘因。
二、影響導入模式的考量因素
考量在創新實驗階段的導入模式，建議政府機關可優先以私有雲委外模式累積經驗，並透過妥善的專案管理來移轉RAG相關知識與技能。此模式除有助於探索未來的應用場景擴展，也可審慎評估是否適合採用自建模式。正如上篇提到的內容，目前RAG架構的兩大核心技術便是LLM與搜尋檢索系統。整套系統可選擇承租「私有雲服務」或「自建落地部署」，後者通常需要較高的軟、硬體成本及團隊能力的培養。
因此，導入初期建議可採用私有雲模式進行小規模PoC驗證。若政府機關需處理機敏資料，應避免使用部署於公有雲的LLM（如OpenAI的GPT系列模型），選擇可落地部署且具高度可控性的模型，例如我國國科會的TAIDE（Trustworthy AI Dialogue Engine）或臺大團隊的Taiwan Llama3等。
最後，針對選定RAG創新實驗任務與團隊成員，建議政府機關也可同步規劃任務導向培訓（task-oriened training）與行動研究（action research），以利紀錄推動經驗，並持續反思如何敏捷修正。這樣的小規模創新實驗不僅能累積數位優化與數位轉型的實務經驗，亦能為未來將RAG與現有資訊系統進一步銜接與整合奠定基礎，最終有助於推動RAG應用於政府機關更廣泛的業務領域。