「社會發展政策知識庫POC實驗問卷效度」焦點座談會
活動日期：113-10-11
此次活動由國立政治大學公共行政學系與國立空中大學公共行政學系共同舉辦「POC實驗」專家效度會議。本次活動邀請到李建錠副教授、蔡銘峰副教授兩位學者專家，並以「RAG-POC實驗設計」為主題，協助國發會建置「社會發展政策知識庫」的概念驗證（POC）系統，運用實驗評估方法，確保該系統不僅能符合專案需求，亦能提升社會政策循證治理協作能力。
會議中探討了RAG技術的挑戰和評估過程，分為兩部分：相關性與一致性。分析檢索結果的召回率和準確度，並確保生成的答案具備價值。整個評估流程結合自動生成與人工審查，並強調人類參與在調整生成答案和確定重要論點中的作用。
其他與會者表示透過不同大型語言模型進行檢測特別是當FAQ資料係來自於人工生成或網路蒐集時，尤其是在大型語言模型和RAG系統中，生成的結果必須具備一定的透明度。故建議在設計實驗時，應加入與可解釋性相關的指標，以提高系統的透明性。針對實驗中的不準確結果，提出兩種優化方法：一是重新導入FAQ資料進行新的RAG測試；二是使用提示工程來進行調整，保持原始內容不變，僅修改提示。
最後，與會者建議可以將問卷評分範圍縮減為0-5，這樣的縮減不僅讓評估更具可操作性，還能讓受測者更容易區分好壞（例如：0、1、2可以代表偏向負面的評價；3、4、5則代表偏向正面的評價），藉此降低受測者的認知負荷，也能讓受試者在評估過程中能更清楚去做判斷。
整體而言，此次座談強調了結合自動生成技術與人工審查在構建社會發展政策知識庫的重要性，並為RAG系統提供了具體的評估方法和優化建議，相關成果將可做為未來發展RAG評估指標的重要基礎。
