生成式 AI 專案實踐指南：從模型挑選、上線、RAG 技術到 AI Agent 整合


	結合架構思維與實務帶你從 0 到 1 完整理解如何實作 AI Agents 專案　　本書著重於「流程與架構」，提供一套通用的邏輯與方法，協助個人或企業依照自身需求將生成式 AI 技術實際應用於專案中。本書涵蓋生成式 AI 應用的兩大面向：生成式 AI 模型和檢索增強生成（RAG），內容包含大型語言模型（LLM）、模型選擇、部署、RAG 技術到 AI Agent 整合的完整流程，並深入淺出地講解生成式 AI 的核心概念和實務技巧，讓讀者能夠快速上手，將生成式 AI 技術應用於各種實際場景。　　重點內容　　｜生成式 AI 基礎與模型選擇｜　　。生成式 AI 的基本概念與介紹　　。大型語言模型（LLM）的介紹與使用方法（閉源與開源）　　。評估模型能力，並建立可用的 AI 服務　　｜LLMOps 與模型部署｜　　。DevOps 與 MLOps 簡介　　。LLMOps - LLM for DevOps 方法與流程　　。透過 DevOps 進行生成式 AI 專案的流程再造　　｜檢索增強生成（RAG）技術｜　　。RAG 的概念與運作方式，結合檢索與生成提升 AI 準確度　　。知識庫管理：如何建立、維護與擴充向量資料庫　　。核心技術解析：Embedding Vector、Chunking、Metadata 　　｜進階 RAG 服務與系統架構｜　　。RAG 服務架構與系統建置　　。RAG 優化方法：GraphRAG、CAG 等進階技術　　。如何衡量 RAG 模型的準確性與效能　　｜AI Agent 的整合與應用｜　　。AI Agent 的概念與架構　　。AI Agent 工作流程（Agentic AI Workflow）　　。RAG-base AI Agent 的應用場景　　目標讀者　　人工智慧技術相關領域的專業人士，包括研究人員、開發人員、工程師、專案管理者等，以及對生成式 AI 與 RAG 技術有興趣的讀者。本書特色　　❏ 基本概念與實務應用　　介紹生成式 AI 的基礎知識、大型語言模型、模型服務上線，以及 DevOps 和 MLOps 實務。　　❏ RAG 技術深度解析與應用　　深入探討檢索增強生成（RAG）技術，包括知識庫建置、進階檢索方法，以及與 AI Agent 的整合應用。　　❏ 導入策略與未來展望　　分析生成式 AI 技術的導入方法、模型與系統評估，以及未來發展方向。專業推薦　　生成式 AI 的革命性，在於它徹底民主化了創作過程，將門檻降至近乎零的程度。然而，這種便利性也帶來了挑戰，我們比以往任何時候都更需要一套系統化的架構思維，將雜訊轉化為有序，實現戰略性的技術整合與部署。本書正是這樣一本架構思維與技術實踐的結合。它不滿足於表層的模型能力描述，也不局限於單一工具的操作教程，而是採取系統構建者的全局視角，為讀者提供一條從概念到落地、從選型到部署的完整實踐路徑。我由衷推薦這本書，給每一位期待在生成式 AI 領域真正落地應用、創造實質價值的實踐者。──── 蔡明順｜台灣人工智慧學校校務長　　本書選擇站在「實務導入者」的角度出發，從模型挑選、部署流程、RAG 架構、再到 AI Agent 整合，完整構建了一套系統化的落地指南。尤其是面對 LLMOps 這一相對新興且技術門檻高的領域，作者所提出的實作脈絡與技術選型依據，對於企業內部推動專案的工程師、技術主管與產品團隊，都極具參考價值。──── 盧建成 Augustin｜靖本行策有限公司創辦人暨台灣軟體工程學會理事　　本書不僅僅是一本技術指南，更是一部企業數位轉型與創新應用的藍圖。面對市場上日益激烈的競爭，企業必須更敏銳地掌握生成式 AI 的技術趨勢，以創新的應用模式創造出差異化價值。這不僅是技術人的使命，也是企業領導者應該把握的策略契機。透過本書的學習，讀者將能夠清楚理解如何在選擇模型、技術整合與專案部署之間取得平衡，進而在數位轉型浪潮中立於不敗之地。──── 吳柏翰 Jerry Wu｜APMIC 創辦人暨執行長、Google Developer Expert - AI Role


	目錄第一部分生成式 AI 基礎知識第一章生成式人工智慧 1.1 傳統型人工智慧的定義與基本概念 1.1.1 專家系統 1.1.2 機器學習與深度學習引入 1.2 生成式 AI 的誕生 1.2.1 什麼是生成式 AI？ 1.2.2 生成式 AI 的歷史背景 1.3 傳統型人工智慧和生成式人工智慧的差異 1.4 生成式 AI 的核心重點 1.4.1 極大量資料：模型學習的基礎 1.4.2 生成式對抗網路（GAN） 1.5 生成式 AI 的應用場景 1.5.1 自然語言生成 1.5.2 影像生成 1.5.3 音樂與聲音合成 1.5.4 其他應用 1.6 生成式 AI 的優勢與挑戰 1.6.1 導入生成式 AI 的優勢 1.6.2 導入生成式 AI 的挑戰 1.7 本章小結第二部分大型語言模型介紹第二章大型語言模型 2.1 大型語言模型介紹 2.2 大型語言模型的歷史 2.2.1 深度學習的應用 2.2.2 Transformer 結構的突破 2.2.3 詞向量模型的起源 2.3 大型語言模型的應用場景 2.3.1 自然語言生成 2.3.2 情感分析與文本處理 2.3.3 資料生成與輔助學習 2.4 開源與閉源語言模型的比較 2.4.1 開源語言模型 2.4.2 閉源語言模型 2.5 指令調整模型與原始模型差異 2.5.1 原始模型的特徵 2.5.2 指令調整模型的特徵 2.5.3 原始模型與指令調整模型的差異比較 2.5.4 應用差異 2.6 大型語言模型與多模態模型 2.6.1 單模態模型（LLM） 2.6.2 多模態模型（LMM） 2.6.3 大型推理模型（LRM） 2.6.4 應用差異 2.7 本章小結第三章閉源式模型的介紹與使用方法 3.1 閉源式生成式 AI 模型概述 3.1.1 主流閉源式生成式 AI 模型介紹 3.1.2 模型選擇策略與實際應用場景 3.2 閉源式模型的使用方法 3.2.1 使用模型的多種方式 3.2.2 使用流程與實作細節 3.2.3 Prompt Engineering 介紹 3.3 使用閉源式模型的注意事項 3.3.1 資料隱私與安全性 3.3.2 法律與合規性 3.3.3 效能與穩定性 3.3.4 成本效益管理 3.4 本章小結第四章開源式模型的介紹與使用方法 4.1 開源模型概述 4.2 主流開源模型介紹 4.2.1 Llama 4.2.2 Gemma 4.2.3 Mistral 4.2.4 Phi 4.2.5 DeepSeek 4.3 繁體中文開源語言模型介紹 4.3.1 Project TAME 4.3.2 Breeze 系列模型 4.3.3 TAIDE 4.4 開源模型的選擇與應用 4.4.1 模型選擇標準 4.4.2 部署與整合方法 4.5 開源模型的未來發展 4.6 本章小結第三部分模型服務上線第五章模型選擇與評估模型能力 5.1 模型選擇的重要性 5.1.1 為什麼模型選擇是成功的關鍵 5.1.2 模型選擇的影響範疇 5.2 常用的基準資料集介紹 5.2.1 Benchmarks 的用途與局限性 5.2.2 主要的 Benchmark 資料集分類與特點 5.2.3 如何選擇適合的 Benchmark 測試模型 5.3 自行準備的資料及評估方式 5.3.1 手動評估方法 5.3.2 自動化評估方法 5.3.3 使用大模型評估小模型能力值 5.4 閉源模型和開源模型怎麼選 5.4.1 閉源模型的優勢與限制 5.4.2 開源模型的優勢與挑戰 5.4.3 選擇策略 5.5 如何找出閉源模型適合的專案 5.5.1 閉源模型的官方文件與能力描述 5.5.2 透過測試資料評估閉源模型 5.5.3 依賴 Benchmark 評估閉源模型 5.6 開源模型怎麼評估 5.6.1 模型評估的關鍵指標 5.6.2 開源模型的測試方法 5.6.3 評估工具與框架 5.6.4 特殊場景的開源模型測試 5.7 本章小結第六章生成式人工智慧模型即服務的方法 6.1 生成式 AI 即服務（GenAI Model as a Service）介紹 6.1.1 生成式 AI 即服務定義與基本概念 6.1.2 生成式 AI 即服務架構 6.2 讓 GenAI 模型服務化的好處 6.2.1 靈活選擇與替換生成式 AI 模型 6.2.2 減少提供給模型廠商的資料量 6.2.3 長期成本效益：自建模型的優勢 6.2.4 提高彈性與擴展性 6.3 Ollama GenAI MaaS 工具介紹 6.3.1 介紹 Ollama 工具 6.3.2 如何開始使用 Ollama 6.3.3 Ollama Embedding：可以將人類語言轉譯成機器語言 6.4 生成式 AI 模型的部署與維運 6.4.1 部署過程 6.4.2 持續維運的關鍵 6.5 生成式 AI 模型即服務的安全性與隱私考量 6.5.1 安全性問題 6.5.2 隱私保護 6.5.3 道德與法律風險 6.6 本章小結第四部分透過 DevOps 進行生成式 AI 專案的流程再造第七章 DevOps 與 MLOps 簡介 7.1 DevOps 與 MLOps 介紹 7.1.1 DevOps 簡述 7.1.2 MLOps 簡述 7.2 DevOps 的核心理念與流程 7.2.1 持續整合（CI） 7.2.2 持續交付（CD） 7.3 MLOps 的特點與挑戰 7.3.1 MLOps 的目標與重要性 7.3.2 MLOps 的關鍵挑戰 7.4 DevOps 與 MLOps 的差異性比較 7.5 MLOps 工作流的主要階段 7.5.1 資料工程（Data Engineering） 7.5.2 特徵工程（Feature Engineering）與模型訓練（Model Training） 7.5.3 模型部署（Model Deployment）與監控（Model Monitoring） 7.6 MLOps 工具與框架 7.6.1 Kubeflow 7.6.2 MLflow 7.7 本章小結第八章 LLMOps - LLM for DevOps 方法與流程 8.1 什麼是 LLMOps？ 8.1.1 LLMOps 的核心構成 8.1.2 LLMOps 的實務操作要點 8.2 為什麼需要 LLMOps？ 8.3 LLMOps 的核心組成 8.3.1 資料收集與準備 8.3.2 模型訓練與模型微調 8.3.3 模型部署與優化 8.3.4 持續監控與管理 8.3.5 安全性與法規遵循 8.4 LLMOps 與 MLOps 的關係 8.5 LLMOps 的優勢 8.5.1 提升效能 8.5.2 提高效率 8.5.3 增強穩定性與安全性 8.6 LLMOps 的最佳實踐 8.6.1 確保資料品質 8.6.2 監控訓練進度 8.6.3 選擇適合的部署環境 8.6.4 實施全面監控 8.7 小結第五部分檢索增強生成（RAG）與模型微調（Fine-Tune）第九章檢索增強生成和模型微調介紹 9.1 檢索增強生成和模型微調 9.1.1 RAG 介紹 9.1.2 Fine-Tuning 介紹 9.1.3 RAG 和 Fine-Tune 之間的比較表 9.2 決策因素：何時使用 RAG？何時使用 Fine-Tune？ 9.2.1 RAG 的適用情境 9.2.2 Fine-Tune 的適用情境 9.2.3 單獨與混合策略 9.3 RAG 和 Fine-Tuning 流程設計與實務建議 9.3.1 RAG 專案整合流程 9.3.2 Fine-Tune 專案整合流程 9.3.3 RAG + Fine-Tune 混合方案流程 9.4 RAG 和 Fine-Tuning 在專案時程與維運上的考量思考 9.4.1 成本衡量 9.4.2 時程規劃 9.4.3 維運策略 9.5 本章小結第十章嵌入向量 Embedding Vector 10.1 什麼是 Embedding？ 10.1.1 定義與概念 10.1.2 Embedding Vector 的核心特性 10.2 Embedding 的數學基礎 10.2.1 向量空間與線性代數回顧 10.2.2 距離衡量方法 10.2.3 維度縮減的技術 10.3 Embedding 的應用場景 10.3.1 自然語言處理（NLP） 10.3.2 計算機視覺（CV） 10.3.3 其他應用領域 10.4 嵌入技術的生成方式 10.4.1 基於詞袋模型（Bag of Words） 10.4.2 Word2Vec 與 GloVe 10.4.3 深度學習與新一代 Embedding 模型 10.4.4 Word Embedding 與 Sentence Embedding 10.5 如何衡量與評估 Embedding 的效果？ 10.5.1 平均倒數排名（MRR）的基本定義 10.5.2 直觀理解 MRR 與實際意義 10.5.3 MRR 的計算範例 10.5.4 MRR 的優缺點 10.6 本章小結第六部分建置 RAG 知識庫服務系統流程第十一章文章字塊切分 Chunking 11.1 Chunking 的基本概念與重要性 11.1.1 Chunking 的核心概念 11.1.2 Chunking 與文本表示的關係 11.1.3 Chunking 的理論基礎 11.2 Chunking 策略與方法分類 11.2.1 固定長度的 Chunking 11.2.2 基於語意單位的 Chunking 11.2.3 混合式 Chunking 策略 11.2.4 分層 Chunking 方法 11.3 Chunking 過程中的關鍵挑戰 11.3.1 Chunk 大小與語意資訊的平衡 11.3.2 語意連續性與上下文保留 11.3.3 Chunking 與文本結構整合 11.3.4 多語言與特殊文本處理 11.4 Chunking 的進階理論 11.4.1 Chunking 的數學模型 11.4.2 語意密度與文本分割 11.4.3 Chunking 策略的理論評估 11.5 Chunking 與上下游流程的整合 11.5.1 Chunking 與 Embedding 11.5.2 Chunking 與檢索索引架構 11.5.3 Chunking 與動態更新 11.7 本章小結第十二章 RAG 知識點的 Metadata 介紹 12.1 什麼是中繼資料（Metadata） 12.2 Metadata 所帶來的好處 12.2.1 文件詳情 12.2.2 來源識別 12.2.3 搜索增強 12.3 Metadata 的挑戰與重要性 12.3.1 過多匹配（Too Many Matches） 12.3.2 重要資訊的遺失（Loss of Important Information） 12.4 Metadata 與混合搜索策略 12.4.1 混合策略（Hybrid Strategy） 12.4.2 過濾選項（Filtering Options） 12.5 LLM 的語義搜尋與 Metadata 的智慧檢索 12.5.1 語義搜尋的實現（Semantic Search Implementation） 12.5.2 Metadata 在提示模板化（Prompt Templating）中的應用 12.6 本章小結第十三章 RAG 知識資料庫 13.1 什麼是 RAG 知識資料庫？ 13.2 RAG 知識資料庫的建構流程 13.2.1 知識資料準備 13.2.2 嵌入向量生成 13.2.3 Metadata 設計 13.2.4 測試與部署 13.3 知識資料庫的查詢與應用 13.3.1 查詢機制與流程 13.3.2 Metadata 在查詢中的作用 13.3.3 常見的應用場景與查詢案例 13.4 地端知識資料庫 ChromaDB 13.4.1 ChromaDB 的知識資料庫介紹 13.4.2 ChromaDB 優點 13.5 RAG 知識資料庫的雲端服務 13.6 RAG 知識資料庫的優化 13.6.1 提高檢索效率 13.6.2 提升檢索準確性 13.6.3 性能監控與調整 13.7 本章小結第十四章實作 RAG 知識庫服務系統 14.1 RAG 知識庫服務的概念與挑戰 14.2 RAG 系統架構與核心技術 14.2.1 向量嵌入技術 14.2.2 高效檢索機制 14.2.3 上下文增強與提示設計 14.3 RAG 系統實作流程與細節 14.3.1 知識庫構建階段 14.3.2 查詢應答階段 14.4 系統效能與優化策略 14.4.1 提升檢索效率 14.4.2 降低模型幻覺與提升答案可信度 14.5 實際應用案例 14.5.1 法律領域：智慧法規助理 14.5.2 企業知識管理：內部智慧知識助理 14.6 結論第七部分進階型 RAG 服務介紹第十五章進階 RAG 知識庫檢索方法 15.1 基礎 RAG 檢索會遇到的盲點 15.1.1 知識庫整理困難 15.1.2 Embedding Model 的長度限制 15.1.3 LLM API 的成本優化 15.2 句子窗口檢索介紹（Sentence Window Retrieval） 15.2.1 Sentence Window Retrieval 的概念 15.2.2 核心流程與技術細節 15.2.3 句子窗口檢索的優勢與限制 15.3 自動合併檢索介紹（Auto-merging Retrieval） 15.3.1 核心思路：先細分後合併 15.3.2 Auto-merging 的流程與演算法 15.3.3 範例與實際應用場景 15.4 相關段提取介紹（Relevant Segment Extraction） 15.4.1 Relevant Segment Extraction 的意義 15.4.2 技術原理與步驟 15.4.3 高階優化技巧 15.5 進階 RAG 檢索方法比較 15.6 本章小結第十六章 KAG 和 GraphRAG 概念 16.1 知識圖譜與生成式 AI 的關聯 16.1.1 知識圖譜（Knowledge Graph）的基本概念 16.1.2 知識圖譜的典型應用 16.1.3 為何生成式 AI 需要知識圖譜 16.2 KAG（Knowledge-Aware Graph）概念 16.2.1 KAG 的核心特徵 16.2.2 KAG 的優勢 16.2.3 KAG 的技術挑戰 16.3 GraphRAG（Graph-based Retrieval-Augmented Generation） 16.3.1 GraphRAG 的工作流程 16.3.2 GraphRAG 的應用場景 16.3.3 GraphRAG 的技術挑戰 16.4 KAG 與 GraphRAG 的比較與整合 16.4.1 主要差異 16.4.2 整合場景 16.5 本章小結第十七章 CAG 概念 17.1 CAG 介紹 17.2 CAG 技術細節 17.2.1 CAG 的核心架構 17.2.2 為何 CAG 能夠避免檢索錯誤？ 17.3 結果分析 17.4 CAG 優缺點分析 17.4.1 CAG 優勢分析 17.4.2 局限性與未來改進 17.5 本章小結第八部分生成式 AI 模型服務與 RAG 系統的評估第十八章 LLM 模型評估 18.1 LLM 模型評估概念與定位 18.1.1 為何進行 LLM 評估 18.1.2 現行評測方法的演進與背景 18.2 模型評估 vs. 任務評估 18.2.1 模型評估（LLM Model Evals）的核心指標與方法 18.2.2 任務評估（LLM Task Evals）的應用場景與限制 18.2.3 兩者互補與差異化解讀 18.3 現有評測指標與基準工具 18.3.1 MMLU／MMLU-Pro 18.3.2 MT-Bench 18.3.3 GPQA 18.3.4 MATH 18.3.5 MMMU 18.3.6 評測工具與數據分析：從 OpenAI Simple-Eval 到 Langchain Auto-Evaluator 18.4 新興評估框架與技術趨勢 18.4.1 MixEval 與 Open LLM Leaderboard 的實戰啟示 18.4.2 HuggingFace Evaluation Guidebook 的落地實例 18.4.3 LLM 作為評審：利用模型自我評估與互評的潛力 18.5 本章小結第十九章 RAG 系統評估 19.1 RAG 評估重要性 19.2 RAG 評估指標與衡量方法 19.2.1 基本指標：精確度、召回率與上下文相關性 19.2.2 自動化無參考評估方法 19.2.3 定性與定量指標的整合 19.2.4 Top-k 知識搜尋評估 19.3 評估工具與框架解析 19.3.1 RAGAS 介紹 19.3.2 RAG Triad：設計理念與應用限制 19.3.3 RAGChecker 19.4 Benchmark 與資料集構建 19.4.1 RAG Benchmark 介紹與設計原則 19.4.2 常用資料集與標準流程 19.4.3 Benchmark 結果解析與數據對比 19.5 本章小結第九部分 AI Agent 與 RAG 結合之應用第二十章 AI Agent 20.1 什麼是 AI Agents？ 20.2 生成式 AI Agents 的核心組成 20.2.1 模型：AI Agent 的智慧核心 20.2.2 工具：連接內外世界的橋樑 20.2.3 指揮層（Orchestration Layer）：Agent 的指揮中心 20.3 模型與 Agent 的區別 20.3.1 單步驟與多步驟的思考差異 20.3.2 外部工具與持續上下文管理 20.3.3 何時需要 Agent 20.4 Agent 的運作方式 20.4.1 以主廚為例的比喻 20.4.2 迭代式的規劃與執行 20.4.3 實務應用與挑戰 20.4.4 動態調整與長期目標追蹤 20.5 如何增強 Agent 的能力 20.5.1 情境學習 20.5.2 檢索式學習 20.5.3 模型微調學習 20.6 本章小結第二十一章 Agentic AI Workflow 的概念 21.1 Agentic AI Workflow 的核心概念 21.1.1 定義與特性 21.1.2 傳統自動化與 Agentic AI Workflow 的對比 21.2 Agentic AI Workflow 技術結構與組成 21.2.1 自動化設定平台 21.2.2 工作拆解 21.2.3 自動化驅動方式 21.2.4 自動化工作模式 21.2.5 輸出目標 21.3 Agentic AI Workflow 平台與實踐方式 21.3.1 工具介紹：Make 21.3.2 工具介紹：n8n 21.3.2 Make 和 n8n 的差異性 21.4 Agentic AI Workflow 的優勢與要注意的地方 21.4.1 整體效益 21.4.2 商業價值 21.4.3 導入後的缺點 21.5 本章小結第二十二章 RAG-base AI Agent 應用 22.1 RAG-base AI Agent 概述 22.1.1 定義與背景 22.2 RAG-base AI Agent 的核心模組 22.2.1 檢索模組 22.2.2 生成模組 22.2.3 代理模組 22.2.4 系統整合與部署考量 22.3 RAG-base AI Agent 的工作流程 22.3.1 初始查詢處理 22.3.2 資訊檢索 22.3.3 回應生成 22.3.4 行動決策與執行 22.3.5 迭代優化 22.4 RAG-base AI Agent 的應用場景 22.4.1 智慧客服 22.4.2 醫療診斷 22.4.3 教育輔助 22.5 RAG-base AI Agent 的挑戰 22.5.1 技術挑戰 22.5.2 倫理與隱私 22.5.3 風險管控與合規策略 22.6 本章小結第十部分 AI 技術導入專案的未來思考方向第二十三章導入 GenAI 技術的未來可能性方向 23.1 回顧 – 整體 GenAI 的發展狀況 23.2 未來技術發展的四大可能方向 23.2.1 模型的多模態進化與參數優化 23.2.2 專業模型建立 23.2.3 AI Agents 與自主工作流程 23.2.4 知識驅動的跨領域應用 23.3 未來挑戰與應對策略 23.3.1 資料版權、隱私與道德挑戰 23.3.2 資料版權挑戰 23.3.3 技術門檻與人才培養 23.3.4 系統整合與可擴展性 23.4 本章小結