LangChain 奇幻旅程：OpenAI x Gemini x 多模態應用開發指南

 

　　1.全書深入探討如何使用 LangChain 結合 Azure OpenAI、Gemini 以及地端開源模型的部署，並提供多種應用示範。讀者可以透過本書，從開發到部署全方位掌握 AI 技術的應用。

 

　　2.RAG（檢索增強生成）架構是目前企業打造知識庫型 LLM 應用的首選架構。本書除詳盡講解 RAG 架構之外，更是第一本詳解 Qdrant 向量資料庫的書籍。

 

　　3.生成式 AI 的應用從單一工具擴展至最新的 AI Agent 前沿技術。本書專章探討 AI Agent 的概念與應用，協助開發者開發更具前瞻性的 AI 思維的應用。

 

　　4.本書適合的「讀者族群」

　　i.想瞭解如何使用 LangChain 的開發者

　　ii.想瞭解向量資料庫與 RAG 架構的開發者

　　iii.想瞭解 AI Agent 的概念與應用的開發者

　　iv.想瞭解在企業面如何整合不同 LLM 模型導入應用的技術主管

 

 

　　這本書結合了 OpenAI 與 Gemini 兩項主流的語言模型技術，並讓讀者能夠透過開發指南開發不同的應用。這本書不僅讓讀者能夠深入了解語言模型的運作原理，更能夠透過實作的方式，將理論知識轉換為實際應用。對於想要進入 AI 領域的開發者來說，絕對不能錯過這本書。——Jimmy Liao, 廖聖傑，(Certification) Google Developer Expert, Generative AI，Appier, Senior Software Engineer, Full Stack, Copilot/Assistant Squad，ex-Microsoft Azure Data/AI Cloud Solution Architect，ex-IBM Staff Software Engineer, Mobile Architect

 

　　本書凝聚了他們這兩年對生成式 AI 的研究，展示了他們對 AI 應用的深刻理解。無論你是 AI 技術的愛好者，還是專注於生成式 AI 開發的專業人士，本書都將為你提供有價值的洞見與實用技巧。AI 的未來充滿機遇，而 LangChain 正是其中的重要工具。希望本書能幫助你在開發過程中取得突破，並推動技術的持續進步。——Kui-Ming Chen，Microsoft AI MVP

 

　　這本書以 LangChain 框架為基礎，構建了一套完整的大型語言模型學習地圖，讓你能深入理解語言模型的運作原理，並透過實際操作的方式將這些技術應用於真實專案中。無論你對 AI 是初學者還是有經驗的開發者，這本書將成為你邁向 LLM 開發之路的重要指南，幫助你在 AI 領域快速取得突破。——張維元 / 資料科學家的工作日常

Chapter 01 LangChain環境準備篇

1.1 使用Poetry來安裝與管理虛擬環境

1.2 使用Python-dotenv來管理環境變數

1.3 LangChain 0.2 版介紹與0.3版更新策略

 

Chapter 02 LangChain 初試身手

2.1 認識LangChain

2.2 建立一個簡單的生成式AI應用 - 語言翻譯器

2.3 運用Prompt Template 打造多國語言翻譯器

2.4 PromptTemplate應用練習 - 單字情境造句機

 

Chapter 03 PromptTemplate 設計

3.1 多筆問答範例樣板 - 來啊！戰南北

3.2 範例選擇器 - 先生，你依據哪一條判斷我是南部人？

3.3 省話一哥 - 利用範例選擇器來簡化提示

 

Chapter 04 Chain 的基本概念與使用

4.1 Chain 的基本概念與使用

4.2 認識 LLMChain

4.3 認識 SimpleSequentialChain

4.4 認識 SequentialChain

4.5 認識MultiPromptChain

4.6 實作Conditional Chain機制

 

Chapter 05 認識 LCEL 表達式

5.1 認識LCEL表達式

5.2 認識RunnableSequence

5.3 認識RunnableParallel

5.4 認識RunnableBranch

5.5 認識RunnableLambda

5.6 認識RunnableWithFallbacks

5.7 認識RunnablePassthrough

 

Chapter 06 LangChain Memory機制

6.1 常見的Memory機制介紹

6.2 RunnableWithMessageHistory介紹

6.3 實作 RAG 流程整合歷史訊息

 

Chapter 07 LangChain與Azure OpenAI GPT-4o

7.1 申請Azure OpenAI GPT-4o資源

7.2 開始使用Azure OpenAI GPT-4o - 多愁善感的詩人

7.3 LangChain與GPT-4o

7.4 我的Azure OpenAI英文老師：Whisper + GPT-4o + TTS .-10

 

Chapter 08 LangChain與Google Gemini

8.1 申請 Google Gemini API

8.2 Hello Gemini

8.3 LangChain與Gemini

8.4 圖片理解

8.5 聲音理解 - Podcast 重點摘要

8.6 影片理解 – Ryan在哪裡

 

Chapter 09 LangChain與Hugging Face

9.1 Hugging Face 介紹

9.2 Hugging Face 帳號註冊

9.3 LangChain Hugging Face全新套件

 

Chapter 10 設計RAG應用

10.1 認識RAG

10.2 認識 Embeeding與向量資料

10.3 實作 RAG應用

10.4 關於知識文件切割的探討

 

Chapter 11 本地模型RAG應用

11.1 認識Ollama

11.2 使用llama.cpp量化與轉換模型格式

11.3 實作混合雲RAG應用

 

Chapter 12 Qdrant進階使用技巧

12.1 Qdrant多租戶的設計

12.2 Qdrant索引設計

12.3 Qdrant分散式部署

12.4 Qdrant與LangChain的整合

12.5 Qdrant與LangChain在 0.3 版將會有的改變

 

Chapter 13 設計Chatbot應用

13.1 Hello Line Bot 建立

13.2 Line Bot + GPT-4o

13.3 Line Bot + Gemini

13.4 LangChain + GPT-4o + Gemini

 

Chapter 14 AI Agent

14.1 AI Agent 概念

14.2 AI Agent架構設計：從單體到複雜系統

14.3 基本 ReAct AI Agent 應用

14.4 為ReAct AI Agent加上短期記憶應用

14.5 為 ReAct AI Agent 加入 system prompt

14.6 AI Agent的工具也可以是個 Chain

 

Chapter 15 LangServe與部署上雲

15.1 LangServe介紹

15.2 RAG Chain的搭建

15.3 LangServe 建立與整合

15.4 容器化LangServe與地端部署

15.5 LangServe 容器映像登錄

15.6 部署LangServe到Azure

作者簡介

 

柯克（Ko Ko）

 

　　柯克（Ko Ko）連續當選多年微軟AI領域的最有價值專家（Microsoft AI MVP），曾任職於財星世界500強企業、美國矽谷科技新創、澳洲雪梨科技新創、美國上市公司等企業，擅長於AI技術與軟體開發。他曾在 ModernWeb、.NET Conference、PyCon APAC、PyCon HK、DevDays Asia等等的國際大型年會擔任講者，也曾在四大會計、上市櫃公司、大專院校等擔任內訓講師，累計已超過萬名聽眾。他是技術社群Chatbot Developers Taiwan的核心成員，在社群裡也分享過許多自然語言處理和聊天機器人相關的實戰和心得。他熱愛向大眾分享他的經驗與所學，並且相信這樣分享的過程中能讓彼此都更進步。經營臉書粉絲專頁「大魔術熊貓工程師」。

 

陳葵懋（Ian Chen）

 

　　高雄師範大學資訊教育研究所碩士，目前任職於一等一科技股份有限公司，同時也是微軟AI領域的最有價值專家（Microsoft AI MVP），以及微軟國際認證講師（Microsoft MCT）。

 

　　專注於.NET、Azure雲端、生成式AI解決方案、容器化服務等技術，於Microsoft Tech days、Microsoft DevDays Asia、Modern Web Conference等大型技術研討會擔任講者。政府公務單位、大專院校與跨國上市企業AI培訓講師，同時也是高雄技術社群K.NET的聯合創辦人，經營「Semantic Kernel Developers Taiwan」臉書社團，樂於分享經驗，始終相信軟體技術應發揮影響力創造更美好的生活。

 

Ryan Chung

 

　　Ryan Chung，行動開發學院創辦人，曾獲微軟人工智能大賽特別獎、Udacity AI產品經理微學位。目前為製造業上櫃公司AI顧問、微軟Reactor / DevDaysAsia / .NET Conf Taiwan講師、中央大學AI學程兼任講師、元智大學資工系兼任助理教授級專業技術人員。專長於微軟Azure OpenAI與認知服務應用整合、Google Gemini AI應用開發、Line Bot應用開發。2022年起，獲選為微軟MVP - AI人工智慧最有價值專家。