📋 目錄
課程簡介
學習如何用 LLM 開發應用是未來的關鍵技能。這門課程將帶您了解 LLM 開發的基礎,從 API 調用到 RAG 系統,從微調到部署,讓您具備開發 LLM 應用的能力。
學習目標:
- 了解 LLM 開發的基礎
- 掌握 API 調用方法
- 學會建立 RAG 系統
- 了解模型微調和評估
- 規劃 LLM 應用部署
31.1 LLM 開發概述
為什麼學_this?
了解 LLM 開發的全貌。
核心教學
LLM 開發的應用:
🔹 對話系統
- 客服機器人
- 個人助理
- 互動問答
🔹 內容生成
- 文案生成
- 摘要
- 翻譯
🔹 數據處理
- 分析
- 分類
- 提取
🔹 自動化
- 工作流
- 決策支持
- 智能體
LLM 開發 vs 傳統開發:
- 傳統:寫邏輯規則
- LLM:提示 + 調用模型
- 更快更靈活
💼 商業範例
一家寵物用品公司開發 LLM 應用:
- 客服機器人
- 產品描述生成
- 分析報告
💡 小技巧
LLM 開發的核心是「提示工程 + 正確的框架」。
練習題
📝 本節摘要
- LLM 應用:對話、生成、數據、自動化
- 開發 = 提示 + 調用
- 更快更靈活
31.2 API 基礎
為什麼學_this?
API 是 LLM 開發的基礎。
核心教學
什麼是 LLM API?
API 讓您可以通過程式調用 LLM,發送請求、接收回應。
主流 LLM API:
- OpenAI API:GPT 系列
- Anthropic API:Claude 系列
- Google Gemini API:Gemini 系列
- 本地模型:Ollama、llama.cpp
基本 API 調用:
# OpenAI 範例
response = openai.ChatCompletion.create(
model="gpt-4",
messages=[{"role":"user", "content":"你好"}]
)
print(response.choices[0].message.content)
💼 商業範例
一家寵物用品公司用 OpenAI API:
- 建立客服機器人
- 生成產品描述
- 月成本 $200
💡 小技巧
API 開發需要基本的程式知識。如果沒有技術團隊,用 No-Code 工具。
練習題
📝 本節摘要
- API 讓程式調用 LLM
- 主流:OpenAI、Anthropic、Gemini
- 需基本程式知識
31.3 提示工程
為什麼學_this?
提示決定 LLM 輸出品質。
核心教學
提示工程的核心技巧:
🔹 清晰指令
- 明確要什麼
- 提供背景
- 設定格式
🔹 角色設定
你是一位客服專家,語氣親切專業。
🔹 提供範例
- Few-shot 學習
- 展示期望輸出
- 提高準確性
🔹 分步指令
- 拆解複雜任務
- 逐步引導
- 提高品質
🔹 輸出格式
- 指定 JSON
- 指定列表
- 方便處理
💼 商業範例
一家寵物用品公司的客服 Prompt:
你是客服,根據知識庫回答。
要求:簡潔、親切、提供訂單號
輸出:JSON 格式
💡 小技巧
好的提示工程能大幅提升輸出品質。
練習題
📝 本節摘要
- 提示技巧:清晰、角色、範例、分步、格式
- 決定輸出品質
- 持續優化
31.4 RAG 系統
為什麼學_this?
RAG 讓 LLM 基於自己的知識回答。
核心教學
RAG 系統的組件:
🔹 知識庫
- 企業文檔
- 產品資料
- FAQ
🔹 向量化
- 將文檔轉為向量
- 存儲到向量資料庫
🔹 檢索
- 用戶提問向量化
- 檢索相關文檔
- 返回最相關的
🔹 生成
- 將檢索結果 + 提問給 LLM
- 生成準確回答
- 附來源
RAG 的流程:
💼 商業範例
一家寵物用品公司的 RAG 系統:
- 產品知識庫
- 客服回答基於知識庫
- 準確率高達 95%
💡 小技巧
RAG 是企業 LLM 應用的核心技術。
練習題
📝 本節摘要
- RAG:知識庫、向量化、檢索、生成
- 讓 LLM 基於自己的知識
- 企業應用核心
31.5 向量資料庫
為什麼學_this?
向量資料庫是 RAG 的核心。
核心教學
向量資料庫的選擇:
🔹 Pinecone
- 雲端,易用
- 性能好
- 收費
🔹 Weaviate
- 開源
- 功能豐富
- 自架
🔹 Milvus
- 開源
- 高性能
- 自架
🔹 Chroma
- 輕量
- 適合初學者
- 本地
向量資料庫評選標準:
- 性能(檢索速度)
- 擴展性
- 成本
- 語意搜索品質
💼 商業範例
一家寵物用品公司用 Weaviate:
- 開源自架
- 功能豐富
- 成本可控
💡 小技巧
初學者從 Chroma 或 Pinecone 開始。
練習題
📝 本節摘要
- 向量資料庫:Pinecone、Weaviate、Milvus、Chroma
- 依性能、擴展、成本選擇
- 初學者用 Chroma
31.6 模型微調
為什麼學_this?
微調讓模型更適合特定任務。
核心教學
什麼是微調(Fine-tuning)?
微調是在預訓練模型基礎上,用特定數據進一步訓練,讓模型更適合特定領域或任務。
微調 vs RAG:
| 維度 | RAG | 微調 |
|------|-----|------|
| 更新 | 即時 | 需重新訓練 |
| 成本 | 低 | 高 |
| 風格 | 無特別 | 可定制 |
| 知識 | 外部 | 內部 |
| 適合 | 知識更新 | 風格/行為 |
微調的方法:
- LoRA:低成本微調
- QLoRA:更低成本
- 全參數微調:高成本
💼 商業範例
一家寵物用品公司微調模型:
- LoRA 微調
- 定制客服風格
- 成本可控
💡 小技巧
偏好即時知識更新用 RAG,偏好定制風格用微調。
練習題
📝 本節摘要
- 微調定制模型行為
- RAG 更新知識
- 微調成本高,偏好定制風格
31.7 開發框架
為什麼學_this?
框架加速 LLM 開發。
核心教學
主流 LLM 開發框架:
🔹 LangChain
- 最流行
- 功能全
- 工具豐富
🔹 LlamaIndex
- 專注 RAG
- 數據索引
- 檢索優化
🔹 LangGraph
- 複雜工作流
- 狀態管理
- 多 Agent
🔹 OpenAI SDK
- 官方
- 簡單
- 現代
框架選擇:
- RAG → LlamaIndex
- 複雜工作流 → LangGraph
- 通用 → LangChain
- 簡單 → OpenAI SDK
💼 商業範例
一家寵物用品公司用 LangChain:
- 建立客服 Agent
- 豐富工具
- 快速開發
💡 小技巧
從 LangChain 開始,功能最全。
練習題
📝 本節摘要
- 框架:LangChain、LlamaIndex、LangGraph、OpenAI SDK
- RAG 用 LlamaIndex
- 通用用 LangChain
31.8 開發實戰
為什麼學_this?
動手實戰是最好的學習。
核心教學
開發一個簡單 LLM 應用:
Step 1:設定環境
import openai
openai.api_key = "YOUR_KEY"
Step 2:基本對話
response = openai.ChatCompletion.create(
model="gpt-4",
messages=[{"role":"user","content":"你好"}]
)
print(response.choices[0].message.content)
Step 3:添加提示
messages = [
{"role":"system","content":"你是客服專家"},
{"role":"user","content": customer_question}
]
Step 4:處理輸出
- 解析結果
- 格式處理
- 錯誤處理
💼 商業範例
一家寵物用品公司開發簡單 AI 應用:
- 產品問答機器人
- 20 行程式碼
- 快速上線
💡 小技巧
從簡單應用開始,逐步添加功能。
練習題
📝 本節摘要
- 開發:設定 → 對話 → 提示 → 處理
- 從簡單開始
- 快速上線
31.9 安全性開發
為什麼學_this?
開發時就要考慮安全。
核心教學
LLM 開發的安全考量:
🔹 輸入驗證
- 過濾惡意輸入
- 檢查提示注入
- 白名單
🔹 權限控制
- 最小權限
- API 金鑰管理
- 存取控制
🔹 輸出過濾
- 檢查輸出
- 敏感資訊過濾
- 內容安全
🔹 審計追蹤
- 記錄請求
- 記錄回應
- 異常追蹤
安全最佳實踐:
💼 商業範例
一家寵物用品公司開發安全:
- API 金鑰保密
- 最小權限
- 輸入過濾
- 監控
💡 小技巧
開發時就考慮安全,不要事後補救。
練習題
📝 本節摘要
- 安全:輸入驗證、權限、輸出過濾、審計
- 開發時就考慮
- 最小權限
31.10 部署
為什麼學_this?
部署讓 LLM 應用上線。
核心教學
LLM 應用的部署:
🔹 雲端部署
- AWS、Azure、GCP
- 可擴展
- 成本高
🔹 無伺服器
- Vercel、Lambda
- 按用量付費
- 簡單
🔹 本地部署
- 私有數據
- 成本可控
- 維護
🔹 混合部署
- 平衡
- 靈活
- 複雜
部署考量:
- 成本
- 延遲
- 隱私
- 擴展性
- 維護
💼 商業範例
一家寵物用品公司部署客服 Agent:
- 雲端部署
- 按用量付費
- 擴展性
💡 小技巧
從雲端或無伺服器開始,成本可控。
練習題
📝 本節摘要
- 部署:雲端、無伺服器、本地、混合
- 考慮成本、延遲、隱私
- 從雲端開始
31.11 監控與優化
為什麼學_this?
持續監控確保品質。
核心教學
LLM 應用的監控指標:
🔹 品質指標
- 準確率
- 相關性
- 用戶滿意度
🔹 性能指標
- 回應時間
- 吞吐量
- 錯誤率
🔹 成本指標
- API 費用
- Token 用量
- 單位成本
🔹 安全指標
- 攻擊嘗試
- 異常行為
- 洩露事件
監控工具:
- LangSmith
- Langfuse
- 自訂儀表板
💼 商業範例
一家寵物用品公司監控客服 Agent:
- 準確率 95%
- 回應時間 <3 秒
- 月成本 $200
💡 小技巧
監控品質、性能、成本、安全四類指標。
練習題
📝 本節摘要
- 監控:品質、性能、成本、安全
- 用 LangSmith / Langfuse
- 持續優化
31.12 企業 LLM 應用案例
為什麼學_this?
參考案例能幫助落地。
核心教學
企業 LLM 應用案例:
案例 1:客服機器人
- 一家電商公司
- LLM + RAG 客服
- 80% 自動處理
- 準確率 95%
案例 2:內部知識助手
- 一家諮詢公司
- 企業知識庫
- 員工問答
- 查找快 5 倍
案例 3:自動化文檔
- 一家製造企業
- 自動生成報告
- 精簡文檔
- 效率提升 10 倍
💼 商業範例
這些案例展示了 LLM 應用的實際價值。關鍵是從高價值場景開始,快速證明 ROI。
💡 小技巧
參考案例,結合自己的業務落地。
練習題
📝 本節摘要
- 案例:客服、知識助手、文檔自動化
- 從高價值場景開始
- 證明 ROI
31.13 課程總結
📝 課程總結
🔗 下一步學習
- C-21 AI Agent 原理與應用:進階
- C-14 AI 工作流程自動化:應用
- C-29 AI 資安風險與防護:安全
© 2026 Buddylala.ai — Build Your AI Future, Together.