开启AI大模型应用开发新篇:LangChain打造RAG增强检索生成

开启AI大模型应用开发的新篇章:LangChain助力RAG增强检索生成

检索增强生成(RAG)是一种将“向量检索”和“大语言模型”相结合的技术途径,能在问答、摘要、文档分析等场景中极大提升准确性与上下文的利用率。

本文将基于 LangChain 构建完整的 RAG 流程,结合 PGVector 作为向量数据库,并用 LangGraph 构建状态图来控制流程。

大语言模型初始化(llm_env.py)

我们首先运用 LangChain 提供的模型初始化器来加载 gpt-4o-mini 模型,供后续的问答使用。

# llm_env.py
from langchain.chat_models import init_chat_model

llm = init_chat_model("gpt-4o-mini", model_provider="openai")

RAG主体流程(rag.py)

以下是整个 RAG 系统的主流程代码,主要包含:文档的加载与切分、向量的存储、状态图的建模(analyze→retrieve→generate)、交互式问答。

# rag.py
import os
import sys
import time

sys.path.append(os.getcwd())

from llm_set import llm_env
from langchain_openai import OpenAIEmbeddings
from langchain_postgres import PGVector
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.documents import Document
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langgraph.graph import START, StateGraph
from typing_extensions import List, TypedDict, Annotated
from typing import Literal
from langgraph.checkpoint.postgres import PostgresSaver
from langgraph.graph.message import add_messages
from langchain_core.messages import HumanMessage, BaseMessage
from langchain_core.prompts import ChatPromptTemplate

# 初始化 LLM
llm = llm_env.llm

# 嵌入模型
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")

# 向量数据库初始化
vector_store = PGVector(
    embeddings=embeddings,
    collection_name="my_rag_docs",
    connection="postgresql+psycopg2://postgres:123456@localhost:5433/langchainvector",
)

# 加载网页内容
url = "https://python.langchain.com/docs/tutorials/qa_chat_history/"
loader = WebBaseLoader(web_paths=(url,))
docs = loader.load()
for doc in docs:
    doc.metadata["source"] = url

# 文本分割
text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=50)
all_splits = text_splitter.split_documents(docs)

# 添加 section 元数据
total_documents = len(all_splits)
third = total_documents // 3
for i, document in enumerate(all_splits):
    if i < third:
        document.metadata["section"] = "beginning"
    elif i < 2 * third:
        document.metadata["section"] = "middle"
    else:
        document.metadata["section"] = "end"

# 检查是否已存在向量
existing = vector_store.similarity_search(url, k=1, filter={"source": url})
if not existing:
    _ = vector_store.add_documents(documents=all_splits)
    print("文档向量化完成")

分析、检索与生成模块

接下来,定义三个函数来构成 LangGraph 的流程:analyze → retrieve → generate。

class Search(TypedDict):
    query: Annotated[str, "The question to be answered"]
    section: Annotated[
        Literal["beginning", "middle", "end"],
        ...,
        "Section to query.",
    ]

class State(TypedDict):
    messages: Annotated[list[BaseMessage], add_messages]
    query: Search
    context: List[Document]
    answer: set

# 分析意图 → 获取 query 与 section
def analyze(state: State):
    structtured_llm = llm.with_structured_output(Search)
    query = structtured_llm.invoke(state["messages"])
    return {"query": query}

# 相似度检索
def retrieve(state: State):
    query = state["query"]
    if hasattr(query, 'section'):
        filter = {"section": query["section"]}
    else:
        filter = None
    retrieved_docs = vector_store.similarity_search(query["query"], filter=filter)
    return {"context": retrieved_docs}

生成模块基于 ChatPromptTemplate 和当前上下文生成回答:

prompt_template = ChatPromptTemplate.from_messages(
    [
        ("system", "尽你所能按照上下文:{context},回答问题:{question}。"),
    ]
)

def generate(state: State):
    docs_content = "\n\n".join(doc.page_content for doc in state["context"])
    messages = prompt_template.invoke({
        "question": state["query"]["query"],
        "context": docs_content,
    })
    response = llm.invoke(messages)
    return {"answer": response.content, "messages": [response]}

构建 LangGraph 流程图

定义好状态结构后,构建 LangGraph

graph_builder = StateGraph(State).add_sequence([analyze, retrieve, generate])
graph_builder.add_edge(START, "analyze")

PG 数据库中保存中间状态(Checkpoint)

通过 PostgresSaver 记录每次对话的中间状态:

DB_URI = "postgresql://postgres:123456@localhost:5433/langchaindemo?sslmode=disable"

with PostgresSaver.from_conn_string(DB_URI) as checkpointer:
    checkpointer.setup()
    graph = graph_builder.compile(checkpointer=checkpointer)
    input_thread_id = input("输入thread_id:")
    time_str = time.strftime("%Y%m%d", time.localtime())
    config = {"configurable": {"thread_id": f"rag-{time_str}-demo-{input_thread_id}"}}

    print("输入问题,输入 exit 退出。")
    while True:
        query = input("你: ")
        if query.strip().lower() == "exit":
            break
        input_messages = [HumanMessage(query)]
        response = graph.invoke({"messages": input_messages}, config=config)
        print(response["answer"])

效果

https://img2024.cnblogs.com/blog/1033233/202506/1033233-20250614200640651-1807995002.png

总结

本文借助 LangChain 的模块能力,结合 PGVector 向量库与 LangGraph 有状态控制系统,搭建起一个可交互、可持久化且支持多文档结构的 RAG 系统。其优势包括:

  • 支持结构化提问理解(分区查询)

  • 自动化分段与元数据标记

  • 状态流追踪与恢复

  • 可拓展支持文档上传、缓存优化、多用户配置

文章整理自互联网,只做测试使用。发布者:Lomu,转转请注明出处:https://www.it1024doc.com/12615.html

(0)
LomuLomu
上一篇 2025 年 6 月 23 日
下一篇 2025 年 6 月 23 日

相关推荐

  • 通过延时从库+binlog复制,恢复误操作数据

    通过延迟复制与binlog恢复意外删除的数据 一、环境概述 以下是我们操作的数据库环境的详细信息: 数据库版本 实例角色 IP地址 端口 GreatSQL 8.0.32-26 主库 192.168.134.199 5725 GreatSQL 8.0.32-26 从库 192.168.134.199 5726 二、主库设置 在主库上,我们首先需要创建一个复制用…

    2024 年 12 月 24 日
    50100
  • 2025最新PyCharm激活教程:一键永久破解至2099年(内附激活码)

    在程序开发的世界里,一款优秀的IDE能极大提升工作效率。PyCharm作为Python开发的首选工具,备受广大开发者青睐。本文将详细介绍如何在2025年成功激活PyCharm至2099年,让您无后顾之忧地专注于编程。 值得一提的是,本教程不仅适用于PyCharm,还适用于JetBrains全系列产品,包括IDEA、DataGrip、Goland等全家桶产品!…

    PyCharm破解教程 2025 年 4 月 28 日
    2.4K00
  • IDEA破解从入门到精通|实用技巧全公开!

    申明:本教程 IntelliJ IDEA 破解补丁、激活码均收集于网络,请勿商用,仅供个人学习使用,如有侵权,请联系作者删除。若条件允许,希望大家购买正版 ! IDEA是 JetBrains 推出的开发编辑器,功能强大,适用于 Windows、Mac 和 Linux 系统。本文将详细介绍如何通过破解补丁实现永久激活,解锁所有高级功能。 不管你是什么版本、什么…

    IDEA破解教程 2025 年 9 月 26 日
    15900
  • 永久idea激活码,亲测有效,成功破解最新IDEA 2025.3

    重要提示:本文所涉及的破解补丁与激活码资源均来源于网络收集,仅限个人学习研究使用,严禁用于任何商业用途。若因使用本教程内容产生版权纠纷,请联系作者删除。经济条件允许的话,强烈建议支持正版软件! IntelliJ IDEA 是 JetBrains 公司推出的顶级集成开发环境,凭借其强大的智能代码补全和深度重构功能,成为 Java 开发者首选工具。本教程将手把手…

    IDEA破解教程 4天前
    2000
  • 永久datagrip激活码合集及最新破解资源同步

    申明:本教程 DataGrip 破解补丁、激活码均收集于网络,请勿商用,仅供个人学习使用,如有侵权,请联系作者删除。若条件允许,希望大家购买正版 ! 废话不多说,先上 DataGrip 2025.2.1 版本破解成功的截图,如下图,可以看到已经成功破解到 2099 年辣,舒服的很! 接下来就给大家通过图文的方式分享一下如何破解最新的DataGrip 。 如果…

    DataGrip激活码 2025 年 12 月 18 日
    11000

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信