开启AI大模型应用开发新篇:LangChain打造RAG增强检索生成

开启AI大模型应用开发的新篇章:LangChain助力RAG增强检索生成

检索增强生成(RAG)是一种将“向量检索”和“大语言模型”相结合的技术途径,能在问答、摘要、文档分析等场景中极大提升准确性与上下文的利用率。

本文将基于 LangChain 构建完整的 RAG 流程,结合 PGVector 作为向量数据库,并用 LangGraph 构建状态图来控制流程。

大语言模型初始化(llm_env.py)

我们首先运用 LangChain 提供的模型初始化器来加载 gpt-4o-mini 模型,供后续的问答使用。

# llm_env.py
from langchain.chat_models import init_chat_model

llm = init_chat_model("gpt-4o-mini", model_provider="openai")

RAG主体流程(rag.py)

以下是整个 RAG 系统的主流程代码,主要包含:文档的加载与切分、向量的存储、状态图的建模(analyze→retrieve→generate)、交互式问答。

# rag.py
import os
import sys
import time

sys.path.append(os.getcwd())

from llm_set import llm_env
from langchain_openai import OpenAIEmbeddings
from langchain_postgres import PGVector
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.documents import Document
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langgraph.graph import START, StateGraph
from typing_extensions import List, TypedDict, Annotated
from typing import Literal
from langgraph.checkpoint.postgres import PostgresSaver
from langgraph.graph.message import add_messages
from langchain_core.messages import HumanMessage, BaseMessage
from langchain_core.prompts import ChatPromptTemplate

# 初始化 LLM
llm = llm_env.llm

# 嵌入模型
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")

# 向量数据库初始化
vector_store = PGVector(
    embeddings=embeddings,
    collection_name="my_rag_docs",
    connection="postgresql+psycopg2://postgres:123456@localhost:5433/langchainvector",
)

# 加载网页内容
url = "https://python.langchain.com/docs/tutorials/qa_chat_history/"
loader = WebBaseLoader(web_paths=(url,))
docs = loader.load()
for doc in docs:
    doc.metadata["source"] = url

# 文本分割
text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=50)
all_splits = text_splitter.split_documents(docs)

# 添加 section 元数据
total_documents = len(all_splits)
third = total_documents // 3
for i, document in enumerate(all_splits):
    if i < third:
        document.metadata["section"] = "beginning"
    elif i < 2 * third:
        document.metadata["section"] = "middle"
    else:
        document.metadata["section"] = "end"

# 检查是否已存在向量
existing = vector_store.similarity_search(url, k=1, filter={"source": url})
if not existing:
    _ = vector_store.add_documents(documents=all_splits)
    print("文档向量化完成")

分析、检索与生成模块

接下来,定义三个函数来构成 LangGraph 的流程:analyze → retrieve → generate。

class Search(TypedDict):
    query: Annotated[str, "The question to be answered"]
    section: Annotated[
        Literal["beginning", "middle", "end"],
        ...,
        "Section to query.",
    ]

class State(TypedDict):
    messages: Annotated[list[BaseMessage], add_messages]
    query: Search
    context: List[Document]
    answer: set

# 分析意图 → 获取 query 与 section
def analyze(state: State):
    structtured_llm = llm.with_structured_output(Search)
    query = structtured_llm.invoke(state["messages"])
    return {"query": query}

# 相似度检索
def retrieve(state: State):
    query = state["query"]
    if hasattr(query, 'section'):
        filter = {"section": query["section"]}
    else:
        filter = None
    retrieved_docs = vector_store.similarity_search(query["query"], filter=filter)
    return {"context": retrieved_docs}

生成模块基于 ChatPromptTemplate 和当前上下文生成回答:

prompt_template = ChatPromptTemplate.from_messages(
    [
        ("system", "尽你所能按照上下文:{context},回答问题:{question}。"),
    ]
)

def generate(state: State):
    docs_content = "\n\n".join(doc.page_content for doc in state["context"])
    messages = prompt_template.invoke({
        "question": state["query"]["query"],
        "context": docs_content,
    })
    response = llm.invoke(messages)
    return {"answer": response.content, "messages": [response]}

构建 LangGraph 流程图

定义好状态结构后,构建 LangGraph

graph_builder = StateGraph(State).add_sequence([analyze, retrieve, generate])
graph_builder.add_edge(START, "analyze")

PG 数据库中保存中间状态(Checkpoint)

通过 PostgresSaver 记录每次对话的中间状态:

DB_URI = "postgresql://postgres:123456@localhost:5433/langchaindemo?sslmode=disable"

with PostgresSaver.from_conn_string(DB_URI) as checkpointer:
    checkpointer.setup()
    graph = graph_builder.compile(checkpointer=checkpointer)
    input_thread_id = input("输入thread_id:")
    time_str = time.strftime("%Y%m%d", time.localtime())
    config = {"configurable": {"thread_id": f"rag-{time_str}-demo-{input_thread_id}"}}

    print("输入问题,输入 exit 退出。")
    while True:
        query = input("你: ")
        if query.strip().lower() == "exit":
            break
        input_messages = [HumanMessage(query)]
        response = graph.invoke({"messages": input_messages}, config=config)
        print(response["answer"])

效果

https://img2024.cnblogs.com/blog/1033233/202506/1033233-20250614200640651-1807995002.png

总结

本文借助 LangChain 的模块能力,结合 PGVector 向量库与 LangGraph 有状态控制系统,搭建起一个可交互、可持久化且支持多文档结构的 RAG 系统。其优势包括:

  • 支持结构化提问理解(分区查询)

  • 自动化分段与元数据标记

  • 状态流追踪与恢复

  • 可拓展支持文档上传、缓存优化、多用户配置

文章整理自互联网,只做测试使用。发布者:Lomu,转转请注明出处:https://www.it1024doc.com/12615.html

(0)
LomuLomu
上一篇 2025 年 6 月 23 日
下一篇 2025 年 6 月 23 日

相关推荐

  • 2025年最新DataGrip激活码及永久破解教程(支持2099年)

    Jetbrains数据库工具完美破解方案 先展示最新DataGrip版本成功破解的截图,可以看到已经完美激活到2099年! 下面将详细介绍如何将DataGrip永久激活至2099年的完整教程。这个方法不仅适用于最新版本,也兼容之前的旧版DataGrip。 多平台兼容性 完美支持Windows/Mac/Linux系统 适用于所有DataGrip版本 成功率高达…

    DataGrip激活码 2025 年 7 月 5 日
    6500
  • Python网络安全里zip文件的暴力破解探索(仅供学习)

    Python网络安全里zip文件的暴力破解探索(仅供学习) 目录 源码在这里 https://github.com/Wist-fully/Attack/tree/cracker 需要的模块 所用到的Python模块如下: from tqdm import tqdm import zipfile import pyzipper 准备一个密码本和需要破解的ZIP…

    2025 年 7 月 23 日
    5200
  • 2025年最新PyCharm激活码及永久破解教程(支持2099年)

    全面支持Jetbrains系列开发工具 本教程适用于PyCharm、IDEA、DataGrip、Golang等Jetbrains全家桶产品!先展示最新PyCharm版本成功破解至2099年的效果图: 下面将详细介绍如何将PyCharm激活至2099年的完整步骤,该方法同样适用于旧版本! 兼容所有操作系统:Windows/Mac/Linux 支持各种版本 成功…

    PyCharm激活码 2025 年 7 月 16 日
    8100
  • Java【多线程】(1)进程与线程

    “`markdown 目录 1. 前言 2. 正文 2.1 什么是进程 2.2 PCB(进程控制块) 2.2.1 进程id 2.2.2 内存指针 2.2.3 文件描述符表 2.2.4 进程状态 2.2.4.1 就绪状态 2.2.4.2 阻塞状态 2.2.5 进程优先级 2.2.6 进程上下文 2.2.7 进程的记账信息 2.3 CPU操作进程的方法 2.4…

    2024 年 12 月 28 日
    39500
  • 2025年最新IDEA激活码分享及永久破解教程(支持Win/Mac/Linux)

    作为Java开发者必备的IDE工具,IntelliJ IDEA以其强大的功能和丰富的插件生态深受程序员喜爱。但高昂的授权费用也让不少开发者望而却步。本文将为大家详细介绍IDEA永久激活的完整方案,并提供最新可用的激活码资源。 一、准备工作 在开始破解前,请确保:1. 已卸载任何非官方渠道下载的IDEA版本2. 已清除之前安装的破解补丁3. 从官网下载了最新正…

    IDEA破解教程 2025 年 7 月 4 日
    2.9K00

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信