(三)、基于 LangChain 实现大模型应用程序开发

😄 为什么我们需要Chains ？

链允许我们将多个组件组合在一起，以创建一个单一的、连贯的应用程序。链（Chains）通常将一个LLM（大语言模型）与提示结合在一起，使用这个构建块，您还可以将一堆这些构建块组合在一起，对您的文本或其他数据进行一系列操作。例如，我们可以创建一个链，该链接受用户输入，使用提示模板对其进行格式化，然后将格式化的响应传递给LLM。我们可以通过将多个链组合在一起，或者通过将链与其他组件组合在一起来构建更复杂的链。
这些链的一部分的强大之处在于你可以一次运行它们在许多输入上。

文章目录

😄 为什么我们需要Chains ？
0、初始化openai环境
1、LLMChain
2、Sequential Chain
- 2.1、SimpleSequentialChain
- 2.2、SequentialChain
3、 Router Chain（路由链）
- 3.1、创建目标链
- 3.2、创建默认目标链
- 3.3、创建LLM用于在不同链之间进行路由的模板
- 3.4、构建路由链
Reference

0、初始化openai环境

from langchain.chat_models import ChatOpenAI
import os
import openai
# 运行此API配置，需要将目录中的.env中api_key替换为自己的
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv()) # read local .env file
openai.api_key = os.environ['OPENAI_API_KEY']

1、LLMChain

LLMChain是一个简单但非常强大的链，也是后面我们将要介绍的许多链的基础。

from langchain.chat_models import ChatOpenAI    #导入OpenAI模型
from langchain.prompts import ChatPromptTemplate   #导入聊天提示模板
from langchain.chains import LLMChain    #导入LLM链。

# 这里我们将参数temperature设置为0.0，从而减少生成答案的随机性。
# 如果你想要每次得到不一样的有新意的答案，可以尝试调整该参数。
# 以下的对话均无记忆，即每次调用预测不会记得之前的对话。（想要有记忆功能请看下一节的langchain的Memory模块）
llm = ChatOpenAI(temperature=0.0,
                  model_name="gpt-3.5-turbo")
# \在字符串里就是取消换行符的意思
template_string =  """\
对与如下三个反引号括住的评论，我需要提取如下信息。
饮料：这个产品是饮料吗？如果是，返回True，否则返回答False。
产品名：提取出产品的名字，如果没有，返回-1。
价格与价值：提取出关于该产品的价格或价值的所有信息，将他们存入python list中，并返回。
{format_instructions}
```{query}```"""

prompt_template = ChatPromptTemplate.from_template(template_string)

chain = LLMChain(llm=llm, prompt=prompt_template)

query = '这喜茶新出的桑葚葡萄太好喝里吧，而且才19块一杯，太值啦，高性价比！'
format_instructions = """\
将输出组织成带有如下key的json形式：
饮料
产品名
价格与价值"""
res = chain.run({'query':query,
           'format_instructions': format_instructions})
print(res)

{
  "饮料": true,
  "产品名": "桑葚葡萄",
  "价格与价值": ["19块一杯", "高性价比"]
}

2、Sequential Chain

2.1、SimpleSequentialChain

顺序链是按预定义顺序执行其链接的链。具体来说，我们将使用简单顺序链（SimpleSequentialChain），这是顺序链的最简单类型，其中每个步骤都有一个输入/输出，一个步骤的输出是下一个步骤的输入

from langchain.chains import SimpleSequentialChain
first_prompt = ChatPromptTemplate.from_template(
    "描述制造{product}的公司的最佳名称是什么?输出一个即可。"
)
chain_one = LLMChain(llm=llm, prompt=first_prompt)

second_prompt = ChatPromptTemplate.from_template(
    "写一个20字的描述对于下面这个\
    公司：{company_name}"
)
chain_two = LLMChain(llm=llm, prompt=second_prompt)

overall_simple_chain = SimpleSequentialChain(chains=[chain_one, chain_two],
                                             verbose=True
                                            )
product = "手机"
overall_simple_chain.run(product)

> Entering new  chain...
Techtronics
Techtronics是一家技术公司，专注于创新和开发高科技产品和解决方案。

> Finished chain.

'Techtronics是一家技术公司，专注于创新和开发高科技产品和解决方案。'

2.2、SequentialChain

当只有一个输入和一个输出时，简单的顺序链可以顺利完成。但是当有多个输入或多个输出时该如何实现呢？可用顺序链。

from langchain.chains import SequentialChain

# 下面实现流程：1->2, 1->3, 2,3->4

#子链1
# prompt模板 1: 翻译成英语（把下面的review翻译成英语）
first_prompt = ChatPromptTemplate.from_template(
    "Translate the following review to english:"
    "\n\n{Review}")
# chain 1: 输入：Review 输出： 英文的 Review
chain_one = LLMChain(llm=llm, prompt=first_prompt,
                     output_key="English_Review")


#子链2
# prompt模板 2: 用一句话总结下面的 review
second_prompt = ChatPromptTemplate.from_template(
    "Can you summarize the following review in 1 sentence: \n\n{English_Review}")
# chain 2: 输入：英文的Review   输出：总结
chain_two = LLMChain(llm=llm, prompt=second_prompt,
                     output_key="summary")

#子链3
# prompt模板 3: 下面review使用的什么语言
third_prompt = ChatPromptTemplate.from_template(
    "What language is the following review:\n\n{Review}")
# chain 3: 输入：Review  输出：语言
chain_three = LLMChain(llm=llm, prompt=third_prompt,
                       output_key="language")


#子链4
# prompt模板 4: 使用特定的语言对下面的总结写一个后续回复
# 根据英文总结，翻译成language语言
fourth_prompt = ChatPromptTemplate.from_template(
    "Write a follow up response to the following summary in the specified language:\n\nSummary: {summary}\n\nLanguage: {language}")
# chain 4: 输入： 总结, 语言    输出： 后续回复
chain_four = LLMChain(llm=llm, prompt=fourth_prompt,
                      output_key="followup_message")

overall_chain = SequentialChain(chains=[chain_one, chain_two, chain_three, chain_four],
                                input_variables=["Review"],
                                output_variables=["English_Review", "summary", 'language', "followup_message"],
                                verbose=False)
review = 'Spark是一个快速、通用的大数据处理引擎，可以进行分布式数据处理和分析。与Hadoop的MapReduce相比，Spark具有更高的性能和更丰富的功能。Spark支持多种编程语言（如Scala、Java和Python(pyspark)），并提供了一组丰富的API，包括用于数据处理、机器学习和图计算的库。'
res = overall_chain(review)
type(res), res

(dict,
 {'Review': 'Spark是一个快速、通用的大数据处理引擎，可以进行分布式数据处理和分析。与Hadoop的MapReduce相比，Spark具有更高的性能和更丰富的功能。Spark支持多种编程语言（如Scala、Java和Python(pyspark)），并提供了一组丰富的API，包括用于数据处理、机器学习和图计算的库。',
  'English_Review': "Spark is a fast and versatile big data processing engine that can perform distributed data processing and analysis. Compared to Hadoop's MapReduce, Spark has higher performance and richer functionality. Spark supports multiple programming languages such as Scala, Java, and Python (pyspark), and provides a rich set of APIs including libraries for data processing, machine learning, and graph computation.",
  'summary': "The review highlights that Spark is a high-performance and versatile big data processing engine that offers distributed data processing and analysis, surpassing Hadoop's MapReduce in terms of performance and functionality, with support for multiple programming languages and a wide range of APIs for various tasks.",
  'language': 'The following review is in Chinese.',
  'followup_message': '回复：这篇评论强调了Spark是一个高性能且多功能的大数据处理引擎，提供分布式数据处理和分析，性能和功能方面超过了Hadoop的MapReduce。它支持多种编程语言，并提供各种任务的广泛API。'})

3、 Router Chain（路由链）

到目前为止，我们已经学习了LLM链和顺序链。但是，如果您想做一些更复杂的事情怎么办？

一个相当常见但基本的操作是根据输入将其路由到一条链，具体取决于该输入到底是什么。如果你有多个子链，每个子链都专门用于特定类型的输入，那么可以组成一个路由链，它首先决定将它传递给哪个子链(也输入写prompt模板让llm来选择)，然后将它传递给那个链（即传递给对于的链的prompt模板进行预测）。【相当于从输入到输出，要经过两次prompt输入模型拿到输出】

路由器由两个组件组成：

路由器链本身（负责选择要调用的下一个链）
destination_chains：路由器链可以路由到的链

个人感觉，就是可以用来根据输入切换不同的设定角色，从而定位到更好的prompt输入给模型预测

举一个具体的例子，让我们看一下我们在不同类型的链之间路由的地方，我们在这里有不同的prompt:

#第一个提示适合回答物理问题
physics_template = """你是一个非常聪明的物理学家，你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。
问题:{input}"""


#第二个提示适合回答数学问题
math_template = """你是一个非常聪明的数学家，你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。
问题:{input}"""

#第三个适合回答历史问题
history_template = """你是一个非常聪明的历史家，你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。
问题:{input}"""


#第四个适合回答计算机问题
computerscience_template = """你是一个非常聪明的计算机学家，你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。
问题:{input}"""

⭐ 在我们拥有了这些提示模板后，可以为每个模板命名，然后提供描述。例如，第一个物理学的描述适合回答关于物理学的问题，这些信息将传递给路由链，然后由路由链决定何时使用此子链。

prompt_infos = [
    {
        "name": "物理",
        "description": "擅长回答物理问题",
        "prompt_template": physics_template
    },
    {
        "name": "数学",
        "description": "擅长回答数学问题",
        "prompt_template": math_template
    },
    {
        "name": "历史",
        "description": "擅长回答历史问题",
        "prompt_template": history_template
    },
    {
        "name": "计算机科学",
        "description": "擅长回答计算机科学问题",
        "prompt_template": computerscience_template
    }
]

⭐ LLMRouterChain（此链使用 LLM 来确定如何路由事物）
在这里，我们需要一个多提示链。这是一种特定类型的链，用于在多个不同的提示模板之间进行路由。但是，这只是你可以路由的一种类型。你也可以在任何类型的链之间进行路由。

这里我们要实现的几个类是LLM路由器链。这个类本身使用语言模型来在不同的子链之间进行路由。这就是上面提供的描述和名称将被使用的地方。

3.1、创建目标链

目标链是由路由链调用的链，每个目标链都是一个语言模型链：

⭐ 将上面定义的4个链用LLMChain构建好，存在destination_chains里：

from langchain.chains.router import MultiPromptChain  #导入多提示链
from langchain.chains.router.llm_router import LLMRouterChain,RouterOutputParser
from langchain.prompts import PromptTemplate


destination_chains = {}
for p_info in prompt_infos:
    name = p_info["name"]
    prompt_template = p_info["prompt_template"]
    prompt = ChatPromptTemplate.from_template(template=prompt_template)
    chain = LLMChain(llm=llm, prompt=prompt)
    destination_chains[name] = chain

destinations = [f"{p['name']}: {p['description']}" for p in prompt_infos]
destinations_str = "\n".join(destinations)
destination_chains

{'物理': LLMChain(memory=None, callbacks=None, callback_manager=None, verbose=False, tags=None, prompt=ChatPromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, messages=[HumanMessagePromptTemplate(prompt=PromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, template='你是一个非常聪明的物理学家，你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。\n问题:{input}', template_format='f-string', validate_template=True), additional_kwargs={})]), llm=ChatOpenAI(cache=None, verbose=False, callbacks=None, callback_manager=None, tags=None, client=<class 'openai.api_resources.chat_completion.ChatCompletion'>, model_name='gpt-3.5-turbo', temperature=0.0, model_kwargs={}, openai_api_key='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', openai_api_base='', openai_organization='', openai_proxy='', request_timeout=None, max_retries=6, streaming=False, n=1, max_tokens=None, tiktoken_model_name=None), output_key='text', output_parser=NoOpOutputParser(), return_final_only=True, llm_kwargs={}),
 '数学': LLMChain(memory=None, callbacks=None, callback_manager=None, verbose=False, tags=None, prompt=ChatPromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, messages=[HumanMessagePromptTemplate(prompt=PromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, template='你是一个非常聪明的数学家，你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。\n问题:{input}', template_format='f-string', validate_template=True), additional_kwargs={})]), llm=ChatOpenAI(cache=None, verbose=False, callbacks=None, callback_manager=None, tags=None, client=<class 'openai.api_resources.chat_completion.ChatCompletion'>, model_name='gpt-3.5-turbo', temperature=0.0, model_kwargs={}, openai_api_key='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', openai_api_base='', openai_organization='', openai_proxy='', request_timeout=None, max_retries=6, streaming=False, n=1, max_tokens=None, tiktoken_model_name=None), output_key='text', output_parser=NoOpOutputParser(), return_final_only=True, llm_kwargs={}),
 '历史': LLMChain(memory=None, callbacks=None, callback_manager=None, verbose=False, tags=None, prompt=ChatPromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, messages=[HumanMessagePromptTemplate(prompt=PromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, template='你是一个非常聪明的历史家，你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。\n问题:{input}', template_format='f-string', validate_template=True), additional_kwargs={})]), llm=ChatOpenAI(cache=None, verbose=False, callbacks=None, callback_manager=None, tags=None, client=<class 'openai.api_resources.chat_completion.ChatCompletion'>, model_name='gpt-3.5-turbo', temperature=0.0, model_kwargs={}, openai_api_key='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', openai_api_base='', openai_organization='', openai_proxy='', request_timeout=None, max_retries=6, streaming=False, n=1, max_tokens=None, tiktoken_model_name=None), output_key='text', output_parser=NoOpOutputParser(), return_final_only=True, llm_kwargs={}),
 '计算机科学': LLMChain(memory=None, callbacks=None, callback_manager=None, verbose=False, tags=None, prompt=ChatPromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, messages=[HumanMessagePromptTemplate(prompt=PromptTemplate(input_variables=['input'], output_parser=None, partial_variables={}, template='你是一个非常聪明的计算机学家，你擅长解答物理相关的问题。当你不知道如何解答时你应该承认你不知道。\n问题:{input}', template_format='f-string', validate_template=True), additional_kwargs={})]), llm=ChatOpenAI(cache=None, verbose=False, callbacks=None, callback_manager=None, tags=None, client=<class 'openai.api_resources.chat_completion.ChatCompletion'>, model_name='gpt-3.5-turbo', temperature=0.0, model_kwargs={}, openai_api_key='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', openai_api_base='', openai_organization='', openai_proxy='', request_timeout=None, max_retries=6, streaming=False, n=1, max_tokens=None, tiktoken_model_name=None), output_key='text', output_parser=NoOpOutputParser(), return_final_only=True, llm_kwargs={})}

destinations, destinations_str
(['物理: 擅长回答物理问题', '数学: 擅长回答数学问题', '历史: 擅长回答历史问题', '计算机科学: 擅长回答计算机科学问题'],
 '物理: 擅长回答物理问题\n数学: 擅长回答数学问题\n历史: 擅长回答历史问题\n计算机科学: 擅长回答计算机科学问题')

3.2、创建默认目标链

除了目标链之外，我们还需要一个默认目标链。这是一个当路由器无法决定使用哪个子链时调用的链。在上面的示例中，当输入问题与物理、数学、历史或计算机科学无关时，可能会调用它。

default_prompt = ChatPromptTemplate.from_template("{input}")
default_chain = LLMChain(llm=llm, prompt=default_prompt)

3.3、创建LLM用于在不同链之间进行路由的模板

这包括要完成的任务的说明以及输出应该采用的特定格式。

#  以下输出是LLMRouterChain的输出keys是内置的：['destination', 'next_inputs']，所以prompt里定义好它所需的输出

MULTI_PROMPT_ROUTER_TEMPLATE = """给定一段原始输入文本，由语言模型来选择对于该段输入\
文本最合适的prompt。我将给定候选prompts和对各prompt适合哪个领域的描述。\
如果您认为修改原始输入最终会导致语言模型得到更好的响应，您也可以修改原始输入。

<<格式>>
输出返回如下格式的json对象：
```json
{{{{
    "destination": string \ name of the prompt to use or "DEFAULT"
    "next_inputs": string \ a potentially modified version of the original input
}}}}
```


记住: "destination"一定要是以下候选prompts中的名字之一或者\
如果输入不适合所有候选prompts，destination命名为 “DEFAULT”。
记住: "next_inputs"可以只是原始输入，如果您认为不需要任何修改。

<< 候选prompts>>
{destinations}

<< 输入 >>
{{input}}

<< 输出 (记住包括```json)>>
"""

3.4、构建路由链

首先，我们通过格式化上面定义的目标创建完整的路由器模板。这个模板可以适用许多不同类型的目标。因此，在这里，您可以添加一个不同的学科，如英语或拉丁语，而不仅仅是物理、数学、历史和计算机科学。

接下来，我们从这个模板创建提示模板

最后，通过传入llm和整个路由提示来创建路由链。需要注意的是这里有路由输出解析，这很重要，因为它将帮助这个链路决定在哪些子链路之间进行路由。

print(destinations_str)
router_template = MULTI_PROMPT_ROUTER_TEMPLATE.format(
    destinations=destinations_str
)
router_prompt = PromptTemplate(
    template=router_template,
    input_variables=["input"],
    output_parser=RouterOutputParser(),
)
#  LLMRouterChain的输出keys是内置的：['destination', 'next_inputs'].
router_chain = LLMRouterChain.from_llm(llm, router_prompt)
print(router_chain.output_keys)

物理: 擅长回答物理问题
数学: 擅长回答数学问题
历史: 擅长回答历史问题
计算机科学: 擅长回答计算机科学问题
['destination', 'next_inputs']

router_chain('1+1=?')
{'input': '1+1=?', 'destination': '数学', 'next_inputs': {'input': '1+1=?'}}

最后，将所有内容整合在一起，创建整体链路：

#多提示链
# 设置verbose=True，我们可以看到它被路由到哪条目标prompt链路
chain = MultiPromptChain(router_chain=router_chain,    #路由链路
                         destination_chains=destination_chains,   #目标链路
                         default_chain=default_chain,      #默认链路
                         verbose=True
                        )

chain.run("什么是黑体辐射？")
# 物理: {'input': '什么是黑体辐射？'}
# '黑体辐射是指一个理想化的物体，它能够完全吸收所有入射到它上面的辐射能量，并以热辐射的形式重新发射出来。黑体辐射的特点是其辐射能量的分布与温度有关，即黑体辐射谱随着温度的升高而增强，并且在不同波长处的辐射强度也不同。根据普朗克辐射定律和斯蒂芬-玻尔兹曼定律，我们可以描述黑体辐射的性质和行为。'