LazyLLM 测评｜LazyLLM：低代码多智能体应用开发框架，让 AI 创新更简单

项目介绍

核心功能

便捷的 AI 应用组装流程

• 模块化设计：通过精细化模块设计和符合直觉的代码风格，助力开发者集中精力打造核心产品
• 数据流为核心：采用以数据流为核心的应用开发范式，可通过 Pipeline、Parallel、Switch、If、Loop、Diverter、Warp、Graph 等数据流拼接已有组件或其他开源软件
• 统一体验：对多种模型服务进行封装，让开发者在不同技术选型时获得统一体验，实现统一调用、统一服务、统一部署

复杂应用一键部署

• POC 阶段：通过轻量级网关机制简化多 Agent 应用的部署流程，解决依次启动各个子模块服务并配置 URL 的问题
• 发布阶段：提供一键封装镜像的能力，使应用可以方便地利用 Kubernetes 的网关、负载均衡和容错能力
• 多平台部署：支持将智能体一键部署到网页、企业微信、钉钉等平台

跨平台兼容性

• 广泛兼容：兼容裸金属服务器、开发机、Slurm 集群、公有云等环境
• 无缝迁移：使开发中的应用可以无缝迁移到其他 IaaS 平台，大大减少了代码修改的工作量
• 国产化适配：解决了部分国外工具本土化适配不足的问题，得到许多国内开发者的认可

高效的模型微调与优化

• 自动框架选择：根据微调场景，自动选择最佳的微调框架和模型切分策略
• 网格搜索优化：支持网格搜索参数优化，根据用户配置自动尝试不同的基模型、召回策略和微调参数
• 非侵入式调优：超参数调优过程无需对应用代码进行大量侵入式修改，帮助用户快速找到最佳配置

技术架构

核心设计理念

• 数据流驱动：以数据流为核心的应用开发范式，使组件拼接和流程编排更加灵活
• 模块化可插拔：采用模块化设计，支持开源技术的高效集成，保证框架的扩展性
• 企业级架构：支持算法和工程解耦，保障访问安全与数据隔离，支持大规模并发和多用户协作

企业级特性

• 权限体系：完善的权限管理体系，保障企业数据安全与访问控制
• 热更新支持：支持服务热更新与算法滚动升级，确保业务连续性
• 全链路支持：提供从方案设计、模型训练、系统部署到业务集成的端到端落地能力

使用方法

安装与配置

pip install lazyllm

# 设置环境变量：LAZYLLM_OPENAI_API_KEY=xx 
# 或者创建配置文件(~/.lazyllm/config.json)并添加openai_api_key=xx
import lazyllm

基础应用开发

import lazyllm
# 使用在线模型
t = lazyllm.OnlineChatModule(source="openai", stream=True)
w = lazyllm.WebModule(t)
w.start().wait()

# 使用本地模型（需安装推理框架）
t = lazyllm.TrainableModule('internlm2-chat-7b')  # 模型会自动下载
w = lazyllm.WebModule(t)
w.start().wait()

import os
import lazyllm
from lazyllm import (pipeline, parallel, bind, _0, Document, Retriever,
                     Reranker, SentenceSplitter, TrainableModule)

prompt = '你是一个AI问答助手，需要根据上下文和问题给出回答。'
documents = Document(dataset_path='/path/to/yourdata', embed=TrainableModule('bge-large-zh-v1.5'))
documents.create_node_group('sentence1', transform=SentenceSplitter)
documents.create_node_group('sentence2', transform=SentenceSplitter, parents='sentence1')

with pipeline() as ppl:
    with parallel().sum as ppl.prl:
        prl.retriever1 = Retriever(documents, 'sentence1', similarity='cosine', topk=6)
        prl.retriever2 = Retriever(documents, 'sentence2', similarity='cosine', topk=3)
    ppl.reranker = Reranker(types='ModuleReranker', model='bge-reranker-large') * bind(ppl.input, _0)
    ppl.llm = lazyllm.TrainableModule('internlm2-chat-7b').prompt(lazyllm.ChatPrompter(prompt, extro_keys=['context_str']))
    
mweb = lazyllm.WebModule(ppl, port=23456).start().wait()

代码效率对比

• 数学公式实现：LazyLLM 仅需 10 行代码，而 LangChain 需要 15 行，LlamaIndex 需要 30 多行
• RAG 应用：仅需 10 行左右代码即可搭建完整的 RAG 多路召回应用
• 开发效率：相比传统方法，开发效率提升 30%-60% 以上

应用场景

行业解决方案

• 金融行业：智能客服、风险评估、投资顾问
• 建筑与航空航天：技术文档管理、智能问答、知识检索
• 制造业：设备维护问答、操作规程查询、故障诊断

典型应用案例

• 智能客服系统：构建多轮对话、意图识别、知识库检索于一体的客服机器人
• 企业知识库：支持公司文档的频繁增删改查、分类管理，注册自定义 Reader
• 多模态应用：支持图像、文本等多模态能力的集成与编排
• 故事创作：利用 Pipeline 和并行处理实现自动化故事生成

优势对比

与传统开发方式对比

开发实战

一行命令安装

pip install lazyllm

Python 调用

import os
import lazyllm
os.environ['LAZYLLM_KIMI_API_KEY'] = 'sk-xxx'  #替换成申请的kimi apikey
chat = lazyllm.OnlineChatModule('kimi')
while True:
    query = input("query(enter 'quit' to exit): ")
    if query == "quit":
        break
    res = chat.forward(query)
    print(f"answer: {res}")

import lazyllm
chat = lazyllm.OnlineChatModule('kimi')
lazyllm.WebModule(chat, port=23333).start().wait()

搭建 RAG Agent

import os
import lazyllm
os.environ['LAZYLLM_KIMI_API_KEY'] = 'sk-xxx'  #替换成申请的kimi apikey

# 设置知识库路径
documents = lazyllm.Document(dataset_path='/content')

#配置检索器
# 创建一个检索器，将其与前面加载的文档关联起来
retriever = lazyllm.Retriever(
    doc=documents,           # 指定上一步创建的 documents 对象
    group_name="CoarseChunk", # 使用粗分块策略（默认）
    similarity="bm25_chinese", # 使用 BM25 算法进行相似度计算，适用于中文
    topk=3                   # 返回与问题最相关的前 3 个文档片段
)

#初始化模型
llm = lazyllm.OnlineChatModule('kimi')

#设置提示词
# 定义一个系统指令 Prompt
system_prompt = "你是一个智能问答助手。请严格根据以下背景信息来回答用户的问题。如果背景信息中没有答案，请直接说不知道。\n背景信息：{context_str}"

# 将该 Prompt 设置到之前初始化的大模型中
llm.prompt(lazyllm.ChatPrompter(instruction=system_prompt, extra_keys=['context_str']))


#集成与问答流水线
def ask_question(query):
    # 1. 检索：从知识库中查找相关文档片段
    doc_node_list = retriever(query=query)

    # 2. 组装上下文：将检索到的内容合并成一个字符串
    context = "".join([node.get_content() for node in doc_node_list])

    # 3. 生成：将用户问题和检索到的上下文一起交给大模型生成答案
    answer = llm({"query": query, "context_str": context})
    return answer
# 现在你可以进行提问了
user_query = "新客户如何申请？"
response = ask_question(user_query)
print(f"Answer: {response}")

lazyllm.WebModule(llm, port=24444).start().wait()

以下是利用 python+pyqt5 实现的一个 rag 小应用

总结与展望