从零打造+全流程+全栈落地实战,让你轻松锻造商业级Agent研发核心力《LLMOps平台:慕课AI应用构建器》是新一代 AI 原生应用开发服务平台,无论是否有编程基础,都可在平台上搭建基于 AI 模型的各类问答应用、工作 流应用,从解决简单的问答到处理复杂的逻辑任务。还可将 AI 应用一键发布到对应的社交平台、Web网页,甚至是基于平台的开放 API 进行二次开发。
【主页】机器人可文本创建AI应用。【个人空间】含三部分:应用(单Agent)、工作流(多Agent)、知识库。
【应用】通过可视化编排创建最基础的聊天问答机器人,支持集成插件、知识库、语音输出、调用工作流组件等。
应用的编排页分成3个部分,左侧【系统提示词】,中间【能力扩展】,最右侧【调试对话窗口】。
【能力扩展】支持添加相应的工作流组件、关联的知识库、开场对白、推荐问题、语音输入&输出、审核功能等。
应用编排成功,可以发布到网站本身(生成一个访问URL链接),或者绑定公众号、绑定企业微信、使用开放API等进行访问。
【工作流组件页】支持创建由多个Agent和工具组成的任务流。使用Flow编排方式,通过添加节点(如大模型、代 码、知识库
【知识库页】存储企业文档,支持DOX、PDF、TXT、XLSX、PPT等格式。上传后,系统自动处理文件,包括读取、解析、拆分、
嵌入文本、提取关键词,并存储于向量数据库。用户可查看、编辑、删除文档切片,这些切片是LLM读取的最小单元。
【应用广场页】存储了在程序中内置编排的一些应用,可以快速体验或者创建副本到个人空间长期使用(该应用
【插件广场页】展示了整个项目中内置的插件,插件底层通过.py函数文件+YAML配置文件快速创建,插件集成
(原:继承)到LLM上,增强大模型的功能。插件不可以单独调用,必须关联应用或者关联工作流后方可使用。
成就掌握LLM应用开发基础知识,并搭建基础项目框架,实现并对接第一个聊天机器人。文本嵌入内存记忆向量数据库函数回调ReACT对话链LangChain工具开发AI Agent谷歌搜索Postgres解锁
成就增强聊天机器人性能,添加记忆功能、读取知识库、调用插件,实现第一个商业级AI Agent应用。Prompt工程历史Prompt管理流式响应Token统计中断流式响应JWT授权认证宪法链审核模型云审核开放API解锁
成就实现对应用的Prompt管理与工程化,为应用添加流式响应提升用户体验,添加JWT与审核模型,确保输入输出安全,提升平台的整体性能。多LLM模型(OpenAI、文心一言等)LLM接口对齐LangGraph多Agent应用工作流Vue-Flow流程图解锁
成就掌握接入多种LLM模型,引入LangGraph实现多Agent应用工作流,学会前端使用Vue-Flow实现流程图,开发具有复杂工作流和智能交互
功能的应用。Token统计与限速前后端调优Docker生产环境部署优化微软云服务器白名单端口安全监控警报解锁
成就能够高效部署和调优前后端项目到生产环境,利用Docker技术实现快速一键部署,并成功集成微软云企业OpenAI接口,从而构建出具备高
性能智能交互能力的应用。飞书群机器人公众号企业微信号中间件WhisperTTSDALLE文生图开放API解锁
成就能够构建一个功能强大的文本大语言模型(LLM),实现语音输入、语音输出、图片输出、文件输出等功能,并将LLM集成到外部的社交
媒体平台,从而提供更为丰富和智能的交互体验。智能客服口语助手多模态数字人SadTalker爬虫中间件ImageToHtmlLanguageToPPT第三方集成解锁
成就使用LLMOps开放的API搭建编排五大火热企业级AI项目,涉及智能客服系统,口语学习助手,图片转HTML前端智能工具,虚拟数字人,
PPT自动生成工具。LangChain优缺点开发问题LLM评测LLM排行榜框架源码解析LLM预训练微调数据投喂HuggingFace解锁
成就了解LangChain底层原理,掌握大模型的评测、预训练、微调、数据投喂基础、如何使用HuggingFace查找与部署模型。无论入行/转行,都能从入门、进阶、应用,顺滑掌握硬核就业技能大学生/应届毕业生计算机专业,想练就硬核技
精通Python、GO语言开发、微服务架构、AI应用技术等。互联网8+年一线年+创业经验,前网易、飞书资深工程师,现就职于某新零售企业,任职CTO,从0到1带领团队主导了新零售平台整体架构和研发(使用GO语言),所研发产品一年时间支撑起40+线下门店、数十家供应链企业,完成从0到上亿营业额的全链记录与100%可用性,知名Agent项目MetaGPT早期贡献者。曾出书籍:《智能办公:用ChatGPT让工作飞起来》(第一作者)
本周学习LLM及LLMOps平台的开发基础、架构设计,并探讨LLM在企业中的应用及其对软件开发的影响,学习LLM与Agent应用交互方式、开发的常见术语,以及如何利用ChatGPT辅助学习及软件开发。
Python是人工智能编程语言,本周手把手带领大家,从安装,到配置LLMOps项目后端,安装数据库、编写测试脚本,初步了解LangChain框架,学习基础组件使用,对接OpenAI实现第一个聊天机器人
本周学习Node.js环境的安装、LLMOps前端项目搭建、Vue.js项目架构设计、解决前后端跨域、并配置ArcoDesign框架与Tailwindcss方案实现第一个带UI的聊天机器人。
本周掌握LLM的上下文窗口概念、了解上下文长度限制与解决方案,学习LCEL表达式,尝试使用LangChain的记忆组件实现对长上下文的记忆及总结,将该方案集成到项目中,实现带记忆/状态功能聊天机器人。
本周学习LLM幻觉解决策略,开发LLMOps知识库模块,实现聊天机器人特定问答。学习向量数据库配置,涉及词向量、Embedding、数据集、异步队列、分词、搜索重排与测试。掌握RAG的常见优化策略
2、掌握常见向量数据库的配置及使用,涵盖Faiss、Pinecone、TCVectorDB、Weaviate等向量数据库,在项目中构建第一个RAG应用。
4、掌握LangChain提供的数十种的文档加载器及文本分割器的使用,并深入解析递归字符文本分割器实现分割任意文档,实现LLM读取文件功能;
5、学习并掌握LangChain检索器的作用,实现让LLM动态调用知识库功能;
8、学习并掌握常见的数十种RAG优化策略,涵盖涵盖多查询融合、问题分解策略、回答回退、doc-doc检索、混合检索、逻辑路由、语义路由、自查询检索、多向量检索、父文档检索器、递归文档树、ReRank重排、CRAG与Sele-RAG等。
本周主要深入学习Prompt可视化编排中的插件与知识库模块功能开发,涵盖内置LC插件集成、现有API工具集成、知识库创建、向量数据库多用户设计思路、两大模块页面设计及逻辑实现。
1、使用YAML+Python动态导入实现可视化编排的内置插件与API插件;
2、编写调整OpenAPI Schema实现将任意API接入到LLMOps项目;
4、在LLMOps中实现知识库中文档的分割、关键词提取、向量化、增删改查等功模块,以实现用户上传自定义文档实现问答功能;
7、应用编排配置历史版本开发提示模板历史版本开发,便于企业管理历史应用编排提示资产;
本周对比流式与非流式响应,探讨其在应用中的适用性。在Flask中,实现LangChain流式响应;前端fetch获取流式数据,模拟ChatGPT打字效果。优化流式响应-计算和中断功能,提升用户体验。
本周主要学习为LLMOps平台添加授权认证功能,主要介绍JWT授权认证原理、第三方授权认证原理,涵盖账号密码授权、第三方授权、接口授权认证等服务,提升平台的安全性。
本周主要学习OpenAI的大语言模型审核功能、LangChain审核链、自定义审核功能的开发架构及思路,在LLMOps中集成审核功能,确保企业AI生成合规内容。
本周主要学习如何为LLMOps平台开发设计开放接口功能,实现对开放接口的秘钥生成及校验、秘钥鉴权、利用开放接口实现与其他应用的连接。
本周将基础的单应用扩展成多应用,并实现工作流组件,包括:多应用模块设计、工作流模块设计、LangGraph实现图应用、前端Vue-Flow组件使用、工作流转LLM工具设计思路、关联工作流登技巧。
本周学习LangChain抽离LLM模型,对齐多模型接口(带工具回调的大语言模型),对齐多LLM模型的接口,支持让AI应用无缝切换到远程或本地LLM,并简单介绍HuggingFace平台使用。
本周学习LLM模型的Token统计与费用计算,为LLMOps添加数据统计分析接口,前端用ECharts展示数据,呈现应用的使用情况。并配置使用预警功能,避免接口被盗刷,提升应用安全。
1、掌握流式传输和工作流模式下Token的统计与费用计算思路设计与实现;
4、通过总消息数、token消耗、用户数等信息实现对Agent应用的消费统计,让消费一目了然。
7、设计并完善WebApp与应用发布模块,实现通过URL在线访问Agent应用。
8、为Agent消息接入markdown-it实现富文本内容输出,优化Agent输出格式。
本周学习LLMOps前端项目的优化、配置与部署,涵盖:基础/高级组件封装、配置与代码分离、TailwindCSS页面公共样式抽离、骨架屏与加载状态添加、Vue.js项目优化、构建与部署等。
本周学习LLMOps后端项目的优化与配置,涵盖:添加重试机制提升模型运行成功率、添加Cache提升重复请求性能、使用小参数LLM处理不同任务提升项目性能并降低成本、封装LLMOps项目相似性代码等。
学习LLMOps在生产环境中的部署与优化,涵盖:本地向量数据库部署、OpenAI接口额度、Azure秘钥申请、gunicorn多进程配置、Nginx限流、Dockerfile容器及云环境部署等。
本周学习LLMOps对接社交媒体,集成多模态插件,涵盖飞书群机器人、微信公众号、与现有应用对接架构设计与思路、Whisper语言识别模型的使用、TTS语音合成、DALLE文生图模型等内容。
本周主要学习利用LLMOps应用平台编排构建智能客服系统,实现24h无人轮值客服,涵盖知识点:客服知识库语料、应用Prompt编写、审核插件使用、小程序电商中间件接入、自营电商中间件快速接入等。
本周主要学习利用LLMOps应用平台构建口语学习助手,涵盖:应用架构及设计思路学习、工作流编排与测试、语料准别、语音接口测试联调、AI流式响应导致超时的公众号解决方案等。
4、口语助手中间件编写,实现AI语言对线、掌握流式响应转完整响应输出的解决方案;
6、使用Websocket连接Gemini大语言模型实现实时音视频通线、学习掌握利用elevenlabs实现拟人口语句子的生成;
本周主要学习利用LLMOps构建图片转HTML前端智能工具,涵盖知识点:GPT-4v/4o多模态模型的介绍与使用、应用Prompt编排、图片转HTML智能工具编写、基于开放API二次开发等。
2、了解常用数字人模型,涵盖Avatar、SadTalker、Echomimic等模型;
5、掌握gradio上对接开放API与Echomimic实现虚拟数字人口播视频生成;
7、了解将虚拟数字人接入直播系统并采集直播评论的相关思路与三方库推荐;
本周学习LLMOps实现自然语言转PPT的设计思路与实现,涵盖:python-pptx包、LangChain规范化输出技巧、PPT生成插件的编写、编排LanguageToPPT应用、中间件编写等功能。
4、学习将python-pptx与图片占位符、腾讯云COS存储DALLE集成封装为LLMOps插件;
本周总结回顾整门课程,并学习LLM扩展知识,涵盖:开发问题总览、LangChain优缺点、技术社区推荐、其他LLM开发框架、AI应用开发及未来发展方向、LangChain源码解析、LLM评测等技能。
1、总结在项目开发中LangChain开发问题总览、探讨LangChain优缺点;
2、了解一些高质量的LLM技术学习社区、其他LLM开发框架及AI应用发展方向;
本周主要学习LLM应用开发之外的相关知识,涵盖预训练、主流微调模型、本地部署大模型、HuggingFace大模型开源社区的使用、企业在不同阶段下的选择、GPT模型的微调等。