前段时间，学院发了关于星火杯的报名文件。上个学期就听说过星火杯，但没想到这学期刚开学就要提交作品，没有做什么事先准备。
3月8日晚点名结束后，我与一位同学在图书馆用“腾讯元器”做了一个 AI 问答服务，零代码平台开发这个并不难，但一个小时弄出作品还是给这位同学比较大的震撼。星火杯有支持提交零代码平台开发的智能体的赛道，我打算就这样交上去。
当天晚上，那位同学找我，我们和另外一位同学沟通一些想法，初步确定往“教-学-管-评”智能体方向去做，设计一个平台来服务教育教学。
智能体知识库本身其实就是一个 RAG 系统，我将此前做 RAG 的代码基本照搬过来，大致用 flask + langchain 做了一个后端出来。姚焱夫同学负责前端，此前他并没有接触过前端的开发，现用现学，很快就了解了前端项目的文件结构、代码逻辑，非常厉害。孟子钦同学将我们聚到一起，对一些想法进行了完善。
通过我们的观察，大学的课堂教学过程中存在一些问题，例如：
针对这些问题，我们用我们的项目给出解决方案：
- 提供大模型问答功能，回答问题
- 教师可以针对学生提出的问题给出权威回答，完成知识沉淀
- 知识库可以添加文档、资料，充分利用教学材料
- 使用大模型对学生的学习情况进行总结，方便老师分析
这是关于系统问答与知识库功能的流程动图：学生向学习助手提出问题，学习助手在知识库中检索相关资料附在问题后交给大模型，大模型回答学生；教师可以在管理后台看到学生提出的问题并给出权威答案，权威答案沉淀到知识库中，下一次有学生提出类似的问题，大模型将被要求根据权威答案生成回答。
这是关于系统架构的动图：前端用 Vue 进行开发，后端由 Python Flask 提供服务，使用 Qwen 开源模型。
以上两张动图都是用 manim 制作的，截取自我们的项目介绍视频。PPT 的模板来自人智院的刘卓东学长。由于视频文件比较大，内容就是这两个动图加上功能的演示，所以介绍视频的链接附在本文的附录。
结合我与 Gemini、ChatGPT的对话记录，总结在开发过程中遇到的问题。
环境依赖问题
这个问题我愿意给到“夯爆了”，配环境的时候基本都会出现各种各样的依赖问题，要么是 Python 版本太低或者太高了，要么是langchain_community的版本跟其他依赖不匹配……langchain两个大版本的接口有很大的差异。每次遇到这种问题问 ai 折腾一两个小时估计都折腾不好，用一下搜索引擎很快就解决了。
在与 ChatGPT 沟通的过程中，遇到开发中最麻烦的两个模块create_retrieval_chain和create_stuff_documents_chain。根据我们 ChatGPT 同学之前的回答，它应该是知道由langchain_classic这个包的，但不知道为什么它在这及之后就忘记这两个模块被移到langchain_classic里面去了。我也是头脑不清醒，跟着它折腾半天，最后不得不找谷歌看看。（其实谷歌应该是第一选项才对，但是我懒，喜欢让 ai 直接给答案）
我在谷歌上搜索了一下这个导入语句，马上就找到了 python – Using create_retrieval_chain due to RetrievalQA deprecation – Stack Overflow 这个帖子，将langchain改成langchain_classic，问题就这样解决了。
在与 Gemini 谈话的过程中，估计是训练数据过时了或者没有搜索到合适的资料，它反复提醒我：“导包错误：LangChain 较新版本中，记忆和链模块应从langchain.memory和langchain.chains导入，而不是langchain_classic。”还好我自己知道，没在同一个地方摔倒第二次。
在开发的过程中也遇到过依赖地狱，不过折腾几次全部使用新版本就解决了。
Prompt拼接问题
这个问题也挺搞心态，没找到什么比较好的解决方案，后面用曲线救国的方式解决了。属于是治本不行就治标吧。
if '<|im_end|>' in token or '<|im_start|>' in token:
token = token.replace('<|im_end|>', '').replace('<|im_start|>', '')
if not token.strip():
continue我在后端开发好之后让 ai 写了一份接口文档，供负责前端的姚同学阅读。原本以为 git 和前后端协作这方面会出现一些问题，结果并没有我想的那样困难。在帮忙装后端环境的时候出现了一个问题，关于 cuda 的问题：
我在装 pytorch 的时候，Gemini 给的命令pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu128能用，而cu129的预编译包却找不到。没办法，只好让同学降级，后面我在代码里也适配了没有 cuda 的环境。
答辩之前，代码之外，团队协作的过程中出现一些小插曲，经过沟通顺利解决。团队的负责人需要跟进比赛的时间点，熟悉项目并协调准备好材料，带领团队推进。
准备答辩时将材料交给皓子学长过目，大佬给了一些诸如突出显示关键词之类的建议。
3 月 26 日晚上，我参加了网安密码学部的院级答辩。将答辩的录音转文字进行分析，结合答辩时的一些主观感受，发现答辩中暴露的一些问题：
- 答辩的时候超时了，后面关于项目优势和未来展望的部分没讲到。
- 问辩的时候展现项目的必要性还不够，相对于通用大模型的不可替代性没讲清楚。
- 产品对于老师留言提醒的功能做得还不够完善，例如：如果多个学生针对同一问题给老师留言，老师会收到多个邮件。
差不多要 29 日学院里统计分数后才会出结果，这段时间可以对提出的不完善的功能进行一下优化。如果被推荐到学校里，完善完善，校赛再战。
与浦彦松学长交流了一下答辩的事情，学长给了一些建议：
- 不要列技术架构，关于技术的设计和改进可以提，但是要有数据、对比。
- 答辩不需要讲解技术，讲创新点，细节就说后续会优化。
- 背景只需要一两页。
- 不要有长段文字，图片的视觉冲击力好过红色标记。
- PPT 很重要。
让 ai 完善了一下留言邮件提醒的逻辑，学生提交留言提醒之后会先在最近 24 小时的留言里匹配相似度，如果发现有相似度高于 0.85 的留言，则不会给老师发送邮件通知。
在我们完善代码的时候微信发来消息，我们的项目没有被推荐到校赛，这次主体赛我们到这里就结束了。我们队伍里面讨论了一下，决定将这个项目做完。“无论还有没有机会，无论结没结束，咱们都尽量把这个项目完成。不管成没成功，都是自己做的一个项目。”
我们梳理了尚未完成的工作，大致分成三个部分：
- 项目 README 的实现效果部分目前缺省，没有直观的展现
- 资料库内容还不够丰富，有待充实后发布版本
- 暂时还没有对于 RAG 投毒的防御措施
假如LLM无限上下文了，RAG还有意义吗？ 这篇回答给我提供了一个可能的优化方向，即“主动RAG，让模型自己决定查什么”。
原先的问答代码是这样的，用户提问→系统检索→模型生成，整个生成过程只检索一次知识库，属于是一个比较普通的 RAG 流程。以下是关于这一流程的生动的图片，图片中红色的内容为投毒内容，暂时不考虑这一点。
我让 Gemini 根据主动检索的概念对代码进行修改，修改后的 ai 可以自己决定要不要检索知识库，如果是寒暄之类的提问可以直接回答，跳过检索步骤。可以进一步对代码进行优化，让 AI 自己决定检索词。
关于抗投毒，TrustRAG: Enhancing Robustness and Trustworthiness in RAG(arXiv:2501.00879) 提供了一种可行的方法，主要通过 k-均值聚类和大模型自评估来过滤恶意投毒文档。因为懒，目前文档数量比较少，没有什么过滤的必要。
项目 README 的实现效果需要实际应用之后才能拿到数据，不方便摆太多的数字。
3 月 29 日晚上，在推完主动检索的修改之后，将新生成的向量知识库上传到 GitHub，发了一个版本。目前的开发任务差不多就完成了。
3 月 29 日中午，就在我们知道我们这个项目没有被推荐到学校过后不久，学部把选拔赛的获奖名单发出来了，我们项目获得选拔赛的一等奖。到此，算是“有始有终”。
致谢
感谢负责进行前端开发工作的姚焱夫同学、负责协调与 UI 图标设计工作的孟子钦同学、给我们提供宝贵建议的皓子大佬和浦彦松学长与提供 PPT 的刘卓东学长。与此同时，我在大创课题组所做的工作在本次比赛开发 AI 应用过程中给我提供帮助，感谢苗教授和负责指导我们的博士师兄。
附录
“星火杯参赛小记：XDWe——驱动教学相长的AI智能学习助手”上的2条回复
FIGHTING
我真的该学习你复盘的能力