PrivateGPT

使用ChatGPT API训练一个自定义的AI聊天机器人。虽然效果相当好，但我们知道，一旦你的免费OpenAI点数用完，你需要为API付费，这不是每个人都能负担得起的。此外，一些用户不愿意与OpenAI分享机密数据。因此，如果你想创建一个私人的人工智能聊天机器人，而不需要连接到互联网，也不需要为API访问支付任何费用，本指南就是为你准备的。PrivateGPT是一个新的开源项目，可以让你在AI聊天机器人界面中与你的文件进行私人互动

privateGPT可以有四个用处：
1.增强知识管理：私有LLMs自动化，将大量非结构化数据组织
2.提高用户体验：可以粗粒用户查询请求提供私人的基于上下文相关的恢回复
3.创新
4.提高工作效率

近日，GitHub上开源了privateGPT，声称能够断网的情况下，借助GPT和文档进行交互。这一场景对于大语言模型来说，意义重大。因为很多公司或者个人的资料，无论是出于数据安全还是隐私的考量，是不方便联网的。

先说结论：可用，但还有进步空间。特别是对于简单询问语句，该模型不像ChatGPT回答有来有回，而是提供若干可能性进行回答。而数据预处理环节的容错性、embedding向量的生成方法以及大语言模型的基底模型，每一个环节的质量都会影响最终的使用体验。可期待的是，每一个环节都有可能逐步改善，并最终带来质的飞跃。

原理解析

这套方法使用了LangChain, GPT4All, LlamaCpp, Chroma and SentenceTransformers.

LangChain 用来生成文本向量，Chroma 存储向量。GPT4All、LlamaCpp用来理解问题，匹配答案。基本原理是：问题到来，向量化。检索语料中的向量，给到最相似的原始语料。语料塞给大语言模型，模型回答问题。基本原理和chatpdf没大差别。