目前哪个ai工具在科研当中会更好用一些？
2024-11-19 阅读 14
更新于 2024年11月21日
推荐STORM AI研究系统，详细参考这篇文章：https://towardsdatascience.com/running-the-storm-ai-research-system-with-your-local-documents-e413ea2ae064
这篇文章介绍了STORM，一个用于生成研究文章的AI系统。STORM通过LLM代理模拟“视角导向对话”，帮助生成丰富且有条理的研究文章。文章详细描述了如何在本地文档上使用STORM进行AI支持的研究，包括文档处理、元数据增强、向量数据库构建以及STORM运行的具体步骤。通过使用FEMA的灾害准备和援助文档，作者展示了如何将STORM应用于实际数据，生成可供人类进一步研究的初步报告。文章还讨论了文档处理方式对结果的影响，包括按页面分割和更细粒度的分割方法。
将STORM应用于本地文档，使其在缺乏互联网连接的环境中也能发挥作用。实用性方面，STORM可以生成条理清晰且有引用的研究报告，有助于提高研究效率。可能的影响是，这种方法可以广泛应用于组织内部的研究，尤其是在需要处理大量本地文档的情况下。
文章全文解读STORM是一个用于生成研究文章的AI系统，它通过LLM代理模拟“视角导向对话”，帮助生成丰富且有条理的研究文章。这篇文章详细介绍了如何在本地文档上使用STORM进行AI支持的研究。
我们需要处理文档，将它们分割成更小的片段，以便STORM可以搜索特定主题。为了模拟维基百科文章的样式，可以采用两种方法：一种是按页面分割文档，另一种是进一步将文档分割成更小的部分，以覆盖离散的主题。
我们需要增强文档的元数据。STORM要求文档具有“URL”、“标题”和“描述”等元数据字段。由于我们是在分割PDF文档，因此需要通过简单的LLM调用来生成这些字段。对于URL，我们为每个PDF页面生成唯一的URL，以确保它们是唯一的。
我们需要构建向量数据库。STORM已经支持Qdrant向量存储，我们可以通过LangChain框架构建本地的Qdrant向量数据库，这样可以更好地控制和管理数据库。
运行STORM时，文章介绍了如何使用OpenAI或Ollama模型，并支持传递向量数据库目录。此外，还介绍了一个函数来解析引用文件，将引用添加到生成的文章中。文章还讨论了不同的文档处理方法对结果的影响，包括按页面分割和更细粒度的分割方法。
通过使用FEMA的灾害准备和援助文档，作者展示了如何将STORM应用于实际数据，生成可供人类进一步研究的初步报告。文章还讨论了文档处理方式对结果的影响，包括按页面分割和更细粒度的分割方法。
