AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析
AI工具评测

随着信息爆炸的时代,我们常常面临以下问题:

  • 信息过多,而我们的阅读速度有限;
  • 信息杂乱无章,需要多次筛选和过滤;
  • 信息难以理解,我们需要通俗易懂的解释;
  • 信息涉及多个议题,我们需要整理成树状或网状的思维结构。

为了解决这些问题,AI阅读助手应运而生,例如ChatDOC、ChatPDF和Humata等工具。它们可以直接与单个或多个文档对话,帮助我们快速提取洞察。

AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析

然而,为什么有时候这些AI助手的表现出色,有时候却不尽如人意?这与AI工具的性能、技术原理以及我们提问的方式有关。本文将介绍以下内容:

  • AI阅读工具的测评;
  • 它们的优点和不足;
  • 如何编写高质量的提示语(prompt)。

AI阅读工具测评

我尝试了四款AI阅读工具,并得出以下结论:在准确性和功能方面,ChatDOC明显优于其他工具。如果在严肃的工作或研究场合使用,ChatDOC是首选。

下表列出了四款工具的特点:

AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析

准确性

准确性是最重要的指标。如果提取的信息有问题,反而会给信息处理带来更多麻烦。从准确性的角度看,只有ChatDOC具备可用性。

为了测试准确性,我在四个工具中上传了同一篇学术论文,并针对其中的实验数据提出了问题。以下是各个工具的回答:

AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析
原 PDF 中的实验数据为 84.14、92.53 和 88.13

ChatDOC:全部回答正确,并精确定位到原文表格。

AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析

PandaGPT:找到了正确的位置,但只给出了一个错误的数据。

AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析

ChatPDF:不支持原文溯源,找到了三个数据,但全部都是错误的。

AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析

Humata:干脆告诉我原文中没有这个数…

AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析

丰富度

另一个重要的方面是提取和概括重点内容。因此,针对上述文档,我测试了一个摘要性问题:“总结一下这篇文章的主要内容。”

ChatDOC、PandaGPT和Humata的表现都不错,但ChatPDF给出的回答过于概括。

AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析
ChatDOC:表现不错,给出了有信息量的摘要。
AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析
ChatPDF:过于简略,对于了解文章的帮助不大。
AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析
Humata:表现不错,给出了有信息量的摘要。
AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析
PandaGPT:表现不错,给出了有信息量的摘要。

引用来源

许多AI问答类产品(包括New Bing)都列出了引用来源,以避免大语言模型可能的无根据回答。ChatDOC的引用设计非常精细,每个回答的末尾都给出了来源。Humata和PandaGPT的回答总体上提供了引用页码,但颗粒度相对粗糙。ChatPDF暂时没有这样的设计。

AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析
ChatDOC:每一个回答的每一句话都会给出来源,且精确到段落
Humata、PandaGPT:对于包含数据的问答会给出来源,且精确到页;摘要、类比性质的问答,则不会给出来源
ChatPDF:无

多文档提问

ChatDOC和Humata支持上传文件夹并整体提问;ChatDOC目前可供免费用户使用,而Humata是付费功能;ChatPDF和PandaGPT暂不支持多文档提问。

AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析
ChatDOC:操作上,需在本地将文件收集到一个文件夹里再整体上传;
体验上,多文档概要比较准确;在引用来源的处理上,给出了具体文档名称和页码。
AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析
Humata:操作上,免费版用户只能一个一个文件上传,付费用户支持多选文件上传
体验上,仅付费会员可使用,所以我没有继续尝试

多轮追问

关于上下文记忆和多轮追问,这些工具提供了两种处理方式:开启线程进行追问或直接在对话框中追问,默认会记录上下文。

在ChatDOC中,你可以选择保留或不保留上下文。此外,你还可以设定AI的自主度,即自由回答还是严格按照文档回答。

  • 多轮追问:ChatDOC 采用了类似于 Twitter上的「Thread」的概念:你可以针对某一条回答点击多轮会话按钮,开启 Thread,这样的对话记录了关于这个问题的上下文。
AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析
  • 在多轮追问中,你还可以设定 AI 的自主度,是 go freely,还是严格按照文档回答。
AI阅读工具ChatDOC、ChatPDF、Humata、PandaGPT:如何秒读千篇文献?测评、提示语优化全解析
  • 单轮问题:在主聊天框里,默认是不记录上下文的,每个请求都是单独的问答对。

其他三款工具没有线程设计,但ChatPDF和Humata明显记忆上下文,可以直接继续追问;而PandaGPT似乎无法记忆上下文,无法进行多轮追问。

ChatDOC擅长的任务

ChatDOC等工具擅长处理与“重点内容”相关的任务,包括但不限于:

  • 生成摘要,提炼重点:根据近似度匹配,它们擅长理解我们的需求,并提炼出重要信息。
  • 阐释概念,解释步骤:由于大型语言模型接受了世界知识的训练,它们能够提供背景信息和专业解释。
  • 选中内容,智能分析:这些工具能够充分理解上下文,并给出详细的解答。
  • 用结构化形式呈现信息:它们可以帮助我们整理关于特定主题的信息,并以表格或大纲的形式呈现。

暂不擅长的任务 由于前文提到的记忆限制,ChatDOC等工具暂时不擅长精确的“全文定位”任务,例如:

  • 寻找某个数据在原文中的精确位置(可以使用cmd+F等工具来实现)。
  • 选中某条法规,让它列出该法规在哪些文档中的页数出现过。

Prompt写作指南

在处理ChatDOC等工具擅长的任务时,通过优化提示语(prompt)可以获得更理想的答案。以下是一些经过验证的有效方法:

  • 指示要明确:尽可能明确地指示AI的操作范围,减少解释的空间。
  • 把任务分解:将大问题拆分为细分步骤,每个步骤都清晰明了,告诉AI接下来要做什么。
  • 定义角色:明确告诉AI在回答问题时扮演的角色,限定回答范围。
  • 明确输出的格式:让AI输出表格、大纲等特定格式的内容,以满足我们的需求。
  • 把指令放到提示语开始:在提示语的最开始部分,明确告诉AI我们希望它执行的任务,然后再提供其他上下文信息或示例。
  • 最后重复一遍指令:在提示语的末尾重复指令,以增加指令对输出的影响力。

通过以上方法,我们可以优化提示语,从而获得更高质量的答案。

总结

AI阅读工具可以帮助我们快速获取大量信息,但其表现质量可能会有差异。了解工具的特点、优化提示语以及合理利用其优势,都是提高使用体验和获得准确答案的关键。

分享到:
0
0

发表回复

猜你喜欢
近期文章
生成式AI看起来很美,ROI怎么算
利用生成式AI推动创新 美国本田这样做
东方Project-个人AI绘画合集-8(更新至2024-2-14)
AI绘画(动物科普)—兔狲
12.28乾坤AI日报 — 2023年度十大科技名词发布
近期评论
ai-world发表在
AI赛博机车—借助SD技术赚取第一桶金
mulei77发表在
AI赛博机车—借助SD技术赚取第一桶金
An Vũ( CEO AGBIG GROUP)发表在
12.25乾坤AI日报 — 苹果正购买新闻采集权用于训练生成式 AI