ChatGPT于一年前问世，AI话题热度至今未退。

作为学术出版从业者，我们及用户最关心的问题是：AI润色质量如何；能否取代人；哪款工具最好用。

本文带着祛魅的目的对四款AI工具作了测评，希望能解答以上问题。鉴于出版界目前对AI生成的文字持保守态度，我们仅将测评范围划定在语言润色功能内。

统计标准定义

本测评以一段约600字的研究型论文为样本，分别经四款AI工具润色语言，另外引入人工润色结果作为对照。*样本文章为中文母语者撰写，英语是其第二语言。测评前作者已知情同意，原文可见参考文献。

将人工润色纳入对比，一来是模拟科研作者先用AI润色再自行校对的过程；再则是出于学术道德考量，表明学术文章的署名作者可以借助工具完善内容，却也应明确对工具作业结果负责的立场。

*测评工具均为免费版，分别为Grammarly Free、Paperpal Free（2月29日前免费，可去官网）、QuillBot Free、ChatGPT 3.5。

有不少人对paperpal不太熟悉，这里简单介绍下。paperpal汇集20余年的发表支持经验，是一款意图提升研究者英语写作体验的AI工具，适用于期刊投稿、学位论文、基金标书、会议讲演稿等多种内容的编辑与改写，有诸多顶尖大学与主流出版社背书。有兴趣的朋友可以使用看看，2月29日前，新用户免费享Prime会员权益。（后续可能会收费）

Paperpal-专业AI论文润色与论文检测平台 - 意得辑Editage

首先Ai工具同义词替换引发术语出错，分为两类。

AI工具的改写逻辑，其一是替换同义词。但是如果替换不当，在没有学科知识结构支撑的情况下，换词很可能让术语走样。

1. 改变术语意思

比如ChatGPT在编辑中，将learning改为acquisition（图3）。不过从data learning到data acquisition，定义的内容已经变了。

图4中也有类似例子，ChatGPT将原文中的parallel mechanism用同义词作了替换，parallel和concurrent都有同时发生的意思。但在计算机领域中，并行“parallel mechanism”是并发“concurrent mechanism”的子集，两者表达的精准度有别。

2. 祛技术性

在QuillBot的返稿中，计算机术语时间步长time step被改为step，偏移了学术语境。

基础语法编辑效果对比

1. 单复数

样本例句：Afterwardsthe feature map with channel-attention is split into a series of the vector containing feature information along the time dimension.

vector在计算机领域指存放数据或数据结构的序列，可译为序组，是可数名词。所以句中的vector理应改为vectors。

测评中，ChatGPT、Paperpal、QuillBot对此错误都校正准确。Grammarly对单复数未作改动，既没能判断单句中的词性词意，对上下文用词一致性的把握也欠火候。

2. 冠词

样本例句：

Due to the presence of parallel mechanism in decoderthe inputs after the current time will be set to zero in order to facilitate the calculation.

decoder特指研究中的解码器，有点名意味，宜用the修饰。而parallel mechanism则泛指并行机制这一运行逻辑，结合语境前面用a修饰更合理。

这两处错误Grammarly、Paperpal、QuillBot都修改正确；ChatGPT识别出句子少了两个冠词，但其中一处校正有误，将a parallel mechanism前的冠词写作the。

3. 主谓一致

样本举例：

Although the size of input and output is seemingly the samethe meanings behind them are totally different.

input/output可同时做可数名词与不可数名词。结合语境，句中指机器学习中的输入输出序列，为可数名词。the size of input and output乍看是单数，但结合下文中的the meanings behind them则不难理解，作者的意思是the size of the input and the size of the output，属复数。

Grammarly和QuillBot没有识别出后文的隐藏线索，而ChatGPT和Paperpal则在这句的编辑中展示了对语法和语境的两重理解。

编辑改写量对比

l Grammarly未识别出的错误最多，不过只要有改动都能校正准确；

l Paperpal识别出了所有问题，改对数最多；

l QuillBot遗漏了超过半数的错误，在29处改动中有1处改错；

ChatGPT的改动总数最多，但改错率也最高。超过一半的改动无明显对错。

综合评语

1、ChatGPT

ChatGPT编辑结果在修改语法之余做了大量改写，可以看作是同类工具grammar check + paraphrase两种功能的组合。文字流畅、贴近母语者水准；擅用同义词替换逻辑，把简单词汇转写为“大词”。后者对人工校对的要求高，替换是否有碍准确性，或用词是否过于艰深令表达效果失色，都需要专业判断。此外，编辑结果无法追踪修改痕迹，需借助第三方软件对比编辑前后文本，操作起来略有不便。

2、Grammarly

改得比较浅，校正停留在基础语法上。尽管免费版支持设置书面/口语模式及调节受众理解力（图14），但在改稿中没有体现，专业用词替换或措辞调整的情况均为零。

3、Paperpal

与人工编辑的润色结果非常接近，纠错和校正的综合效果好。返稿在专业上忠于原文，对学科术语有一定敬意，语言表达则更偏正式。比如将afterwards、after that改为subsequently；make clear改为clarify。其他三款工具除ChatGPT都没能向前迈这一步。

Paperpal支持逐句查看扣分点，视图类似Word的追踪效果。句首自动归纳问题性质，如重新措辞、主谓一致、大小写等。但如能更详细地注释语法规则，会更理想。

4、QuillBot

语言编辑效果中规中矩，识别问题和改错准确性在Grammarly之上。QuillBot的语法释疑相对完善，即对改动之处给出的语法说明在其他三者之上。