ChatGPT处理文本分段任务能力评测

最近ChatGPT确实火得一塌糊涂，作为一个兼具分析与生成能力的AI，它碘伏了不少人的认知，甚至有人直言这是强人工智能的曙光。文本分类、信息抽取、文本生成、代码生成……仿佛无所不能。

上回跟师兄师姐和老师们吃饭，席间聊起ChatGPT，大家的感受都很直接：既然它几乎把NLP所有方向都统一了，那我们这些做算法工程和研究的人，以后的路在哪？重点是不是都得转向业务理解了？那些细分方向的论文解读，还有必要继续写吗？

小喵是前几周才开始试用的，算是赶热度比较晚的了。试用后确实惊叹于它的能力，但很快也发现，ChatGPT并非无所不能——很多NLP任务，它目前做得并不好。当然，它每天都在拿用户数据学习更新，肯定会越来越强。但从另一个角度看，学习更重要的是学习别人提出问题、解决问题的思路。基于这个出发点，小喵决定后续还是会继续分享NLP细分方向的文章。

1. 文本分段

之前公众号正在介绍文本分段（文本分割）任务，这次也顺便测了测ChatGPT在这方面的表现：

显然，ChatGPT没有正确理解意图。这类模型对指令很敏感，指令的表述直接影响结果。那换个说法试试：

还是不行。再具体一点：

这次稍微好点，但离用户意图仍有距离。也就是说，在文本分割上，ChatGPT的效果还有提升空间。当然，多给些范例帮助它理解“分段”指令的含义，结果可能会好一些。

2. 实体识别

在基础的实体识别任务上，同样存在意图理解问题，提取结果的精度也有待提升：

3. 热点话题

ChatGPT的训练数据截止于2021年，这意味着它学到的知识都来自那之前的语料。想靠它回答当下的热点事件，显然不太现实。

4. 文本生成之写新闻

文本生成方面，ChatGPT可能输出偏离事实的内容。比如这里给的“威斯布鲁克”，指的是从湖人队交易到爵士队的“威少”。

即使把“威斯布鲁克”改成“威少”，ChatGPT依然生成了不存在的“雪人队”。要知道2021年威少在奇才队，不是什么雪人队或雄鹿队。这说明，即便是2021年的知识，它也不一定完全掌握。这背后的原因，可能是虽然基于人工反馈的强化学习优化了模型，力求生成有用、无害且真实的文本，但人力反馈终究有限，网络数据中的噪声仍然可能误导模型。

总结

首先，即使是最先进的NLP模型，比如ChatGPT，也不能覆盖所有NLP任务。这个领域非常广阔，很多任务仍需要专门解决，研究细分方向依然必要。

此外，学习最重要的是吸收别人提出问题、解决问题的思想。基于以上两点，小喵决定继续分享NLP细分方向的文章。

最后，技术的发展不应被视为竞争，而是一种合作。无论中国还是美国，都应围绕“共同推动NLP技术进步”这一核心，互相学习、共同进步。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：ChatGPT处理文本分段任务能力评测要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题