大语言模型能用来给主题模型中的主题编码吗?——兼论大语言模型在社会科学领域应用的前景

摘要

ChatGPT是由OpenAI公司开发的基于大语言模型的通用应用程序，可以用来完成自然语言处理方面的任务。社会科学的研究实践涉及大量自然语言处理的任务,因而在这方面ChatGPT可能有广阔的应用前景。本文以主题模型为例,探讨ChatGPT能否为主题模型的结果生成可信的标签。我们抽取了发表在中外社会学期刊上使用了主题模型的论文,并打乱其主题与标签的顺序,在中外网络平台进行问卷调查,由一般用户评价二者谁更可能反映了原文的主题。结果表明,一般用户对原论文给出的标签评价并没有显著高于ChatGPT给出的标评价,甚至在多数主题上ChatGPT给出的标答获得的评价更高。这说明ChatGPT可以用于给主题模型的结果生成标签,给研究者加以评判。不过,这也意味着即使缺乏领域专门知识，ChatGPT的表现在有些条件下也可能达到专业研究者的水平,为社会科学研究带来了新的挑战。