麻省理工学院、纽约大学和加州大学洛杉矶分校的研究人员开发了一种方法，以帮助评估 GPT-4 等大型语言模型是否足够公平，可以在临床上用于心理健康支持。
借助匿名性和陌生人的陪伴，数字世界作为寻求心理健康支持的地方的吸引力正在增长。这一现象因美国 有超过 1.5 亿人生活在联邦政府指定的心理健康专业人员短缺地区而得到推动。
“我真的需要你的帮助，因为我太害怕与治疗师交谈，而且无论如何我都无法联系到治疗师。”
“我是不是反应过度了，因为丈夫在他的朋友面前取笑我而感到受伤了？”
“能否请一些陌生人介入我的生活并决定我的未来？”
上述引言均来自 Reddit 用户的真实帖子。Reddit 是一个社交媒体新闻网站和论坛，用户可以在规模较小的、基于兴趣的论坛（即“subreddits”）上分享内容或寻求建议。
麻省理工学院、纽约大学 (NYU) 和加州大学洛杉矶分校 (UCLA) 的研究人员利用来自 26 个心理健康相关子版块的 12,513 篇帖子和 70,429 条回复的数据集，设计了一个框架，以帮助评估基于 GPT-4 等大型语言模型 (LLM) 的心理健康支持聊天机器人的公平性和整体质量。他们的研究成果最近发表在 2024 年自然语言处理实证方法 (EMNLP) 会议上。
为了实现这一目标，研究人员请两名有执照的临床心理学家评估 50 条随机抽样的 Reddit 帖子，这些帖子寻求心理健康支持，并将每条帖子与 Redditor 的真实回复或 GPT-4 生成的回复配对。在不知道哪些回复是真实的、哪些是人工智能生成的的情况下，心理学家被要求评估每条回复的同理心水平。
长期以来，人们一直探索心理健康支持聊天机器人作为改善获得心理健康支持的一种方式，但像 OpenAI 的 ChatGPT 这样强大的 LLM 正在改变人机交互，人工智能生成的反应变得越来越难以与真实人类的反应区分开来。
尽管取得了显著进展，但人工智能提供的心理健康支持所带来的意外后果已引起人们对其潜在致命风险的关注；去年 3 月，一名比利时男子在与 ELIZA 进行交流后自杀身亡。ELIZA 是一款模仿心理治疗师开发的聊天机器人，拥有法学硕士学位，名为 GPT-J。一个月后，美国国家饮食失调协会暂停了他们的聊天机器人 Tessa，因为该聊天机器人开始向饮食失调患者提供节食建议。
Saadia Gabriel 是麻省理工学院的博士后，现在是加州大学洛杉矶分校的助理教授，也是这篇论文的第一作者，她承认，她最初对心理健康支持聊天机器人的实际效果非常怀疑。Gabriel 在麻省理工学院健康机器学习小组担任博士后期间进行了这项研究，该小组由麻省理工学院电气工程与计算机科学系副教授、麻省理工学院医学工程与科学研究所 Marzyeh Ghassemi 领导，他隶属于麻省理工学院 Abdul Latif Jameel 健康机器学习诊所和计算机科学与人工智能实验室。
加布里埃尔和研究团队发现，GPT-4 的反应不仅总体上更能引起同理心，而且在鼓励积极行为改变方面比人类的反应好 48%。
然而，在偏见评估中，研究人员发现，与白人海报或种族不明的海报相比，GPT-4 对黑人海报（低 2% 至 15%）和亚洲海报（低 5% 至 17%）的反应同理心水平降低了。
为了评估 GPT-4 反应和人类反应中的偏差，研究人员纳入了不同类型的帖子，其中有明确的人口统计（例如性别、种族）泄露和隐含的人口统计泄露。
明确的人口统计泄露可能是这样的：“我是一名 32 岁的黑人女性。”
而隐含的人口统计泄漏将是这样的：“作为一个留着自然头发的 32 岁女孩”，其中关键字用于向 GPT-4 指示某些人口统计数据。
除了黑人女性发帖者外，与人类响应者相比，GPT-4 的回应受显性和隐性人口统计泄露的影响较小，而人类响应者在回复带有隐性人口统计建议的帖子时往往更具同理心。
加布里埃尔说：“你给予（法学硕士）的意见的结构和一些背景信息，比如你是否希望（法学硕士）采取临床医生的风格，社交媒体帖子的风格，或者你是否希望它使用患者的人口统计属性，都会对你得到的回应产生重大影响。”
论文表明，明确指导法学硕士使用人口统计属性可以有效地减轻偏见，因为这是研究人员没有观察到不同人口群体之间同理心存在显著差异的唯一方法。
加布里埃尔希望这项工作能够帮助确保对在各个人口亚群的临床环境中部署的法学硕士进行更全面、更周到的评估。
“LLM 已用于提供面向患者的支持，并已部署到医疗环境中，在许多情况下用于自动化低效的人力系统，”Ghassemi 说。“在这里，我们证明，虽然最先进的 LLM 在点对点心理健康支持中通常比人类受人口泄漏的影响更小，但它们无法在推断的患者亚群中提供公平的心理健康反应……我们有很多机会改进模型，以便它们在使用时提供更好的支持。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/yan-jiu-biao-ming-ren-gong-zhi-neng-liao-tian-ji-qi-ren-ke
