DT News - China - 研究发现，ChatGPT 在回答复杂口腔健康问题时存在局限性

Dental Tribune International

二. 12 八月 2025

保存

约旦安曼：随着人工智能在医疗健康领域的作用不断扩大，ChatGPT 等大型语言模型被越来越多地用于查询健康相关信息。在牙科领域，患者教育至关重要，且网上的错误信息日益增多，因此评估这类工具的可靠性尤为重要。鉴于烟草使用对口腔健康的影响已得到充分证实 —— 包括与牙周病、牙齿脱落、口腔癌以及愈合受损相关联 —— 一项新研究评估了 ChatGPT 在回应公众关于这一重要话题的问题时的效果。

来自约旦大学和科威特苏拉比哈特卫生部的研究人员，利用在线工具收集了一系列常见问题。这些经常向聊天机器人和搜索引擎提出的问题，涵盖了牙周状况、牙齿及一般口腔健康、软组织健康、口腔手术，以及口腔卫生和口气相关问题等领域，最终精简为 119 个问题。研究人员使用 ChatGPT 3.5 生成了回答，并基于有用性、可读性、质量、可靠性和可操作性等参数对这些回答进行了评估。

大多数回答被判定为非常有用（36.1%）或有用（42.0%），质量处于中等（41.2%）到良好（37.0%）水平。然而，只有 23.5% 的回答在可操作性方面得分较高，35.3% 的回答被认为仅具有中等可读性。

对比不同主题的回答后发现，该工具的得分存在差异。针对专业话题的回答实用性较低，包括那些与烟草使用对口腔软组织及口腔手术的影响相关的问题。

以往有研究发现，ChatGPT 在专业学科上表现出色，甚至能够通过牙科考试。对此，研究人员强调，提示问题的形式会影响回答的质量和可靠性。他们解释道：“这种差异可能是由于问题形式的不同，因为我们的一般性询问与基于测试的问题所具有的结构化、学术性特点不同。”

研究发现，这项技术能够胜任一般性问题的解答，但在更详细的问题和 / 或专业话题上表现较差。作者写道：“例如，对于大多数以放射肿瘤学患者为中心的问题，尤其是涉及不太常见的癌症以及包含错误假设的‘阴性对照’问题，ChatGPT 未能持续生成准确且全面的回答。” 研究人员强调，面向公众的健康相关信息，其有用性取决于可读性和易懂性，因此人工智能工具需要在回答的质量和简洁性之间实现有效平衡。

总之，作者得出结论：ChatGPT 在提供与烟草使用对口腔健康影响相关的一般性信息方面是一个有价值的工具，但在可读性、回答的持续可操作性以及专业话题的回答质量上仍面临挑战。作者总结道：“虽然 ChatGPT 可以有效地补充医疗健康教育，但它不应取代专业的牙科建议。”

这项名为《评估 ChatGPT 在回应公众关于吸烟对口腔健康影响的询问方面的适用性》的研究于 2025 年 7 月 19 日在线发表在《BMC 口腔健康》上。

原文链接：ChatGPT struggles to answer complex questions on tobacco

更多全球牙科新闻，请关注微信公众号：世界牙科论坛