近期，Jones和Bergen进行了一项关于GPT-4在图灵测试中的研究，结果显示其成功率超过41%。
这一数字相比于传统的人工智能模型，如ELIZA的27%和GPT-3.5的14%，表现出明显的优势。研究设计了25个不同的语言模型，涵盖了各种GPT的版本，其中包括GPT-4。这些模型使用类似于手机消息应用的界面，并在拼写错误、大小写、延迟等方面引入了小的随机变化。
图灵测试是通过与人类进行对话，然后判断对方是人类还是人工智能的测试。与原始的图灵测试不同，这项研究的测试设计更简化，要求参与者在最多5分钟的时间内进行对话，每条消息不超过300字符。共有652名人类参与者完成了1810次测试。
1950年，艾伦·图灵曾预测，到了他认为的未来50年，计算机将具备足够的存储能力，以70%的概率“欺骗”人类。然而，研究表明，即使到了现在，GPT-4等模型也未达到这一水平，最高成功率仅为41%。
图源备注：图片由AI生成，图片授权服务商Midjourney
有趣的是，研究指出GPT-4是付费版本，而GPT-3.5则是免费版本。这表明，付费版本在测试中表现更好，凸显了技术进步对结果质量的影响。
人工智能在图灵测试中取得的进展令人印象深刻，但与人类63%的成功率相比，仍有改进的空间。这一研究进一步探讨了人工智能的发展趋势，揭示了技术的潜在局限性。
