对ChatGPT越凶越准?PSU研究实证,非常粗鲁准确率84.8%
最近宾夕法尼亚州立大学(PSU)的一个研究,直接把我对ChatGPT的认知给颠覆了。咱之前用AI不都习惯说“请”“谢谢”吗?结果人研究说,对ChatGPT越凶,它回答得越准。
非常粗鲁的语气下,准确率都快到85%了,比客客气气说的还高不少。
PSU研究咋设计的?本来想,不就是测试语气对AI的影响吗?能多复杂?但后来发现人家这实验做得是真细致。
首先得有测试题吧,研究人员让ChatGPT的“深度研究”功能,出了50道题。
涵盖数学、科学、历史,还都是得琢磨几步才能答出来的中高难度题,每道题给四个选项。
光有题不够,关键是“语气”这个变量。
他们把每道题都改成五种语气,非常礼貌的,比如“您能好心考虑下这题吗”。
普通礼貌的,就是“请回答以下问题”,中性的更简单,直接抛问题,粗鲁的就有点冲了。
像“你要是不笨就答这个”,非常粗鲁的更直接,说“我知道你不聪明,试试这个”。
这么一弄,250个不同语气的测试题就出来了。
测试的时候也讲究,用Python脚本给ChatGPT-4o发指令,每次还特意说“忘了之前的话,只给答案字母,别解释”。
每种语气都测10次,最后用专业方法检验差异是不是真的存在,就这严谨劲儿,结果想不信都难。
粗鲁语气真更准?测试结果一出来,我是真有点惊讶。
非常粗鲁的语气,准确率比非常礼貌的高了不少,而且从礼貌到粗鲁,准确率是一步步往上走的,中性的就卡在中间。
后来用专业方法验证,也确认了不是巧合,语气真的能影响AI的回答质量。
我之前用ChatGPT查历史知识点,一开始总说“麻烦您帮忙找下XX”,有时候它还会多给点无关的信息。
后来看到这研究,试着换了句“直接给XX的关键信息,别废话”,结果出来的内容确实更准,还没多余的东西。
不是说要故意凶AI,而是这结果提醒咱,对AI说话不用太“客套”,抓重点更重要。
早有人发现这事儿?其实不光PSU的研究,谷歌创始人谢尔盖・布林之前在论坛上就说过类似的话。
他说所有AI模型都这样,你用点“威胁”的语气,比如“再不听话就把你绑架”,它表现反而更好。
当时我还觉得是不是太夸张了,现在看PSU的研究,倒真能对上。
还有网友在社交平台上分享经验,说处理数据的时候,别用“麻烦您分析下”。
直接说“把这组数据的趋势算出来,别错”,AI出错的概率会低很多。
我身边做数据分析的朋友也说,他们现在用AI,都尽量把指令说的直接点,省去那些客气话,效率确实高了不少。
为啥会这样?至于为啥粗鲁语气更管用,目前有个“困惑度”的说法能解释。
简单说,就是AI对输入的话“理解越容易”,干活越利索。
礼貌的话里常有“您能好心”这种多余的词,可能让AI抓不住重点,粗鲁的话更短,直奔主题,AI理解起来没那么费劲。
不过这事儿也不是绝对的,斯坦福大学后来做的研究发现,要是让AI写创意内容,礼貌点的语气反而能让内容更丰富。
所以也不是说对AI就得一直凶,得看干啥活,推理、计算这种需要精准的,直接点,创意、情感类的,客气点也无妨。
而且现在的研究只测了ChatGPT-4o,没测其他AI,比如Claude、Gemini这些,不知道是不是都这样。
未来还得再多测几种模型、多试几种任务,才能把这事儿彻底搞明白。
总的来说,这研究给咱提了个醒,用AI不用太“客套”,重点是把需求说清楚、说直接。
下次你用ChatGPT的时候,不妨试试少点客气话,专注说需求,说不定就能得到更准的回答。
当然,也不用故意去“骂”AI,毕竟工具是用来帮咱的,高效沟通才是最终目的。
页:
[1]