这一代大语言模型从原理上就不可能擅长讲笑话。那是因为笑话要想好笑,关键在于“情理之中,意料之外”。
大语言模型因为其“采样最符合训练数据概率分布的下一个词元”的原理,从根本上就无法真正实现“意料之外”。即使加高 temperature,也只是从“最符合概率分布”变成“比较符合概率分布”而已。
偶尔可能会有模型能说一两个有趣的笑话,但那也非常有可能来自于训练数据中其它笑话的背诵及再加工。
现在的预训练仍然是以“降低 perplexity”,即“不输出意料之外的结果”为根基的。这个观点也能解释为什么现在 AI 在文学、美术、音乐创作和 UI/UX 设计上平庸、俗气、千人一面。
如果未来能有办法让机器在训练时独立判定“情理之中”和“意料之外”两个 metric,也许 AI 的幽默感会有新的突破。
也许届时我们能见到会讲笑话的 AI,但至少在这几年,人类大概仍然能坚守幽默感的阵地。