用户问题已经揭晓了汤底这种情况的prompt

[baoblei]

我在作者的“汤很热”网站体验了几轮游戏，请问可以分享 用户问题已经揭晓了汤底这种情况的prompt或者其他的实现方式吗？

[mazzzystar]

我没有理解你的意思，可以详细说说吗？

[baoblei]

比如“海龟汤的故事”这个汤面，提问：他是因为他老婆的死吗？给出的结果是”猜对了“，这与benchmark中的三种回复结果都不一致，想问一下具体的处理策略是什么

[mazzzystar]

因为这是游戏，所以额外增加了一个状态，汤底中最重要的线索会被作为判定是否猜对的依据。

例如，“他把老婆的肉误以为是海龟肉”是这一题最重要的线索，理想情况下，游戏中LLM会首先判定用户是在“猜测”还是在“提问”，假如在猜测，则判定这个猜测是否命中关键线索，命中则“猜对了”。在在benchmark中，我们只使用了用户的“提问”，而过滤掉了猜测。

你的case中，LLM没有遵循「先判断猜测还是提问」这个指令，并且认为“他是因为他老婆的死吗？”命中了汤底，所以才会返回“猜对了”。