据 IT 之家 1 月 15 日报道，谷歌研究院日前使用自家 BIG-Bench 基准测试建立了一项“BIG-Bench Mistake”数据集，并利用相关数据集对市面上流行的语言模型“出错概率”及“纠错能力”进行了一系列评估研究。 谷歌研究人员表示，由于过去没有能够评估大语言模型“出错概率”及“自我纠错能力”的数据集，因此他们创建了一项名为“BIG-Bench Mistake”的专用基准数据集用于评估测试。 据悉，研究人员首先使用 PaLM 语言模型在自家 BIG-Bench 基准测试任务中运行了 5 项任务，之后将生成的“思维链（Chain-of-Thought）”轨迹修改加入“逻辑错误”部分，之后重新丢给模型判断思维链轨迹中哪些地方存在错误。谷歌研究人员声称，这一 BIG-Bench Mistake 数据集有利于改善模型自我纠错能力，经过相关测试任务微调后的模型，“即便是小型模型表现也通常比零样本提示的大模型更好”。