网站首页 全球最实用的IT互联网站!

人工智能P2P分享Wind搜索发布信息网站地图标签大全

当前位置:诺佳网 > AI人工智能 > 大模型 >

让 LLM 来评判 | 技巧与提示

时间:2025-04-09 16:01

人气:

作者:admin

标签:

导读:这是 让 LLM 来评判 系列文章的第六篇,敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 LLM 评估模型已知偏差及...

这是 让 LLM 来评判 系列文章的第六篇,敬请关注系列文章:

LLM 评估模型已知偏差及缓解措施:

  • 缺乏内部一致性:同一 prompt 输入评估模型执行多次得到的结果可能不一样 (如果温度参数不设为 0)。
    • 缓解措施:遵循 “自我一致性 (self-consistency)” 设置 prompt,输入模型执行多次并保留多数结果
  • 自我偏好:LLM 评估模型更 偏好自己的输出模式,因此会对模式相似的结果评分偏高。
    • 缓解措施:采用陪审团机制
  • 输入扰动不敏感:评估模型对 扰动输入 的辨识效果较差,难以提供一致的评分范围 (更多实验结果可以参考 这个链接)。例如对于施加了相同程度噪声的文本,使用评估模型评估文本质量的评分无法反映噪声的程度。
    • 缓解措施:
      • 要求模型先输出详细的推理过程 再输出评分
      • 在 prompt 中添加一致的评分标准
  • 位置偏差:评估模型更 偏好特定位置的答案。例如在成对比较时,Claude 和 GPT3.5 在多次测试中通常会偏好某一个位置,例如第一个或第二个答案。
    • 缓解措施:
      • 随机调整答案位置
      • 计算所有选项的对数概率并归一化
  • 冗长偏好 (长度偏差):评估模型更偏好冗长的答案。
  • 难以对齐人类答案:
  • 格式偏差:如果输入模型的 prompt 格式与其训练数据的格式 相差甚远,可能导致模型的评估结果不准确。例如,成对比较模型的训练集数据格式中提供了参考答案,如果在评估时没有给定参考答案或者给定的参考答案格式有误,那么评估结果就不可信。
    • 缓解措施:仔细遵循评估模型训练集 prompt 格式 (比如指令微调模型的格式)。

选择合适的 LLM 评估任务

LLM 评估特性:


英文原文: evaluation-guidebook/contents/model-as-a-judge/tips-and-tricks.md

原文作者: clefourrier

译者: SuSung-boy

审校: adeenayakup

温馨提示:以上内容整理于网络,仅供参考,如果对您有帮助,留下您的阅读感言吧!
相关阅读
本类排行
相关标签
本类推荐

CPU | 内存 | 硬盘 | 显卡 | 显示器 | 主板 | 电源 | 键鼠 | 网站地图

Copyright © 2025-2035 诺佳网 版权所有 备案号:赣ICP备2025066733号
本站资料均来源互联网收集整理,作品版权归作者所有,如果侵犯了您的版权,请跟我们联系。

关注微信