LLM evaluation

面对开放型文档结果，如何评估大模型的输出

1. DSPy 中的指标

   • dspy/dspy/evaluate/metrics.py at main · stanfordnlp/dspy · GitHub
   • dspy/dspy/evaluate/auto_evaluation.py at main · stanfordnlp/dspy · GitHub

2. G-Eval

   • 基于大模型，生成打分标准，自动打分

   • 优势：

     无需参考答案，适合新任务或创意场景；
     可解释性强，自动输出打分理由；
     与人类评判一致性高，支持细粒度归一化。
     

     • ref:

       • 点击链接查看和 Kimi 的对话 https://www.kimi.com/share/19b88315-e4b2-8d20-8000-000058d7827d

• deepeval

  • DeepEval - The Open-Source LLM Evaluation Framework

参考：

• Prompt Optimization with DSPy and G-Eval Metrics | by Alberto Romero | Medium