论文:GPT Self-Supervision for a Better Data Annotator

参考:

流程分析

  • one shot tuning

    • 找到最优 template (template_input_i, template_summary_i)
    • input data –> summary –> recover data
    • feedback values ?

      • similar alignment
    • instruction, template, support data {w, t, x}.

      • w: instruction
      • t: template

        • 样本
        • 样本 summary
      • x: input data
    • siF(xi|ti,wg,θ) 生成 summary 过程

      • θ: 模型参数
      • s_i: 生成的 summary
    • x^iF(si|ti,wr,θ) 生成 recover data 过程

      • $\hat{x}_i$: recover data
    • 相似度计算

      • $sim(\hat{x}_i, x_i)$
    • 数据集

      • support set
      • valid set

        • 在 valid set 上获得 template 的 $sim(\hat{x}_i, x_i)$ 平均值
  • summary generation