Math Analysis

经验误差与过拟合

若能通过最小经验误差避免过拟合,那么P == NP

• 过拟合不可避免
• 通过泛化误差进行模型选择
• 通过测试集得到的测试误差,作为泛化误差的近似
  • 同样从真实样本中取得
  • 与训练集互斥
    • 留出法
      • (划分保持一致性,分层抽样)
      • 随机多次试验得到实验评估
    • 交叉验证法
      • 对每个子集保持一致性(分层)
      • k折交叉验证
      • 留一法
    • 自助法(避免因数据规模导致的误差)
      • 自助采样法为基础
      • 包外估计
• 调参与最终模型 (步长)

性能度量

• 均方误差
• 错误率与精度
• 曲线图
  • 查准率, 查全率
    • PR图
      • 平衡点
      • “包住”则更优
      • F1度量(调和平均), Fβ度量(加权调和平均)
  • ROC曲线
    • TPR(真正) FPR(假正)
    • AUC曲线
  • 代价错误敏感率和代价曲线
• 比较检验
  • 假设检验 二项检验 t检验
  • 交叉验证t检验
  • McNemar(卡方)检验
  • Fridman(算法性能)检验 检验是否相同
  • Nemenyi后续检验
• 偏差 - 方差分解