f(x) = $w^T(\mathbf{x})$ + b

• $w^T$ 直观为x向量加权 表示重要性
• 线性回归
  • 均方误差最小化
  • 最小二乘法
  • 多元线性回归
  • 对数线性回归
• 对数几率回归
  • 单位阶跃函数
  • 对数几率函数
• 线性判别分析(LDA)
  • 同类投影点尽可能近,异类尽可能远
  • 两类数据同先验,满足高斯分布且协方差相等时, LDA可达到最优分类

• 多分类学习

  • 拆解法 化为若干个二分类任务求解

  • OvO OvR MvM

  • ECOC

• 类别不平衡问题
  • 训练中不同类别训练样例差别很大
  • 预测几率 > 观测几率
  • 再缩放, 欠采样, 过采样