学习资料来源:

KNN

不需要训练。找最近的k个点。

k=1就是找最近的一个。

点与点间距离选择 欧氏距离。

​ 还有很多测距方法。要都了解!

sklearn.neighbors模块 重要参数

  1. n_neighbors 就是k的值
  2. Weights 权重 如果不设权重

决策树

KNN分类无法给出数据的内在含义。

决策树的主要优势就在于数据形式非常容易理解。

优点:计算复杂度不高。输出结果易于理解。对中间值缺失不敏感。可以处理不相关特征数据。

缺点:可能会产生过度匹配问题。

使用数据类型:数值型和标称型

种类

  • ID3

    信息熵作为分裂准则(分裂条件的顺序)

  • C4.5

  • CART