ROC观察模型正确地识别正例的比例与模型错误地把负例数据识别成正例的比例之间的权衡。TPR的增加以FPR的增加为代价。ROC曲线下的面积是模型准确率的度量，AUC（Area under roccurve）。
纵坐标：真正率（True Positive Rate , TPR）或灵敏度（sensitivity）
TPR = TP /（TP + FN） （正样本预测结果数 / 正样本实际数）
横坐标：假正率（False Positive Rate , FPR）
FPR = FP /（FP + TN） （被预测为正的负样本结果数 /负样本实际数）
形式：
该函数返回这三个变量：fpr,tpr,和阈值thresholds
这里理解thresholds:
分类器的一个重要功能“概率输出”，即表示分类器认为某个样本具有多大的概率属于正样本（或负样本）。
“Score”表示每个 测试 样本属于正样本的概率。
接下来，我们从高到低，依次将“Score”值作为阈值threshold，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。每次选取一个不同的threshold，我们就可以得到一组FPR和TPR，即ROC曲线上的一点。当我们将threshold设置为1和0时，分别可以得到ROC曲线上的(0,0)和(1,1)两个点。将这些(FPR,TPR)对连接起来，就得到了ROC曲线。当threshold取值越多，ROC曲线越平滑。其实，我们并不一定要得到每个测试样本是正样本的概率值，只要得到这个分类器对该测试样本的“评分值”即可（评分值并不一定在(0,1)区间）。评分越高，表示分类器越肯定地认为这个测试样本是正样本，而且同时使用各个评分值作为threshold。我认为将评分值转化为概率更易于理解一些。
由于准确率和召回率往往不能兼顾，所以在数据分析的过程中，尤其实际业务中需要兼顾某一方。例如在违规文件封禁场景，为了减少审核人力的成本，需要一些能够自动封禁的模型，这些模型对精确率要求比较高，有可能需要达到99%甚至以上的精确率。所以总结了两种提升召回率的方法：（1）切分数据集：在一个比较大数据集中，由于可能存在无法正确分类的异常点可能会导致精确率无法达标，我想到的一个办法是将大的数据集进行切分（可以采用基尼系数的方式达到最优切分点），这样在更小的数据集中基尼不纯度也更低，更利于提高精确率。这里如果在每个子数据集中引入一个分类模型，效果会更好。
这种方式的一个问题是字数据集的数据量太少的话，每个模型可能会发生过拟合，所以采用这种方式的前提是要保证切分的子数据集个数不能太多，每个数据集的数量不能太少。
（2）调整阈值，这个恐怕是业务上最常用的方式了，也就是把模型的识别分数调高，以牺牲召回率为代价尽量提升精确率，如果是一般的规则，可能就是把某个特征的阈值调高（或调低）。如果是用机器学习的话，也有可以输出具体预测值的函数。
传统的机器学习模型（sklearn）中，分类模型内置的cutoff阈值为0.5，调用predict函数的时候这个值是没法改变的，模型直接输出的是0 或者 1 的预测结果值。其实另外还有一个predict_proba函数，可以输出每一类的具体预测概率值，这样就可以通过if条件将cutoff值进行调整，已达到提升精确率或者扩大召回率的要求。
结果展示
测试集数据（11个特征，归一化后）
预测结果（两列分别是预测结果为0类和1类的概率）
ps： 个人感觉将两种方式结合使用感觉效果更好
决策树（1.10.1）（DecisionTreeClassifier）
参数：
1、criterion : string, optional (default=‘gini’)，衡量一次划分质量的函数。支持的标准是基尼系数“gini”，以及信息增益的熵“ entropy”。
2、splitter : string, optional (default=“best”)，用于在每个节点上选择分割的策略。支持的策略是“best”选择最好的分割和“random”选择最好的随机分割。
3、max_depth : int or None, optional (default=None)，树的最大深度。如果是None，那么节点就会被扩展，直到所有的叶子都是纯的，或者直到所有的叶子包含的样本数都比min_samples_split 少。
4、min_samples_split : int, float, optional (default=2)，分割一个内部节点所需的最小样本数：
1，如果是int，就是min_samples_split
2，如果是float，就是比例，(min_samples_split * n_samples)
5、min_samples_leaf : int, float, optional (default=1)，在叶节点所需要的样本的最小数量：
1，int，最小数量就是min_samples_leaf
2，Float，最小数量就是(min_samples_leaf * n_samples)
6、min_weight_fraction_leaf : float, optional (default=0.)，一个叶子节点所需要的最小权重比例（占所有输入样本的全体权重），当sample_weight不提供时，样本的权重相等。
7、max_features : int, float, string or None, optional (default=None)，在寻找最佳分割时，需要考虑的特征数量。
1，如果是int，每次分割时考虑max_features个特征。
2，如果是float，则max_features是百分比，每次分割时考虑int(max_features * n_features) 个特征。
3，如果是“auto”，max_features=sqrt(n_features)（开平方）。
4，如果是“sqrt”，max_features=sqrt(n_features).
5，如果是“log2”，max_features=log2(n_features).
6，如果是None， max_features=n_features.
8、random_state:int,RandomState instance or None,optional (default= None)，随机数种子。
9、max_leaf_nodes : int or None, optional (default=None)，以最佳优先的方式构建一棵带有max_leaf_nodes个叶节点的树。最好的节点被定义为不纯度的相对减少。如果是None，则不限制叶节点的数量。
10、min_impurity_decrease : float, optional (default=0.)，如果分裂导致的不纯度减少大于等于这个值，那么一个节点将会被分裂。
加权的不纯度减少的公式如下：
N_t / N * (impurity - N_t_R / N_t * right_impurity
- N_t_L / N_t * left_impurity)
N是所有的样本数，N_t是当前节点的样本数，N_t_L是左子树的样本数，N_t_R是右子树的样本数。
如果sample_weight被传值，N, N_t, N_t_R and N_t_L也适用于加权和。
11、min_impurity_split : float,树生长早期停止的阈值，如果一个节点的不纯度高于这个阈值，那么它将会被分裂，否则它就是一个叶子节点。
12、class_weight : dict, list of dicts,“balanced”or None, default= None，权重在{class_label: weight}这种形式上和类别有联系。如果不给出，所有的类别的权重都被赋值1。对于多输出问题，可以按照与y列相同的顺序提供一个字典列表。
注意，多输出（包括多label）权重将会被定义，为了每个类别的每一列在它自己的字典里。
“balanced”模式，利用y值自动调整权重，和输入数据的类别的频率成反比，n_samples / (n_classes * np.bincount(y))。
对于多输出，y的每一列的权重，将会相乘。
注意，如果指定了sample_weight，这些权重将与sample_weight（通过fit方法）相乘。
13、presort : bool, optional (default=False)，是否要对数据进行预分类，以加快在拟合过程中找到最佳分割的结果。对于大型数据集上决策树的默认设置，将其设置为true可能会减慢训练过程。当使用更小的数据集或限制树深度时，这个参数可能会加快训练速度。
属性：
1、classes_ : array of shape = [n_classes] or a list of such arrays，类标签（单输出问题），或者类标签数组（多输出问题）的列表。
2、feature_importances_ : array of shape = [n_features]，特征重要性。值越高，这个特征就越重要。一个特性的重要性被计算为该特性所带来的（标准的）总体衡量准则的减少。它也被称为基尼系数。
3、max_features_ : int,推断出的max_features的值。
4、n_classes_ : int or list，类别的个数（单输出问题），一个列表包含每个输出的类别的个数（多输出问题）。
5、n_features_ : int，执行ffit时的特征数量。
6、n_outputs_ : int，执行fit时的输出数量。
7、tree_ : Tree object，底层的树对象。
方法：
1、apply(X[, check_input])，返回每个样本所预测的叶子的索引。
2、decision_path(X[, check_input])，返回树中的决策路径。
3、fit(X, y[, sample_weight, check_input, …])，拟合。
4、get_params([deep])，得到参数。
5、predict(X[, check_input])，预测。
6、predict_log_proba(X)，预测输入样本X的对数概率。
7、predict_proba(X[, check_input])，预测输入样本X的概率。
8、score(X, y[, sample_weight])，返回给定测试数据和标签的平均精度。
9、set_params(**params)，设置参数。
在调参的时候首先应该先给定一个随机数种子。
1、criterion选择“gini”和“entropy”对正确率会有轻微的影响。
2、splitter选择“best”和“random”对正确率有轻微的影响。
3、max_depth选择None表示不限制，随着数字的增大，正确率会出现先增大，再达到最大值，然后又略微减少，最后保持不变的变化规律。默认值是收敛之后的值。（保持默认）
4、min_samples_split从默认值2，随着值的增加，acc会震荡减少，但是总体来说影响不大。（保持默认）
5、min_samples_leaf默认1，随着值的增加，正确率逐步减小。（保持默认）
6、min_weight_fraction_leaf取值范围[0,0.5]，默认0，随着值的增加，正确率下降。（保持默认）
7、max_feature，首先，现在None，‘log2’，‘sqrt’，‘auto’之中选择一个正确率最高的。如果觉得满意至此就可以了，如果觉得不满意，可以在正确率最高的选项附近再次进行寻找，找到一个更好的。
8、max_leaf_nodes，随着值的增加acc逐渐增加，达到收敛之后acc不再发生变化，None表示不限制，效果最佳。（保持默认）
9、min_impurity_decrease，随着值的增长，acc逐渐减小，默认值0，acc最大。（保持默认）
10、min_impurity_split，随着值的增加正确率逐渐减少。（保持默认）
11、class_weight，None/balanced，可以切换试一下，对acc影响不大。
12、presort，不影响正确率，影响速度。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）