scikit-learn cross_val_predict准确性得分如何计算？

scikit-learn cross_val_predict准确性得分如何计算？

不，不是的！

根据交叉验证文档页面，

cross_val_predict

不返回任何分数，而仅返回基于某种策略的标签，如下所述：

函数cross_val_predict具有与cross_val_score类似的接口，
但是对于输入中的每个元素，返回该元素在测试集中时获得的预测 。只能使用将所有元素完全一次分配给测试集的交叉验证策略（否则会引发异常）。

因此，通过致电，

accuracy_score(labels, ypred)

您只需要计算 与真实标签相比
由上述特定策略预测的标签的准确性得分 即可。再次在同一文档页面中指定：

然后，这些预测可用于评估分类器：

predicted = cross_val_predict(clf, iris.data, iris.target, cv=10)metrics.accuracy_score(iris.target, predicted)

请注意，由于以不同的方式对元素进行分组，因此此计算的结果可能与使用cross_val_score获得的结果略有不同。

如果您需要不同倍数的准确性得分，则应该尝试：

>>> scores = cross_val_score(clf, X, y, cv=cv)>>> scores  array([ 0.96...,  1.  ...,  0.96...,  0.96...,  1.        ])

然后对于所有折痕的平均准确度，请使用

scores.mean()

：

>>> print("Accuracy: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2))Accuracy: 0.98 (+/- 0.03)

---

如何计算每折的科恩卡伯系数和混淆矩阵？

对于计算

Cohen Kappa coefficient

和混淆矩阵，我假设您的意思是真实标签与每个折痕的预测标签之间的kappa系数和混淆矩阵：

from sklearn.model_selection import KFoldfrom sklearn.svm.classes import SVCfrom sklearn.metrics.classification import cohen_kappa_scorefrom sklearn.metrics import confusion_matrixcv = KFold(len(labels), n_folds=20)clf = SVC()for train_index, test_index in cv.split(X):    clf.fit(X[train_index], labels[train_index])    ypred = clf.predict(X[test_index])    kappa_score = cohen_kappa_score(labels[test_index], ypred)    confusion_matrix = confusion_matrix(labels[test_index], ypred)

---

什么

cross_val_predict

回报？

它使用KFold将数据拆分为多个

k

部分，然后进行

i=1..k

迭代：

• 取

  i'th

  部分作为测试数据和其他所有部分作为训练数据
• 使用训练数据训练模型（除以外的所有部分

  i'th

  ）
• 然后通过使用经过训练的模型，预测

  i'th

  零件的标签（测试数据）

在每次迭代中，

i'th

将预测部分数据的标签。最后，cross_val_predict合并所有部分预测的标签，并将它们作为最终结果返回。

此代码逐步显示了此过程：

X = np.array([[0], [1], [2], [3], [4], [5]])labels = np.array(['a', 'a', 'a', 'b', 'b', 'b'])cv = KFold(len(labels), n_folds=3)clf = SVC()ypred_all = np.chararray((labels.shape))i = 1for train_index, test_index in cv.split(X):    print("iteration", i, ":")    print("train indices:", train_index)    print("train data:", X[train_index])    print("test indices:", test_index)    print("test data:", X[test_index])    clf.fit(X[train_index], labels[train_index])    ypred = clf.predict(X[test_index])    print("predicted labels for data of indices", test_index, "are:", ypred)    ypred_all[test_index] = ypred    print("merged predicted labels:", ypred_all)    i = i+1    print("=====================================")y_cross_val_predict = cross_val_predict(clf, X, labels, cv=cv)print("predicted labels by cross_val_predict:", y_cross_val_predict)

结果是：

iteration 1 :train indices: [2 3 4 5]train data: [[2] [3] [4] [5]]test indices: [0 1]test data: [[0] [1]]predicted labels for data of indices [0 1] are: ['b' 'b']merged predicted labels: ['b' 'b' '' '' '' '']=====================================iteration 2 :train indices: [0 1 4 5]train data: [[0] [1] [4] [5]]test indices: [2 3]test data: [[2] [3]]predicted labels for data of indices [2 3] are: ['a' 'b']merged predicted labels: ['b' 'b' 'a' 'b' '' '']=====================================iteration 3 :train indices: [0 1 2 3]train data: [[0] [1] [2] [3]]test indices: [4 5]test data: [[4] [5]]predicted labels for data of indices [4 5] are: ['a' 'a']merged predicted labels: ['b' 'b' 'a' 'b' 'a' 'a']=====================================predicted labels by cross_val_predict: ['b' 'b' 'a' 'b' 'a' 'a']