机器学习:使用scikit-learn库中的网格搜索调参

机器学习:使用scikit-learn库中的网格搜索调参,第1张

机器学习:使用scikit-learn库中的网格搜索调参

一、scikit-learn库中的网格搜索调参

 

 1)网格搜索的目的:
  • 找到最佳分类器及其参数;

 

 2)网格搜索的步骤:
  1. 得到原始数据
  2. 切分原始数据
  3. 创建/调用机器学习算法对象
  4. 调用并实例化scikit-learn中的网格搜索对象
  5. 对网格搜索的实例对象fit(得到最佳模型及参数)
  6. 预测
  • 以kNN算法为例,Jupyter中运行;

    import numpy as np
    from sklearn import datasets # 得到原始数据
    digits = datasets.load_digits()
    X = digits.data
    y = digits.target # 根据自己编写的函数,对原始数据进行切分
    from ALG.train_test_split import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_train = 0.2, seed = 666) # 1)定义搜索的参数范围
    param_grid = [
    {
    'weights':['uniform'],
    'n_neighbors':[i for i in range(1, 11)]
    },
    {
    'weights':['distance'],
    'n_neighbors':[i for i in range(1, 11)],
    'p':[i for i in range(1, 6)]
    }
    ] # 2)创建一个需要进行网格搜索的机器学习算法对象
    from sklearn.neighbors import KNeighborsClassifier knn_clf = KNeighborsClassifier() # 3)实例化scikit-learn中的网格搜索对象
    from sklearn.model_selection import GridSearchCV # 创GridSearchCV对应的实例对象,一般传入4个参数:
    grid_search = GridSearchCV(knn_clf, param_grid, n_jobs = -1, verbose = 2) # 4)对网格搜索的实例对象fit
    %%time
    grid_search.fit(X_train, y_train) # 5)查看结果
    # 查看网格搜索得到的最佳的分类器对应的参数(为最佳分类器的所有参数)
    grid_search.best_estimator_ # 查看准确度
    # 此处得到的准确度(0.9853963838664812)并没有之前(n_neighbors = 3时)得到的准确度高,因为评判标准改变了
    grid_search.best_score_ # 查看之前定义的网格搜索参数中最优的结果
    grid_search.best_params_
    # 返回:{'n_neighbors': 3, 'p': 3, 'weights': 'distance'} # 获取最佳分类器模型
    knn_clf = grid_search.best_estimator_ # 6)使用最佳分类器进行预测
    knn_clf.score(X_test, y_test)
 3)网格搜索对象的参数
  • grid_search = GridSearchCV(knn_clf, param_grid, n_jobs = -1, verbose = 2)
  • GridSearchCV的逻辑原理,根据定义的超参数范围生成很多模型,选出准确度最高的模型
  1. knn_clf:需要进行网格搜索的分类器对象,或者说是算法本身;
  2. param_grid:定义的网格搜索的参数的范围;
  3. n_jobs:
    作用:确定计算cpu内核的使用数量
    用法:为一个整数,整数是几运算过程中就使用cpu的几个内核
    默认n_jobs = 1,表示使用计算机的一个核进行处理;
    如果计算机的4核,可以让n_job = 2/3/4,使用2/3/4个核同时处理,提高运行效率
    n_jobs = -1,表示计算机有几个核就使用几个核进行运算
  4. verbose:
     作用:确定网格搜索过程中的中间信息,反应网格搜索的搜索状态;
    用法:为一个整数,整数越大,搜索过程中输出的中间信息越详细
    verbose = 0,默认为0,搜索过程中不输出中间信息
    一般verbose = 2,;(老师一般使用2)

二、机器学习的其它超参数

  1. 向量空间余弦相似度(Cosine Similarity)
  2. 调整余弦相似度(Adjusted Cosine Similarity)
  3. 皮尔森相关系数(pearson Correlation Coefficient)
  4. Jacard相似系数(Jaccard Coefficient)

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/587339.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-04-12
下一篇 2022-04-12

发表评论

登录后才能评论

评论列表(0条)

保存