机器学习环境的搭建

机器学习环境的搭建 Windows + Python3

Python3下载地址

python 环境设置

1. 安装
   尽量安装在自定义目录下,方便查找,其他选项都用默认值就行.
   安装成功后, cmd里输入python校验.

2. 下载用于机器学习的虚拟环境的包

   > python -m pip virtualenv
   

3. 初始化虚拟环境

   #进入到自定义要保存环境的位置
   > cd xxxxxx  
   # .venv是新创建的用于存放机器学习必要包的文件夹, 名字可以随意起,通常都使用.venv
   > virtualenv .venv 
   

4. 激活虚拟环境

   > cd .venv\Scripts
   >activate.bat
   	# 当出现(.venv) 的时候说明环境已经激活
   	>>> (.venv) XXXXXXXX
   
   # 再一次确认pip是否为虚拟环境中的pip
   > pip list
   

   注意:含有[virtualenv]的列表,说明当前pip不是虚拟环境中的pip
   此时需要进入到[.venv\Scripts]下,用这里的pip去执行之后的步骤.
   

5. 安装机器学习用包

   # 下面这些只是常用的包,如果有新的包需要安装,按照此方法 pip install xxxx 安装就可.
   # 包在安装的过程中会有依赖包的下载安装,所以实际安装的内容会比指定内容多
   > pip install numpy, scipy, pandas, matplotlib, IPython, sklearn, mglearn
   
   > pip list
   Package           Version
   ----------------- -------
   asttokens         2.0.5
   autopep8          1.6.0
   backcall          0.2.0
   colorama          0.4.4
   cycler            0.11.0
   decorator         5.1.1
   executing         0.8.3
   fonttools         4.33.3
   imageio           2.19.1
   ipython           8.3.0
   jedi              0.18.1
   joblib            1.1.0
   kiwisolver        1.4.2
   matplotlib        3.5.2
   matplotlib-inline 0.1.3
   mglearn           0.1.9
   numpy             1.22.3
   packaging         21.3
   pandas            1.4.2
   parso             0.8.3
   pickleshare       0.7.5
   Pillow            9.1.0
   pip               22.0.4
   prompt-toolkit    3.0.29
   pure-eval         0.2.2
   pycodestyle       2.8.0
   Pygments          2.12.0
   pyparsing         3.0.9
   python-dateutil   2.8.2
   pytz              2022.1
   scikit-learn      1.0.2
   scipy             1.8.0
   setuptools        62.2.0
   six               1.16.0
   sklearn           0.0
   stack-data        0.2.0
   threadpoolctl     3.1.0
   toml              0.10.2
   traitlets         5.2.0
   wcwidth           0.2.5
   wheel             0.37.1
   

常见问题的解决方法

• 问题1: pip install xxx 报错: ValueError: Unable to find resource t64.exe in package xxxx
  解决方法:

  > python -m pip uninstall pip
  > python -m ensurepip
  > python -m pip install -U pip
  

  注意事项:

  # 从执行结果来看,虽然已经启用了虚拟环境,但是pip引用的还是初始安装python中的pip
  (.venv) PS D:\001_Work\002_DevelopSource\Python_Project\python_numpy> pip list
  Package                   Version
  ------------------------- -------
  pip                       22.0.4
  pyinstaller               5.0.1
  pyinstaller-hooks-contrib 2022.4
  setuptools                62.2.0
  six                       1.16.0
  virtualenv                20.14.1
  wheel                     0.37.1
  (.venv) PS D:\001_Work\002_DevelopSource\Python_Project\python_numpy>
  
  # 正确做法 通过虚拟环境中的python来启用pip,
  # 因此,如果再想安装包的话,需要使用  [python -m pip install xxxxx]命令
  (.venv) PS D:\001_Work\002_DevelopSource\Python_Project\python_numpy> python -m pip list
  Package           Version
  ----------------- -------
  asttokens         2.0.5
  autopep8          1.6.0
  backcall          0.2.0
  colorama          0.4.4
  cycler            0.11.0
  decorator         5.1.1
  executing         0.8.3
  fonttools         4.33.3
  imageio           2.19.1
  ipython           8.3.0
  jedi              0.18.1
  joblib            1.1.0
  ....
  ....
  
  

• 问题2: 不小心污染了原始python环境,如何还原
  解决方法:

  1. 新建命令行窗口
  2. 导出已安装的所有包

     > python -m pip freeze > pkg_lst
     

  3. 编辑pkg_list 删除里面需要保留的包
  4. 批量删除包

     > python -m pip uninstall -r pkg_lst-y
     

以上.