如何在云端服务器运行Jupyter Notebook

垫场演出：如何在ipython Notebook里运行R？（一行命令搞定版）
从去年开始，我抛弃了mathmatica,eviews,matlab之类的商业统计和数学软件，开始拥抱开源数据分析。这一方面是因为工作需要，想掌握一门更通用的编程语言，一方面也因为和所有中国的分析师一样，我用的是盗版的eviews和matlab，因此是完全没有客户支持。为了解决日常问题而花的研究文档和stackoverflow上的工作量，并不比用开源软件更少。而开源的好处是，实在查不到解决方案了，至少我还可以去看源代码，虽然看不看得懂可以再讨论，但 I‘d like to have the option。
大家都知道开源数据分析的两大利器，IPython 和 R。一般来说，IPython从Python发展而来，更倾向于科学计算。互联网数据分析更喜欢用。而R是统计学家发展出的一门语言，在金融、经济和社会科学领域应用更广泛。我更喜欢R的数据解构和与数学相关的syntax，在读完R的入门教程之后，很多时候我都不需要去查文档，猜都能猜到我想用的一些函数名称(lag(),diff())。另一方面，我也喜欢Ipython Notebook的交互方式，在富文本的展示效果和使用体验上，R markdown简直就是个不成熟的玩具，更何况Python还是个更成熟的通用编程语言，除了数据以外，几乎可以和这个世界的一切协议进行通信。之前，我一直是在用Rstudio调试R代码，用Anaconda的IPython Notebook或者spyder调试Python代码，有必要的话再通过Rpy2之类的接口综合起来。
但是8月底，收到了Anaconda的一封邮件：Ipython Notebook升级到40，改名Jupyter。而且，可以开始用conda管理R的程序包了，Anaconda正式支持R！下载安装Anaconda，然后一条命令：
conda create -n my-r-env -c r r-essentials
就可以创建R的虚拟环境，安装由Anaconda维护的R发行版本r-essentials 然后在ipython Notebook里面用R的语法调试、运行R程序！Windows,Linux,OS X全都可用！how cool is that！再见啦，rpy2。
正场：如何在云端运行Jupyter Notebook
成功在ipython里面创建了R的环境之后，我又想尝试之前的一个想法了，部署一个云端的计算服务器。传统行业还没有进入大数据时代，数据量相对较小，绝大部分运算任务都是在我的笔记本上解决。但因为开始用Python了，也开始自己写爬虫、甚至想做自己的云端数据可视化方案(否则怎么向非码农的领导展示花了这么多时间的研究成果？代码？）。当然，rstudio拥有rstudio server版本，也可以在云端运行。但我觉得ipython的界面是一个更漂亮的前端页面，支持markdown功能，可以写入很多注释文档，以便非码农使用。另一方面，ipython支持bokeh,一个html5的数据可视化方案。
google了一阵之后发现，目前网上所有在云端安装ipython notebook的方案都是基于ipython 2x的。而在ipython30之后，原有的配置方法已经不可用，只好自己去研究文档。经过几个小时的试错，终于在云端开始跑起了。
以下是主要步骤，前提是，拥有一个虚拟机，并且有ssh账号登陆。没有的同学可以自己在阿里云之类的服务商处申请，个人推荐”1元免费试用“1个月的微软云。一般这些主机服务商都会提供一个基本的教程，因此从设置主机直到创建账号，ssh登陆都应该不是什么问题。
接下来，下载miniconda，一个科学计算环境管理软件，Anaconda的最小发型版本（假设运行的是64位Linux 虚拟机)：
wget ">参考：知乎
Python 常用的标准库以及第三方库

standard libs:
itertools
functools 学好python有必要掌握上面这两个库吧，
re 正则
subprocess 调用shell命令的神器
pdb 调试
traceback 调试
pprint 漂亮的输出
logging 日志
threading和multiprocessing 多线程
urllib/urllib2/>一、服务器情况简介
11服务器及用户
服务器有三台，分别编号服务器1、2、3
用户名均为intleomn,其中m为服务器编号，n为用户序号，所有intleomn的用户组名为intleom1，所有用户的权限掩码为0002
例如服务器2中的用户为 intleo21, intleo22, intleo23, ··· ， 用户均属于 intleo21组
文件说明
所有共享资源安装在/usr/local/中
所有个人文件（如程序及数据集）请放置于机械硬盘下，不要直接存放于home目录下，机械硬盘一般挂载于/media/D_4TB、/media/E_4TB或/media/D_8TB等文件夹下，再这类文件夹下新建文件夹为名字拼音大写首字母，例如名字：张三，文件请放置于/media/D_4TB/ZS中，有些服务器多硬盘，请根据情况新建
文件的传输，可使用scp方式，或者使用Xftp或者MobaXterm进行传输，MobaXterm的使用可参考
12 cuda
cuda使用版本为cuda-101，安装位置为/usr/local/cuda-101中
13 conda环境
anaconda安装至/usr/local/anaconda3中，文件所属用户组为第一号intleo用户(如服务器2为intleo21)， 权限为775，即用户组成员可读可写可执行
所有已安装环境处于/usr/local/annconda3/envs/下， 如图所示
二、Jetbrains GateWay方式连接
21 下载
此处采用的方式为Jetbrains Client链接服务器内的Jetbrains PyCharm Server，GateWay是21年年底出的远程开发新方式，可以使用两种方式进行连接，一是通过
下载JetBrains Gateway，二是使用2022之后的专业版PyCharm进行连接，教育邮箱申请认证可免费使用专业版
22 配置
连接
方式一：通过GateWay
打开软件，新建ssh连接
然后等待 Retrieving IDE versions…完成，然后选择最新版PyCharm
然后等待完成安装即可，将会安装1 本地的对应版本Jetbrains Client和2 服务器端的Pycharm，
PS:服务器的PyCharm一般不会安装超时，这里若安装超时，可在官网下载好linux版pycharm的tar包，然后点击上图中的Installation options自定义上传下载的tar包进行安装
完成后，下面的任务栏将会出现一个新的应用，点击即可，显示如下，后续使用按照PyCharm使用即可
方式二：通过2022后的专业版Jetbrains系列开发软件，以PyCharm为例
后续 *** 作如方式一一致
23 环境配置
与pycharm一致，待细化
右下角选择解释器
等待库导入成功
运行即可
23 连接管理及附加说明
gateway的方式目前还是beta版，可能会存在一些问题，相信一段时间过后会越来越稳定，如出现问题也可以自己尝试解决
231 关闭或退出
例如，我运行了程序，程序输出如下，
当关闭本地软件时，将会d出如下，选择Close and Stop将直接停止服务器的PyCharm，如运行了程序也将停止，若选择Close and Keep Running将会保持服务器内的PyCharm，正在运行的程序也将继续运行，下次连接时依然可以看到运行信息的打印，我们这里选择Close and Keep Running关闭
另外，如果有程序运行，建议不要选择Close and Keep ，因为很多时候可能无法正常停止应用，如果应用占用了端口或gpu资源，那么可能不会被正常释放，因此如选择Close and Keep，请确保应用已经手动停止了
232 重连
进入GateWay，点击刚才的项目即可重连
重新连接后，下方的Run栏一般都会继续显示之前的运行状态，但是由于不稳定，也会出现Nothing to show现象
如果出现的话，那么点击运行，但不要点stop，点cancel，然后关闭客户端Close and Keep Running，
再重新连接，一般将恢复
附录
公共数据集
存放位置：/media/D_4TB/Shared/Datasets/
软链接至自己的目录
例如将公共目录下的coco数据集，软链接至自己项目内的data/coco目录下，那么就可以在终端中，先cd到自己的项目路径，再执行下面这条命令即可
ln -s /media/D_4TB/Shared/Datasets/coco /data/coco

使用Anaconda更新Python版本的方法和详细的 *** 作步骤如下：

1、首先，直接打开计算机的开始菜单，然后选择“Anaconda Prompt”进入，如下图所示。

2、其次，下一步如果没有问题，请输入图中所示的代码进行确认，如下图所示。

3、接着，此时需要通过“File”，来点击“Settings”跳转，如下图所示。

4、最后，等找到Project Interpreter添加解释器后，就可以使用Anaconda更新Python版本，如下图所示。

Anaconda是用于科学计算的Python发行版，它集成了很多关于Python科学计算的第三方库，同时提供了包管理和环境管理的功能，可方便的解决多版本Python并存、切换以及第三方包安装问题。支持运行在Linux、Windows和macOS下。Anaconda利用命令/工具 conda 来进行Package和environment管理。
conda VS anaconda
conda可以理解为一个工具，也是一个可执行命令，其核心功能是包管理与环境管理。包管理与pip的使用类似，环境管理则允许用户方便地安装不同版本的python并可以快速切换。Anaconda则是一个打包的集合，里面预装好了conda、某个版本的python、众多packages、科学计算工具等等，所以也称为Python的一种发行版。其实还有Miniconda，顾名思义，它只包含最基本的内容——python与conda，以及相关的必须依赖项，对于空间要求严格的用户，Miniconda是一种选择。
Anaconda安装
我主要在CentOS服务器上安装Anaconda，选择要安装的Python版本和系统架构：
# Python 36
$ wget >

介绍

Anaconda是一个开源的包管理器，环境管理器，以及Python和R编程语言的分发。它通常用于大规模数据处理，科学计算和预测分析，为数据科学家，开发人员，业务分析师和在DevOps中工作的人员服务。 Anaconda提供超过720个开源包的集合，并提供免费和付费版本。 Anaconda分发带有conda命令行实用程序。 您可以通过阅读Anaconda文档页面了解有关Anaconda和conda的更多信息 。 本教程将指导您在Ubuntu 1604服务器上安装Anaconda的Python 3版本。

先决条件

在开始本指南之前，您应该有一个非root用户在您的服务器上设置sudo权限。您可以通过完成我们的Ubuntu 1604初始服务器设置指南来学习如何做到这一点。

安装Anaconda

安装Anaconda的最佳方法是下载最新的Anaconda安装程序bash脚本，验证它，然后运行它。 在Anaconda下载页面找到最新版本的Anaconda for Python 3。在写作的时候，最新的版本是420，但你应该使用一个更稳定的版本，如果它可用。 接下来，切换到服务器上的/tmp 。这是一个很好的目录下载临时项目，如Anaconda bash脚本，我们不需要运行它之后。cd /tmp
使用curl下载您从Anaconda网站复制的链接：curl -O Anaconda3-420-Linux-x86_64sh
我们现在可以通过SHA-256校验和通过加密散列验证来验证安装程序的数据完整性。我们将使用sha256sum命令以及脚本的文件名：sha256sum Anaconda3-420-Linux-x86_64sh
您将收到类似于以下内容的输出：Output73b51715a12b6382dd4df3dd1905b531bd6792d4aa7273b2377a0436d45f0e78  Anaconda3-420-Linux-x86_64sh
在64位Linux页面上 ，您应该使用Python 3在Anaconda上检查输出与可用的哈希值，以获取适当的Anaconda版本。 只要你的输出匹配在sha2561行显示的哈希，你就好了。 现在我们可以运行脚本：bash Anaconda3-420-Linux-x86_64sh
您将收到以下输出：OutputWelcome to Anaconda3 420 (by Continuum Analytics, Inc)In order to continue the installation process, please review the license
agreementPlease, press ENTER to continue
按ENTER继续，然后按ENTER读取许可证。读完许可证后，系统会提示您批准许可条款：OutputDo you approve the license terms [yes|no]
只要你同意，输入yes 。 此时，系统将提示您选择安装的位置。您可以按ENTER接受默认位置，或指定其他位置以进行修改。OutputAnaconda3 will now be installed into this location:/home/sammy/anaconda3  - Press ENTER to confirm the location  - Press CTRL-C to abort the installation  - Or specify a different location below[/home/sammy/anaconda3] >>>
安装过程将继续，可能需要一些时间。 完成后，您将收到以下输出：Outputinstallation finishedDo you wish the installer to prepend the Anaconda3 install location
to PATH in your /home/sammy/bashrc [yes|no][no] >>>
键入yes ，以便可以使用conda命令。接下来将看到以下输出：OutputPrepending PATH=/home/sammy/anaconda3/bin to PATH in /home/sammy/bashrc
A backup will be made to: /home/sammy/bashrc-anaconda3bak
为了激活安装，你应该来源~/bashrc文件：source ~/bashrc
一旦你这样做，你可以验证你的安装通过使用conda命令，例如与list ：conda list
您将收到通过Anaconda安装提供的所有软件包的输出：Output# packages in environment at /home/sammy/anaconda3:#_license                  11                      py35_1  
_nb_ext_conf              030                    py35_0  
alabaster                 079                    py35_0  

现在Anaconda已经安装，我们可以继续设置Anaconda环境。

设置Anaconda环境

Anaconda虚拟环境允许您通过所需的Python版本和包来保持项目组织。对于您设置的每个Anaconda环境，您可以指定要使用的Python版本，并可以将所有相关的编程文件保存在该目录中。 首先，我们可以检查以查看哪些版本的Python可供我们使用：conda search "^python$"
您将收到包含您可以定位的不同版本的Python的输出，包括Python 3和Python 2版本。由于我们在本教程中使用Anaconda与Python 3，您将只能访问Python 3版本的软件包。 让我们使用最新版本的Python 3创建一个环境。我们可以通过将版本3分配给python参数来实现。 我们将调用环境my_env ，但是您可能希望为您的环境使用更具描述性的名称，特别是如果您使用环境来访问多个版本的Python。conda create --name my_env python=3
我们将收到输出，包含有关下载内容和要安装的软件包的信息，然后提示您继续执行y或n 。 只要你同意，键入y 。 conda实用程序现在将获取环境的包，并让它知道什么时候完成。 您可以通过键入以下内容激活新环境：source activate my_env
激活您的环境后，您的命令提示符前缀将更改：
在环境中，您可以验证您使用的是您打算使用的Python版本： python --version
OutputPython 360 :: Continuum Analytics, Inc
当您准备好停用Anaconda环境时，可以输入以下命令：source deactivate
请注意，您可以用替换字源实现相同的效果。 要定位更具体的Python版本，您可以将特定版本传递给python参数，如35 ，例如：conda create -n my_env35 python=35
您可以使用以下命令在相应的环境中沿着相同的分支（如在更新Python 351到Python 352中）更新您的Python版本：conda update python
如果你想定位一个更具体的Python版本，你可以把它传递给python参数，如在python=332 。 您可以使用此命令检查所有已设置的环境：conda info --envs
Output# conda environments:#my_env                   /home/sammy/anaconda3/envs/my_env
my_env35                 /home/sammy/anaconda3/envs/my_env35
root                    /home/sammy/anaconda3
星号表示当前活动环境。 使用conda create创建的每个环境都将包含多个默认软件包：

openssl

pip

python

readline

setuptools

sqlite

tk

wheel

xz

zlib

您可以使用以下命令添加其他软件包，例如numpy ：conda install --name my_env35 numpy
如果你知道你想创建一个numpy环境，你可以在conda conda create命令：conda create --name my_env python=3 numpy
如果您不再处理特定项目，并且不再需要相关环境，则可以将其删除。为此，请键入以下内容：conda remove --name my_env35 --all
现在，当您键入conda info --envs命令时，您删除的环境将不再列出。

更新Anaconda

您应该定期确保Anaconda是最新的，以便您使用所有最新的软件包版本。 为此，您应该首先更新conda实用程序：conda update conda
当出现提示时，键入y以继续更新。 一旦conda的更新完成，您可以更新Anaconda分布：conda update anaconda
再次出现提示时，键入y以继续。 这将确保您使用的conda和Anaconda的最新版本。

卸载Anaconda

如果你不再使用Anaconda，并发现你需要卸载它，你应该从anaconda-clean模块，这将删除配置文件，当您卸载Anaconda。conda install anaconda-clean
出现提示时键入y 。 安装后，您可以运行以下命令。在删除每个文件之前，系统将提示您回答y 。 如果不希望提示，请在命令末尾添加--yes ：anaconda-clean
这也将在您的主目录中创建一个名为anaconda_backup的备份文件夹：OutputBackup directory: /home/sammy/anaconda_backup/2017-01-25T191831
现在，您可以通过输入以下命令删除整个Anaconda目录：rm -rf ~/anaconda3
最后，您可以从Anaconda添加的bashrc文件中删除PATH行。为此，首先打开nano：nano ~/bashrc
然后向下滚动到文件的结尾（如果这是最近的安装）或键入CTRL + W搜索Anaconda。删除或注释掉以下行：

/home/sammy/bashrc

# added by Anaconda3 420 installerexport PATH="/home/sammy/anaconda3/bin:$PATH"
完成编辑文件后，请键入CTRL + X退出，然后键入y以保存更改。 Anaconda现在已从您的服务器中删除。

结论

本教程将引导您安装Anaconda，使用conda命令行实用程序，设置环境，更新Anaconda和删除Anaconda（如果

---