11服务器及用户
服务器有三台,分别编号服务器1、2、3
用户名均为intleomn,其中m为服务器编号,n为用户序号,所有intleomn的用户组名为intleom1,所有用户的权限掩码为0002
例如服务器2中的用户为 intleo21, intleo22, intleo23, ··· , 用户均属于 intleo21组
文件说明
所有共享资源安装在/usr/local/中
所有个人文件(如程序及数据集)请放置于机械硬盘下,不要直接存放于home目录下,机械硬盘一般挂载于/media/D_4TB、/media/E_4TB或/media/D_8TB等文件夹下,再这类文件夹下新建文件夹为名字拼音大写首字母,例如名字:张三,文件请放置于/media/D_4TB/ZS中,有些服务器多硬盘,请根据情况新建
文件的传输,可使用scp方式,或者使用Xftp或者MobaXterm进行传输,MobaXterm的使用可参考
12 cuda
cuda使用版本为cuda-101,安装位置为/usr/local/cuda-101中
13 conda环境
anaconda安装至/usr/local/anaconda3中,文件所属用户组为第一号intleo用户(如服务器2为intleo21), 权限为775,即用户组成员可读可写可执行
所有已安装环境处于/usr/local/annconda3/envs/下, 如图所示
二、Jetbrains GateWay方式连接
21 下载
此处采用的方式为Jetbrains Client链接服务器内的Jetbrains PyCharm Server,GateWay是21年年底出的远程开发新方式,可以使用两种方式进行连接,一是通过
下载JetBrains Gateway,二是使用2022之后的专业版PyCharm进行连接,教育邮箱申请认证可免费使用专业版
22 配置
连接
方式一:通过GateWay
打开软件,新建ssh连接
然后等待 Retrieving IDE versions…完成,然后选择最新版PyCharm
然后等待完成安装即可,将会安装1 本地的对应版本Jetbrains Client和2 服务器端的Pycharm,
PS:服务器的PyCharm一般不会安装超时,这里若安装超时,可在官网下载好linux版pycharm的tar包,然后点击上图中的Installation options自定义上传下载的tar包进行安装
完成后,下面的任务栏将会出现一个新的应用,点击即可,显示如下,后续使用按照PyCharm使用即可
方式二:通过2022后的专业版Jetbrains系列开发软件,以PyCharm为例
后续 *** 作如方式一一致
23 环境配置
与pycharm一致,待细化
右下角选择解释器
等待库导入成功
运行即可
23 连接管理及附加说明
gateway的方式目前还是beta版,可能会存在一些问题,相信一段时间过后会越来越稳定,如出现问题也可以自己尝试解决
231 关闭或退出
例如,我运行了程序,程序输出如下,
当关闭本地软件时,将会d出如下,选择Close and Stop将直接停止服务器的PyCharm,如运行了程序也将停止,若选择Close and Keep Running将会保持服务器内的PyCharm,正在运行的程序也将继续运行,下次连接时依然可以看到运行信息的打印,我们这里选择Close and Keep Running关闭
另外,如果有程序运行,建议不要选择Close and Keep ,因为很多时候可能无法正常停止应用,如果应用占用了端口或gpu资源,那么可能不会被正常释放,因此如选择Close and Keep,请确保应用已经手动停止了
232 重连
进入GateWay,点击刚才的项目即可重连
重新连接后,下方的Run栏一般都会继续显示之前的运行状态,但是由于不稳定,也会出现Nothing to show现象
如果出现的话,那么点击运行,但不要点stop,点cancel,然后关闭客户端Close and Keep Running,
再重新连接,一般将恢复
附录
公共数据集
存放位置:/media/D_4TB/Shared/Datasets/
软链接至自己的目录
例如将公共目录下的coco数据集,软链接至自己项目内的data/coco目录下,那么就可以在终端中,先cd到自己的项目路径,再执行下面这条命令即可
ln -s /media/D_4TB/Shared/Datasets/coco /data/coco1,点击Create New Project
2, 输入项目名、路径、选择python解释器。如果没有出现python解释器,进入步骤3
3,选择python解释器。可以看到,一旦添加了python解释器,pycharm就会扫描出你已经安装的python扩展包,和这些扩展包的最新版本。(估计是pycharm连接了pypi)
4,点击OK之后,就会创建一个空项目,里面包含一个idea的文件夹,用于pycharm管理项目。
在pycharm改完代码后,要切换专门的上传软件或者终端敲命令,才能把代码放到测试服务器去验证,很麻烦。这里分享一个直接在pycharm里快速上传代码到远程服务器的方法。
打开pycharm,选择Tools--Deployment--Configuration
2
d出对话框中点左上角加号
3
输入一个名字,并选择SFTP协议
4
接着在新窗口中输入远程服务器地址、端口号(一般默认22就可以了)、用户名密码等信息。可以点击Test SFTP connection来测试能不能连接
5
切换到Mapping标签,在Deployment path on server 'test'这一栏的最右侧,点击按钮,选择文件上传的目标目录。
之后点击Use this server as default,就可以让这个工程一直默认上传到这个服务器的这个目录,不用多次选择
6
保存设置退出后,在代码视图界面右击鼠标,可以看到Upload to test,用它就可以把代码上传到刚才的服务器了
END
环境配置很麻烦特别是在实验室多个人用的服务器上,说不定哪天你的caffe就不能用了呢(手动狗头),那为了免受其苦就用了docker配置环境我这里ubuntu:1404
1首先安装docker,根据 docker官网 ,先在左边根据需要选择docker版本,推荐docker-ce(因为我只用过ce,蛤蛤蛤),再选择系统,然后照着流程搞就行。
为了避免麻烦或有其他问题最好把自己的用户加入docker 用户组,不然每次都要用sudo:
将 your-user 换成你要用的账户名就行。
2要使用GPU的话还要安装nvidia-docker2,根据 这个 安装。
3之后就可以根据需要pull镜像了,我这里是需要tensorflow,所以直接pull:
可以根据自己的需要search镜像如 docker search tensorflow ,一般选择star最多的,版本可以去 Docker Hub 上根据需要选择。
4如果没有其他需求的话就可以直接食用了,食用方法:
运行之后就会进入创建的容器了,可以运行 nvidia-smi 看能不能正常使用GPU
因为pycharm实在太方便了,所以我就安装了pycharm,如果想要在pycharm里面使用docker容器是要用Professional 版本功能的,有学校邮箱可以去 pycharm官网 注册一下,可以免费用。
1因为pycharm默认使用的是docker而不是nvidia-docker,直接用的话会用不了GPU,显示No such file:libcudaso1,所以我在这个问题上折腾了很久,在 这里 找到了解决方法,大致就是把默认的换成nvidia-docker:打开 /etc/docker/daemonjson ,将里面的内容修改为:
其实就是加了一个 default-runtime 。
之后重启守护进程:
2配置pycharm(我用的20191版本,不同的可能不一样,大致相同):
打开之后File->Settings->Project->Project Interpreter
点击Project Interpreter一栏右边齿轮,选择Add
然后选择Docker,Server应该能直接连上,在Image name一栏就能看到你pull的镜像,选择之后点击OK
等待一会,能看到镜像里面安装过的环境,直接点击OK就行,等待最下面进度条走完就可以直接使用镜像里的环境了。
中间过程折腾了很久,本来以为很简单,但是中间出了几次问题,装完之后就方便很多了,很多环境问题就再也不用发愁了。我去继续了。。。
默认使用opencv-python ==45148,在xshell中执行的时候会提示上面的错误,如果将opencv-python== 41230降级,则执行的时候会出现cannot connect to X server的错误。而若在MobaXterm执行,这可正常显示。
结论:出现上面错误的根本原因不是Linux端的问题,因为MobaXterm可以正常显示。
探索发现,如下图所示,Linux会将数据发送给Windows机器上的一个X Server,然后X Server将窗口渲染出来,从而实现通过console显示窗口的效果。
那这里的X Server是如何启动的呢?实际上在使用MobaXterm或者XShell(安装了Xmanager,否则不会启动)启动一个console窗口时,该工具会自动启动一个X Server服务,因此可以显示图像窗口。
结论:XShell未集成X Server,X Server集成在Xmanager中,因此只有安装了X Manger才能不出现上述的错误。MobaXterm默认集成了X Server,启动一个窗口时,会启动一个X Server,因此可以直接显示窗口。
按照上面的逻辑,如果让Pycharm中能显示图像窗口,则必须先启动一个X Server,如下图所示。
基于此,① 先使用MobaXterm启动一个会话窗口,这样后台就默认启动一个X Serve服务。在会话窗口中输入 echo $DISPLAY ,查看display number,如下图所示。
② 在Pycharm中修改要执行脚本的配置,Run->Edit,打开Edit Configuration settingsPycharm,在环境变量中添加 DISPLAY=localhost:170 ,如下图所示,
③ 然后Run脚本即可显示窗口,如下图所示。
注意显示的窗口中有MobaXterm的Logo,说明用了MobaXterm的X Serve。
PS: 本文实验用的Pycharm配置了Linux远程执行,通过ssh使用远端机器的python解释器。
1 功能不同:Xshell 主要是用于远程连接和管理服务器终端,支持 SSH、Telnet、SFTP、FTP 等协议,可以通过命令行 *** 作服务器;而 PyCharm 则是面向 Python 开发者,提供了代码编辑、调试、版本控制等功能,可以帮助开发者快速编写 Python 代码。
2 使用场景不同:Xshell 主要是针对系统运维人员和网络管理员,用于远程管理服务器;而 PyCharm 则是专为 Python 开发者设计的,用于 Python 代码的编写和调试。
3 编辑器不同:Xshell 并不是一个代码编辑器,它只提供了命令行界面;而 PyCharm 则是一款功能强大的代码编辑器和 IDE,提供了代码补全、语法检查、重构等功能。
综上,Xshell 和 PyCharm 是不同类型的工具,适用于不同的使用场景。可能是你的IE设置有问题,你点360浏览器的工具,IE选项,点“连接“选项卡,先点下面的”局域网设置“,看下,"代理服务器”下面有没有勾选,如果勾选了,请取消,然后把上面的“自动配置”勾选成“自动检测设置”或者都不选,确定,然后,在点”连接:,中的“设置“在”自动配置“中按上面的方法设置确定看下!
如果还有问题,可以使用360安全卫士或者360系统急救箱对系统进行修复!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)