实验室集群的使用，远程跑代码（配Anaconda虚拟环境、PyCharm远程解释器等），一站式教学

文章目录

• 使用集群
• • 集群架构
  • 用MobaXterm登录数据中心和计算节点
  • • ssh跳板机（数据中心）
    • ssh计算节点
  • 用命令行ssh到数据中心和计算节点
  • • ssh跳板机（数据中心）
    • ssh计算节点
  • 不同集群间传数据
• 远程跑代码
• • 使用tmux hold on窗口
  • 配Anaconda虚拟环境
  • 配PyCharm远程解释器
  • 用PyCharm远程debug
  • 本地浏览器远程访问服务器tensorboard(MobaXterm)

使用集群 集群架构

PC -------- 跳板机（数据中心） ---- 内网 ---- 计算节点
数据中心中的个人目录会挂载到计算节点的目录下
在数据中心存放自己的环境和代码
在计算节点跑实验

用MobaXterm登录数据中心和计算节点

新建session

ssh跳板机（数据中心）

填写这些即可连上

ssh计算节点

要ssh内网的计算节点必须通过跳板机


就ok了

用命令行ssh到数据中心和计算节点

参考

ssh -p [端口号] [用户名]@数据中心/计算节点IP

ssh跳板机（数据中心）

ssh -p 跳板机登录端口号 username@跳板机ip

ssh计算节点

ssh -o StrictHostKeyChecking=no 服务器ip

不同集群间传数据

数据集在集群A，代码在集群B
情景1：集群A通过路由器C的c端口访问
在代码所在的集群B的数据中心输入：

scp -P [c_port] -r [B_dir] [username]@[C_ip]:[remote_dir]

-P（大写）：指定数据传输的端口
-r： 指定递归传输文件夹（传递单个文件不需要）
[]: 没用的东西，让大家看得清楚，使用命令的时候删了
更多选项参考：https://blog.csdn.net/yyfgw/article/details/120835774

情景2：集群A通过跳板机路由器C的c端口访问
在代码所在的集群B的数据中心输入：（没验证过，摘录别人博客里的）

scp -P endpoint_server_port -o 'ProxyJump user1@jump_server_ip_or_name -p port' file.txt user2@endpoint_server_ip_or_name:~

可参考博客：
https://www.cnblogs.com/zhangyjblogs/p/15236883.html
https://blog.csdn.net/whatday/article/details/105953406

远程跑代码 使用tmux hold on窗口

http://www.ruanyifeng.com/blog/2019/10/tmux.html

配Anaconda虚拟环境

配在数据中心，数据中心的目录会挂载到计算节点
看这篇：在服务器上配置Anaconda以及简单使用
配完数据中心，source activate env在计算节点上依旧是不能生效的，

所以计算节点那里也要把conda写进环境变量一下，因为没有root权限，用export的方式：

export PATH="/$HOME/anaconda3/bin:$PATH"
export PATH="$PATH:$HOME/anaconda/bin"

配好了就可以source activate了。

配PyCharm远程解释器 用PyCharm远程debug

指定使用的显卡：

本地浏览器远程访问服务器tensorboard(MobaXterm)

参考：https://blog.csdn.net/z13653662052/article/details/98761242?utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_title~default-0.pc_relevant_default&spm=1001.2101.3001.4242.1&utm_relevant_index=2

1. 在mobaxterm的tunnel中设置
   
2. start the tunnel
   
   （剩下没经过验证，因为自己这次也没成功看到，防火墙关了都不行
3. 命令行指定端口：tensorboard --logdir=/home/yuhan/projects/DDAS_code/logs/1/test/ --port=6006，注意这个port是指定server发送的端口
4. 在localhost:6007查看自己的