使用PBS作业调度系统提交python脚本以及python调用R的方法

使用PBS作业调度系统提交python脚本以及python调用R的方法,第1张

首先说下 如何指定各种脚本的工作路径(shell, python, R)

下面 举例说明如何提交pythonCodePath/job.py (job.py里面还调用了)

两点注意

① pwd 通过 -d workDirPython 指明

last.py是一个空脚本,用于处理python脚本在shell里没有执行的情况! (由于最后一句python脚本不被执行)

在python脚本中读取命令行参数也很简单

你可以指明任意多的参数

在R脚本里通过接受命令行参数得到运行环境

#如何在linux下创建一个可运行shell脚本

#新建一个.sh文件

touch cellranger.count.sh

#编辑test.sh文件

vi test.sh

#键入i,输入内容#!/bin/sh必须放在第一行然后键入esc键,输入:wq保存退出

#给test.sh赋予可执行权限

chmod +x test.sh 

#执行脚本

sh test.sh 

PBS 脚本格式 :PBS脚本为.pbs文件,将提交任务的命令写在PBS脚本中提交,PBS脚本由抬头的任务详情和具体命令组成:

抬头任务详情格式:

#PBS -N myjob

#PBS -o /home/jz/my.out

#PBS -e /home/jz/my.err

#PBS –l nodes=2:ppn=1

#########################创建自己的

这里的#不是注释的意思

#PBS -N cellranger.f

#PBS -o /home/yifan/project/LJ.22.02.sc/cellranger/my.out

#PBS -e /home/yifan/project/LJ.22.02.sc/cellranger/my.err

#PBS –l nodes=2:ppn=1

cd /home/yifan/project/LJ.22.02.sc

for id in KOAC KONC WTAC WTNC

do

/home/yifan/software/cellranger-6.1.2/cellranger count --localcores=40 --localmem=120 --id=${id}2 --transcriptome=/home/yifan/data/ref/cellranger.mm10/refdata-gex-mm10-2020-A --nosecondary --fastqs=/home/yifan/project/LJ.22.02.sc --sample=${id}

done

一般格式:qsub + 脚本名称,

如:qsub myname.pbs

cd /home/yifan/project/LJ.22.02.sc

qsub cellranger.count.sh

65690.mu01  #给出了任务号

命令格式:qatat[-f][-a][-i] [-n][-s] [-R] [-Q][-q][-B][-u]

qstat -an

参数说明:

-f jobid 列出指定作业的信息

-a 列出系统所有作业

-i 列出不在运行的作业

-n 列出分配给此作业的结点

-s 列出队列管理员与scheduler 所提供的建议

-R 列出磁盘预留信息

-Q *** 作符是destination id,指明请求的是队列状态

-q 列出队列状态,并以alternative 形式显示

-au userid 列出指定用户的所有作业

-B 列出PBS Server 信息

-r 列出所有正在运行的作业

-Qf queue 列出指定队列的信息

-u 若 *** 作符为作业号,则列出其状态。

若 *** 作符为destination id,则列出运行在其上的属于user_list中用户的作业状态。

例:# qstat -f 211 查询作业号为211 的作业的具体信息。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/yw/8051620.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-13
下一篇 2023-04-13

发表评论

登录后才能评论

评论列表(0条)

保存