dask_jobqueue.MoabCluster

dask_jobqueue.MoabCluster¶

class dask_jobqueue.MoabCluster(n_workers=0, job_cls: typing.Optional[dask_jobqueue.core.Job] = None, loop=None, security=None, shared_temp_directory=None, silence_logs='error', name=None, asynchronous=False, dashboard_address=None, host=None, scheduler_options=None, scheduler_cls=<class 'distributed.scheduler.Scheduler'>, interface=None, protocol=None, config_name=None, **job_kwargs)¶

在 PBS 集群上启动 Dask

参数

queuestr: 每个 worker 作业的目标队列。传递给 #PBS -q 选项。
projectstr: 已弃用：请改用 account。此参数将在未来版本中移除。
accountstr: 与每个 worker 作业关联的记账字符串。传递给 #PBS -A 选项。
coresint: 所有 worker 线程在作业内运行的 CPU 核总数。每个 worker 进程的线程数通过公式 cores / processes 确定。作业队列系统默认使用此值作为每个作业的 CPU 数量。
memory: str: 所有 worker 在作业内使用的内存总量。作业队列系统默认使用此值作为每个作业的内存量。
processesint: 将作业分成这么多进程。适用于 GIL 工作负载或具有许多核心的节点。默认情况下，process ~= sqrt(cores)，以便进程数和每个进程的线程数大致相同。
interfacestr: 网络接口，如 ‘eth0’ 或 ‘ib0’。这将用于 Dask scheduler 和 Dask worker 的接口。如果您需要为 Dask scheduler 使用不同的接口，可以通过 scheduler_options 参数传递：interface=your_worker_interface, scheduler_options={'interface': your_scheduler_interface}。
nannybool: 是否启动一个 nanny 进程
local_directorystr: Dask worker 用于文件溢出的本地目录。
death_timeoutfloat: 关闭 worker 前等待 scheduler 的秒数
extralist: 已弃用：请改用 worker_extra_args。此参数将在未来版本中移除。
worker_commandlist: 启动 worker 时运行的命令。默认为 “distributed.cli.dask_worker”。
worker_extra_argslist: 传递给 dask-worker 的附加参数
env_extralist: 已弃用：请改用 job_script_prologue。此参数将在未来版本中移除。
job_script_prologuelist: 在启动 worker 之前添加到脚本的其他命令。
job_script_epiloguelist: 添加到脚本中、将在 worker 命令退出后运行的命令。
header_skiplist: 已弃用：请改用 job_directives_skip。此参数将在未来版本中移除。
job_directives_skiplist: 在生成的作业脚本头中要跳过的指令。包含指定字符串的指令行将被移除。job_extra_directives 添加的指令不会受到影响。
log_directorystr: 用于作业 scheduler 日志的目录。
shebangstr: 您的批处理提交脚本所需的解释器路径。
pythonstr: 用于启动 Dask worker 的 Python 可执行文件。默认为提交这些作业的 Python。
config_namestr: 要从 jobqueue.yaml 配置文件中使用的部分。
namestr: Dask worker 的名称。这通常由 Cluster 设置。
n_workersint: 默认启动的 worker 数量。默认为 0。请参见 scale 方法。
silence_logsstr: 如果在本地启动了 scheduler，则在此处发出的日志级别，如“debug”、“info”或“error”。
asynchronousbool: 是否使用 async/await 语法运行此集群对象
securitySecurity or Bool: 如果您正在使用 TLS/SSL，这是一个 dask.distributed 安全对象。如果为 True，将自动创建临时的自签名凭据。
scheduler_optionsdict: 用于向 Dask Scheduler 传递附加参数。例如，使用 scheduler_options={'dashboard_address': ':12435'} 指定 web dashboard 应使用的端口，或使用 scheduler_options={'host': 'your-host'} 指定 Dask scheduler 应运行的主机。更多详细信息请参见 distributed.Scheduler。
scheduler_clstype: 更改所使用的 Dask Scheduler 的类。默认为 Dask 的 distributed.Scheduler。
shared_temp_directorystr: scheduler 和 worker 之间的共享目录（例如用于临时安全证书），如果未设置，则默认为当前工作目录。
resource_specstr: 请求资源并指定作业位置。传递给 #PBS -l 选项。
walltimestr: 每个 worker 作业的墙钟时间。
job_extralist: 已弃用：请改用 job_extra_directives。此参数将在未来版本中移除。
job_extra_directiveslist: 其他 PBS 选项的列表。每个选项都将加上 #PBS 前缀。

示例

>>> from dask_jobqueue import MoabCluster
>>> cluster = MoabCluster(queue='regular', account="myaccountingstring", cores=24,
...     memory="500 GB")
>>> cluster.scale(jobs=10)  # ask for 10 jobs

>>> from dask.distributed import Client
>>> client = Client(cluster)

这也适用于自适应集群。它根据负载自动启动和杀死 worker。

>>> cluster.adapt(maximum_jobs=20)

__init__(n_workers=0, job_cls: typing.Optional[dask_jobqueue.core.Job] = None, loop=None, security=None, shared_temp_directory=None, silence_logs='error', name=None, asynchronous=False, dashboard_address=None, host=None, scheduler_options=None, scheduler_cls=<class 'distributed.scheduler.Scheduler'>, interface=None, protocol=None, config_name=None, **job_kwargs)¶

方法

`__init__`([n_workers, job_cls, loop, ...])
`adapt`(*args[, minimum_jobs, maximum_jobs])	根据 scheduler 活动自动扩缩 Dask 集群。
`close`([timeout])
`from_name`(name)	创建一个此类的实例，用名称表示现有集群。
`get_client`()	返回集群的 client
`get_logs`([cluster, scheduler, workers])	返回集群、scheduler 和 workers 的日志
`job_script`()
`logs`(args, *kwargs)
`new_worker_spec`()	返回下一个 worker 的名称和 spec
`scale`([n, jobs, memory, cores])	将集群扩缩到指定的配置。
`scale_down`(workers)
`scale_up`([n, memory, cores])	将集群扩缩到 n 个 worker
`sync`(func, *args[, asynchronous, ...])	根据调用上下文，同步或异步调用带有 args 的 func
`wait_for_workers`(n_workers[, timeout])	阻塞调用，在继续之前等待 n 个 worker

属性

`asynchronous`	我们是否正在事件循环中运行？
`called_from_running_loop`
`dashboard_link`
`job_header`
`job_name`
`loop`
`name`
`observed`
`plan`
`requested`
`scheduler_address`

dask_jobqueue.LSFCluster

dask_jobqueue.OARCluster

Dask-jobqueue 0.9.0+10.g7cbd4b8 文档

dask_jobqueue.MoabCluster

dask_jobqueue.MoabCluster¶