目录

变更日志

变更日志

开发版本

0.9.0 / 2024-08-22

  • 从 jacobtomlinson/dask-hpc-runners 添加 SLURMRunner (GH#659)

  • 将最低 Python 版本提升至 3.10 (GH#662)

  • 修复 LSFCluster stdin 作业设置未在 shell 中运行的问题 (GH#661)

  • 移除 Python 3.12 中未使用的 lsf_version 函数，并修复 LSFCluster 的未等待错误 (GH#646)

  • 处理过时的根证书 (GH#651)

  • 将 Slurm 测试迁移到使用 rockylinux (GH#650)

  • 将 PBS 测试迁移到 rocklinux 8 和 openpbs 23.06 (GH#649)

  • 修复 OARJob 中 Job._call 未被等待的错误 (GH#642)

鸣谢 @aiudirog, @tcztzy 和 @sjdv1982。

0.8.5 / 2024-02-22

  • 更新 versioneer 以兼容 3.12 (GH#618)

  • 使 cli worker 参数更灵活 (GH#606)

  • 异步作业提交和移除 (GH#610)

  • 从配置文件中获取 Python 可执行文件路径 (GH#623)

  • 小文档修复和维护工作 (GH#621, GH#625)

鸣谢 @hmacdope, @jrueb, @Andrew-S-Rosen, @fnattino, @eckhrd, @cbouss 和 @jacobtomlinson。

0.8.2 / 2023-06-15

  • 扩展 OARCluster 实现，使 OAR 能够考虑内存参数 (GH#598, GH#595)

0.8.1 / 2022-10-04

  • 修复多个 --interface CLI 参数错误 (GH#591)

  • 在适当时将 project 更改为 account (PBS, Slurm) (GH#586)

  • 在使用 header_skip 值时不跳过 job_extra_directives 并将 header_skip 重命名为 job_directives_skip (GH#584)

  • 各种 CI 更新，HTCondor Docker 构建 (GH#588, GH#587, GH#583, GH#582, GH#581, GH#580)

鸣谢 @jolange 和 @guillaumeeb。

0.8.0 / 2022-08-29

  • 在生成的作业脚本中使用 –nworkers 替代已弃用的 –nprocs (GH#560)

  • 取消对 Python 3.7 的支持 (GH#562)

  • 将 env_extra kwarg 重命名为 job_script_prologue (GH#575)

  • 将 extra kwarg 重命名为 worker_extra_args (GH#576)

  • 将 job_extra kwarg 重命名为 job_extra_directives (GH#577)

  • 修复 CI 失败 (GH#562, GH#574)

  • 修复 env_extra 对于 HTCondor 的行为以及其他相关修复 (GH#563, GH#570, GH#572)

  • 添加 batch_name 以匹配 HTCondor 中 Dask worker 的名称 (GH#571)

鸣谢 @jolange, @ikabadzhov 和 @guillaumeeb。

0.7.4 / 2022-07-13

0.7.3 / 2021-07-22

  • 覆盖 _new_worker_name 以便更轻松地使用作业数组 (GH#480)

  • 取消对 Python 3.5 的支持 (GH#456)

  • 移除 dask utils 函数中的 FutureWarning。(:pr: 503 和 GH#506)

0.7.2 / 2020-12-07

  • 使用 Status 枚举 (GH#476)

  • 更新 GHA setup-miniconda 版本 (GH#474)

  • 为计划运行构建 docker 镜像 (GH#468)

  • 在 black 可能更改后进行格式化

  • 添加 GH action 以定期构建 docker 镜像 (GH#455)

  • 修复斜体文本内部的链接格式 (GH#460)

  • MoabCluster: 修复 MoabCluster 使用 jobqueue.pbs 配置段而不是 jobqueue.moab 段的错误 (GH#450)

  • 更新示例中的 start_workers 以实现扩展 (GH#453)

  • 修复 core.py 中的拼写错误 (GH#454)

  • 改进关于 GiB vs GB 的文档

  • 修复 GiB 定义中的数学拼写错误 (GH#445)

  • 改进关于自定义仪表盘链接的文档

  • 在切换到 Github Actions 后移除 Travis 的提及 (GH#444)

  • 改进错误消息。

  • 调整 cluster.job_script() 中的名称 (GH#439)

  • 从 Travis 切换到 GitHub Actions (GH#435)

  • 所有集群类: 修复一个允许在没有错误的情况下传递任何命名参数的错误 (GH#398)

  • 使用预构建的 docker 镜像加速 CI (GH#432)

  • 重命名常见变通方法部分。

  • 启动关于常见变通方法的文档部分 (GH#430)

  • 清理参数化测试 (GH#429)

  • 所有集群类: scheduler_options 参数可以通过配置文件中的 scheduler-options 段设置 (GH#405)

  • 添加最小的 HTCondor CI 支持 (GH#420)

  • 添加关于 SLURM 中 worker 使用的 python 可执行文件的内容 (GH#409)

  • 从集群类中移除 config_name (GH#426)

  • 修复 mysql 版本以使 Slurm CI 通过 (GH#423)

  • 修复 miniconda 下载 URL (GH#412)

0.7.1 / 2020-03-26

  • 所有集群类: 添加 scheduler_options 允许将参数传递给 Dask 调度器。例如 scheduler_options={'interface': 'eth0', dashboard_addresses=':12435') (GH#384)。重大更改: 使用 port 或 dashboard_addresses 参数会引发错误。它们必须通过 scheduler_options 传递。

  • 所有集群类: processes 参数默认值已更改。默认情况下，processes ~= sqrt(cores)，以便进程数和每个进程的线程数大致相同。旧的默认值是使用一个进程和仅线程，即 proccesses=1, threads_per_process=cores。(GH#375)

  • 所有集群类: 在配置文件中设置 interface 时会被忽略。(GH#366)

  • LSFCluster: 默认切换到 use_stdin=True (GH#388)。

  • LSFCluster: 为 LSFCluster 添加 use_stdin。这可以在使用 bsub < job_script 和 bsub job_script 启动 LSF 作业之间切换 (GH#360)。

  • HTCondorCluster: 支持没有 -file 参数的旧版本 HTCondor (GH#351)。

  • OARCluster: 修复 OARCluster._submit_job 中的错误 (忘记 async def) (GH#380)。

0.7.0 / 2019-10-09

  • 基于核心 dask.distributed.SpecCluster 类构建 Dask-Jobqueue (GH#307)

    这是基于更中心化逻辑对 dask-jobqueue 逻辑的几乎完全重新实现。这提高了标准化并增加了新功能，但包含以下重大更改

    • 已移除 cluster.start_workers 方法。请改用 cluster.scale。

    • 已移除 cluster.stop_all_jobs() 方法。请改用 cluster.scale(0)。

    • 属性 running_jobs、pending_jobs 和 cancelled_jobs 已被移除。这些属性已向上游移动到 dask.distributed.SpecCluster 类中，作为 workers 和 worker_spec，以及 .plan、.requested 和 .observed。

    • 属性 name 已移至 job_name。

  • 您现在可以在 .scale 和 .adapt 中指定作业数：例如 cluster.scale(jobs=2) 和 cluster.adapt(minimum_jobs=0, maximum_jobs=10)。以作业数来指定扩展通常比以 Dask worker 数指定更直观。这是 GH#307 的一部分。

  • 更新 .scale() 和 .adapt() 文档字符串 (GH#346)

  • 更新交互式文档 (GH#340)

  • 改进未指定 cores 或 memory 时的错误消息 (GH#331)

  • 修复 setup.py 中对 Python 3.5.0 的支持 (GH#317)

0.6.3 / 2019-08-18

  • 与 Dask 2.3.0 的兼容性: 从 local_cluster 添加 scheduler_info (GH#313)

  • 移除残留的 Python 2 特有代码 (GH#308)

  • 移除 __future__ 导入，因为我们依赖于 Python >3.5 (GH#311)

  • 在 CI 中移除对 black 的 Python 3 检查 (GH#315)

0.6.2 / 2019-07-31

  • 确保与 Dask 2.2 的兼容性 (GH#303)

  • 更新文档

0.6.1 / 2019-07-25

  • 更多与 distributed >= 2 更改相关的修复 (GH#278, GH#291)

  • 现在要求 distributed >= 2.1 (GH#295)

  • 从所有 Cluster 类中移除已弃用的 threads 参数 (GH#297)

  • 文档改进 (GH#290, GH#294, GH#296)

0.6.0 / 2019-07-06

  • 取消对 Python 2 的支持 (GH#284)

  • 修复 Distributed 2.0 中与 SpecificationCluster 的自适应兼容性 (GH#282)

0.5.0 / 2019-06-20

0.4.1 / 2018-10-18

  • 使用更清晰的消息处理 worker 重启 (GH#138)

  • 改进作业提交失败时的错误处理 (GH#146)

  • 修复启动 worker 时出现的 Python 2.7 错误 (GH#155)

  • 更好地处理额外的调度器选项 (GH#160)

  • 正确测试 Python 2.7 兼容性 (GH#154)

  • 添加覆盖启动 worker 时使用的 python 的能力 (GH#167)

  • 内部改进和边缘情况处理 (GH#97)

  • 可以指定一个文件夹来存储所有作业日志文件 (GH#145)

  • LSF 要求所有核心在同一节点上 (GH#177)

0.4.0 / 2018-09-06

  • 使用 worker 进程数作为 scale 的参数，而不是作业数。

  • 默认将调度器 bokeh UI 绑定到所有网络接口。

  • 添加了 OAR 作业队列系统实现。

  • 添加了 LSF 作业队列系统实现。

  • 为 JobQueueCluster 对象添加了一些方便的方法: __repr__, stop_jobs(), close()。

上一页

如何调试

下一页

开发指南