Dask 是一个灵活的 Python 并行计算库。
Published on Aug. 22, 2023, 12:10 p.m.
Dask由两部分组成：
- 针对计算优化的动态任务调度。这类似于 Airflow、Luigi、Celery 或 Make，但针对交互式计算工作负载进行了优化。
- “大数据”集合，如并行数组、数据帧和列表，将NumPy、Pandas 或 Python 迭代器等常见接口扩展到大于内存或分布式环境。这些并行集合在动态任务调度程序之上运行。
Dask 强调以下优点：
- 熟悉：提供并行化的 NumPy 数组和 Pandas DataFrame 对象
- 灵活：为更多自定义工作负载和与其他项目的集成提供任务调度界面。
- Native：在纯 Python 中启用分布式计算，并访问 PyData 堆栈。
- 快速：以低开销、低延迟和快速数值算法所需的最小序列化运行
- 向上扩展：在具有 1000 个内核的集群上弹性运行
- 缩小：在单个进程中在笔记本电脑上设置和运行微不足道
- 响应：设计时考虑到交互式计算，它提供快速反馈和诊断以帮助人类