Ray使用备注

框架介绍

Ray是一种python分布式任务调度框架
其支持无状态的任务并发执行,也支持有状态的任务按照一定顺序执行
其支持分布式调度器,在一个节点上创建的任务先给本节点的局部调度器,并让本节点自己处理,当资源不够时,再将任务发给全局调度器供其他节点处理
其支持分布式对象存储,同一个节点上的使用同一个对象存储器,实现进程间内存共享
其支持单节点部署及多节点集群部署;

简单用法

import ray
import time# Start Ray.
ray.init()@ray.remote
def run_task():num = 1for item in range(1000):num = num * item**itemreturnif __name__ == '__main__':print('开始计时')start_time = time.time()result_ids = []# 并发100个任务for i in range(100):# 开始并行的任务，这些会立即返回futures并在后台执行s1 = time.time()x_id = run_task.remote()print("发送任务到ray框架耗时:", time.time() - s1, "s")result_ids.append(x_id)# 获取结果。这个结果直到第三个任务完成才能得到。只有get创建以后所有的任务才开始创建执行。ray.get(result_ids)print("总耗时", time.time() - start_time, "s")

单节点部署及执行方法

A服务器启动ray master服务(并指定使用cpu核数): ray start --head --num-cpus=36
A服务器执行python压测案例: python ray_use.py
A服务器关闭ray master服务: ray stop

多节点部署及执行方法

A服务器启动ray master服务: ray start --head --num-cpus=36 --disable-usage-stats
B服务器启动ray salve服务(–address:指向master服务地址): ray start --num-cpus=2 --address=‘192.168.xxx.xxx:6379’
A服务器执行python压测案例: python ray_use.py
B服务器关闭ray salve服务: ray stop
A服务器关闭ray master服务: ray stop

使用注意事项

ray框架本身在任务调度,异步执行,跨进程通信等有所消耗,
因此当出现集群部署和单节点部署总体消耗时间相似,或使用ray比不使用总体耗时更长,
主要是因为被调度的任务本身消耗资源较少,执行时间较短导致的; 如 ray执行remote()方法进行异步调用耗时0.1ms,而单个任务执行耗时也要0.1ms,则使用ray耗时就要0.2s,得不偿失;
这时说明 ray框架不符合需求;
或者将多个耗时较短的任务拼接在一个大的任务中,从而突出ray框架分布式高并发的优势;