并行计算中,有两种并行的方法:任务并行(task-parallelism)和数据并行(data-parallelism)。
任务并行:将许多可以解决问题的任务分割,然后分布在一个或者多个核上进行程序的执行。
数据并行:将可以解决问题的数据进行分割,将分割好的数据放在一个或者多个核上进行执行;每一个核对这些数据都进行类似的操作。
例:
有一个professor P,他在给本科生上一门课,一共有300个本科生,考试的试卷上有15到题目。有三个助教来帮助Professor P修改试卷。
那么,这三个助教可以采用数据并行或者任务并行的方法来完成任务。
数据并行:
每个人平均看100份试卷,然后分别对自己的试卷的15到题目打分。
任务并行:
每个人分别负责5个题目。