2019独角兽企业重金招聘Python工程师标准>>>
场景描述: 异步触发和Crontab触发
YARN(Yet Another Resource Negotiator)Hadoop 资源管理器
主要构成: RM(ResourceManager)是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(Applications Manager,ASM)。 调度器根据容量、队列等限制条件,将系统中的资源分配给各个正在运行的应用程序。 应用程序管理器负责管理整个系统中所有应用程序,包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。 NodeManager(NM)NM是每个节点上的资源和任务管理器,一方面,它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态;另一方面,它接收并处理来自AM的Container启动/停止等各种请求。 Container Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等。