Oozie是一个运行在Java servlet容器—— (或Tomcat—— )上并使用数据库存储以下信息的Java web APP应用程序:
工作流定义当前正在运行的工作流实例。 实例状态和变量Oozie工作流是放置在控制相关的无向图直接访问图形(DAG )中的一组操作。 例如,Hadoop地图/就绪作业、Pig作业等。 在此指定动作的执行顺序。 此图使用XML流程定义语言hPDL进行说明。
apacheoozieworkflowschedulerforhadoopoozieisaworkflowschedulersystemtomanageapachehadoopjobs.oo zie调度Hadoop任务工作流
ozieisintegratedwiththerestofthehadoopstacksupportingseveraltypesofhadoopjobsoutofthebox sqoopanddistcp (suchasjavaprogramsandshellscripts ).Oozip是Hadoop的
基础是只有地图任务的地图程序
一、横向比较1.Linux Crontab Linux具有的定时任务指令(写绝对路径)特征)简单,与shell脚本结合可以实现大部分功能缺陷)过于简单,没有监控界面
crontab : usage error : unrecognizedoptionusage : crontab [-user ] file指向文件crontab [-u user ] [-I ] xsd xy () per 1003.2 )-e (编辑器’ s crontab )指定的编辑器-L )监听器’ s crontab )列表-r )删除-I )属性0-31-12-7(0=7=星期天(* ) :所有可能的值)、(:并行(-) :范围(/) :频率eg:# )每周六晚上8:00-12:00加30
padding:0px;”>缺点:…
Azkaban
3.Oozie Apache 顶级项目
特点:Apache 出品,强大
缺点:存在 jar 包冲突,长得不是一般的丑(程序员就不该有审美)
Oozie
4.Zeus 宙斯 阿里开源的框架(找不到了,阿里遗弃了?)
特点:比较简单,阿里出品,有中文文档,中文界面
缺点:小众,毕竟国内
关于Oozie(拷贝模板改之)
1.Oozie是 Cloudeara 公司共享给 Apache 的一个开源顶级项目,提供对 Hadoop MapReduce Hive Pig 的任务的调度;Oozie需要部署到一个 Java Servlet 容器中(如:Tomcat)运行,需要使用关系型数据库存储调度信息
2.Oozie 工作流的定义,同 Jboss jBPM 提供的 jPDL 一样,提供了类似流程定义语言 hPDL ,通过 XML 格式实现流程定义。对于工作流系统,一般都会有很多不同的功能节点,如分支、并发、汇合等
3.Oozie 定义了控制流节点 Control Flow Nodes 和动作节点 Action Nodes 。其中控制流节点定义了流程的开始和结束,以及控制流程的执行路径( Execution Path ) ,如 decision / fork / join 等;而动作节点包括 Hadoop MapReduce / HDFS / Pig / SSH / HTTP / eMail / Oozie 子流程等。
关于各个版本的架构(重点)
Oozie v1 is a server based Workflow Engine 工作流引擎 specialized专门 in running workflow jobs with actions that execute Hadoop Map/Reduce and Pig jobs.
Oozie v2 is a server based Coordinator Engine 协调引擎 specialized in running workflows based on time and data triggers(时间触发 数据触发). It can continuously不断地 run workflows based on time (e.g. run it every hour), and data availability (e.g. wait for my input data to exist before running my workflow).
Oozie v3 is a server based Bundle Engine 绑定引擎 that provides a higher-level oozie abstraction抽象 that will batch批量 a set of coordinator applications. The user will be able to start/stop/suspend暂停/resume继续/rerun a set coordinator jobs in the bundle level(捆绑包层次) resulting a better and easy operational control.
v3提供了一个更高级别的抽象Oozie,将批处理一组协调应用程序。
整体服务框架
左侧:Oozie 通过 Tomcat Http Server 对外提供了 JAVA API 、REST API 、CLI(终端) 、Web 接口(hue) ;产生的数据存储在 Oozie object dstabase 上中间:Oozie 的三层结构右侧:Oozie 的 Coordinator Engine 协调引擎 能够监控基于 Time-based triggers 和 HDFS 上的 Data-based triggers;每一个 Oozie Job 都是一个只有 Map Task 的 MapReduce 程序 http://www.cnblogs.com/cenzhongman/