大数据调度平台分类(OozieAzkabanAirFlowDolphinScheduler)

大数据调度系统，是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结，结合目前阿里云上的MaxCompute中的调度系统，做个对比。

Oozie是一个workflow(工作流)协调系统,是由Cloudera公司贡献给Apache的,主要用来管理Hadoop作业(job)。

统一调度hadoop系统中常见的mr任务启动、Java MR、Streaming MR、Pig、Hive、Sqoop、Spark、Shell等。

配置相关的调度任务复杂，依赖关系、时间触发、事件触发使用xml语言进行表达。

任务状态、任务类型、任务运行机器、创建时间、启动时间、完成时间等。

支持启动/停止/暂停/恢复/重新运行：支持启动/停止/暂停/恢复/重新运行。

可以通过DB支持HA(高可用)。调度任务时可能出现死锁，依赖当前集群版本，如更新最新版，易于现阶段集群不兼容。

Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系，这个依赖关系必须是无环的，否则会被视为无效的工作流。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

command、HadoopShell、Java、HadoopJava、Pig、Hive等，支持插件式扩展。

实际项目中经常有这些场景：每天有一个大任务，这个大任务可以分成A，B，C，D四个小任务，A，B任务之间没有依赖关系，C任务依赖A，B任务的结果，D任务依赖C任务的结果。一般的做法是，开两个终端同时执行A,B，两个都执行完了再执行C，最后再执行D。这样的话，整个的执行过程都需要人工参加，并且得盯着各任务的进度。但是我们的很多任务都是在深更半夜执行的，通过写脚本设置crontab执行。其实，整个过程类似于一个有向无环图（DAG）。每个子任务相当于大任务中的一个流，任务的起点可以从没有度的节点开始执行，任何没有通路的节点之间可以同时执行，比如上述的A，B。总结起来的话，我们需要的就是一个工作流的调度器，而Azkaban就是能解决上述问题的一个调度器。

提供job配置文件快速建立任务和任务之间的依赖关系，通过自定义DSL绘制DAG并打包上传。

只能看到任务状态。

只能先将工作流杀死在重新运行。

通过DB支持HA，任务太多时会卡死服务器。

Airflow 是 Airbnb 开源的一个用 Python 编写的调度工具。于 2014 年启动，2015 年春季开源，2016 年加入 Apache 软件基金会的孵化计划。Airflow 通过 DAG 也即是有向非循环图来定义整个工作流，因而具有非常强大的表达能力。

支持Python、Bash、>云渲染可以简单理解为在云端渲染自己的3d作品，也可以理解为有大型渲染需求的小公司提供的云端渲染解决方案。
其实就是解放你电脑，把需要费时在自己电脑上渲染的作品（一般指3D MAX 或 MAYA等三维作品），放到云端去渲染，人家有更好的硬件和服务器，我们可以花钱买效率。
这个新事物，目前圈内还刚兴起，个人看好。

使用Vray版本V2．40．03，Max版本2014，本机与渲染机需要处于同一个局域网的同一个工作组或域内。

vray分布式渲染方法如下：

1、在渲染机上，启动Max2014目录下的vrayspawner2013．exe。

2、在工作机上，打开渲染设置面板，勾选分布式渲染，并点开设置窗口。

3、点击“Addserver”，输入渲染机的计算机名称。

4、如果显示出IP地址，说明渲染机连接成功，点击OK。

5、每一个渲染的区块上会显示执行此块渲染任务的计算机名称。

1、渲染插件的问题，可以尝试卸载后重新安装

2、渲染内存不够，设置一下渲染内存，在编辑-设置里面有个内存，提高一下内存值，渲染设置里面好像有个缓存位置，默认的好像是C盘，你改成其他剩余空间较大的盘。

3、可以将文件上传到渲云云渲染平台，排查一下本地电脑的的问题

在云端批量渲染，批量出结果享受高配置、高内存、高性能服务器带来极致的渲染速度，节省渲染时间，提高工作效率。

还可以使用云端一体解决方案，赞奇云工作站，解决配置问题。

通过赞奇云工作站打造云制作平台，实现权限管理、流程管理、 项目进程管理、任务信息同步

通过云工作站、软件中心、云盘、渲云云渲染 打通 素材上传 -> 云上制作坐席置备 -> 设计 ->渲染 -> 合成呈现全流程环节。

如果说云计算是一种允许用户通过互联网访问和使用计算资源的技术，那么云渲染则更进一步，利用这些远程计算资源来渲染 3D 图形和动画。数据解析和处理不是在本地计算机上渲染 3D 场景，而是在云端的远程服务器上完成。

这样做的好处在渲染 3D 动画时体现得最为明显，因为不是在一台机器上按顺序渲染一张又一张图像，构成动画的所有图像或帧都可以同时渲染。所有最终输出然后被发送回用户的工作站，在被转换成视频之前被进一步编辑。这意味着序列中的每一帧都需要花费一个多小时的复杂场景将在一个多小时内完成渲染，因为所有帧都是同时渲染的。

简而言之，云渲染是指通过让多台机器通过互联网在远程服务器上渲染一个帧甚至帧的一部分来并行渲染数字图形和动画的过程。本地计算机或工作站无论多么强大，仍然需要逐帧渲染。这允许更高效和更具成本效益的渲染，以及利用大型计算机网络以提高处理能力的能力。

云渲染的优势

虽然一些较大的工作室已经并将继续使用本地或内部渲染农场，但云渲染可以为较小的工作室和个人提供急需的竞争优势。它提供的一些优势是：

‍ A可扩展性：云渲染的一个关键优势是它的可扩展性。随着项目需求的变化，云中的可用资源可以相应调整，让您无需投资额外的硬件即可处理更大、更复杂的项目。

‍ B可访问性：云渲染还为 3D 图形行业的专业人士提供了更好的可访问性。通过 Internet 访问和使用计算资源的能力，可以与来自不同位置的其他人协作并随时随地工作。

‍ C成本效益：云渲染的另一个重要优势是成本效益。云渲染无需投资昂贵的硬件，让您可以按需访问所需的计算资源，从而减少前期成本和持续开支。

‍ D性能提升：

借助云渲染，您可以利用远程服务器的强大功能来执行渲染任务，从而提升性能。通过将处理卸载到云端，您可以腾出本地机器来执行其他任务并改善整体工作流程。

渲云云渲染的优势：

渲云云渲染面向多领域三维内容制作提供云渲染服务，帮助用户快速完成三维内容、动画及效果图的渲染计算，规避因本地电脑配置不足导致渲染慢的问题，大幅提高工作效率，降低用户固定资产投资成本，为用户提供灵活、高效、海量节点按需拓展的云端渲染服务。

自己搭建一个小型的渲染农场的成本还是蛮大的哦，软件成本、硬件成本和人力成本这三大头的花费也不少，主要看你想搭建的规格、配置是如何的。

渲染农场

搭建渲染农场可以高效利用现有机器满足并发渲染需求，也需要集群渲染调度器管理系统，渲染集群具有良好的扩展性，能实现后续增加的渲染节点自动加入调度系统，而且搭建好了整个小型渲染农场，也要考虑下空闲期的时候这些资源怎么处理。

如果你不具备一定的资金实力，建议可以用瑞云渲染农场。按量计费，按需使用，想用就用，自己可以更专注于内容创作上，遇到技术难题也有专业的技术人员协助解决，总比自己花费大量时间去找解决方法更高效。

希望可以帮到你哦~

---