YuniKorn 特性
以下是 YuniKorn 目前支持的特性:
调度功能支持批处理作业和长期运行/有状态服务;具有最小/最大资源配额的分层池/队列;队列,用户和应用程序之间的资源是公平的;基于公平的跨队列抢占;支持自定义资源类型(如GPU)调度;支持丰富的编排约束(placement constraints support);根据策略自动将传入的容器请求映射到队列;使用专用配额/ACL管理将集群拆分成多个子群集。如果在 K8s 上运行 YuniKorn ,还支持以下特定功能:
支持 K8s 谓词。如 pod affinity/anti-affinity,节点选择器;支持 Persistent Volumes, Persistent Volume Claims 等;从 configmap 动态加载调度程序配置(热刷新);可以在 Kubernetes 之上部署。YuniKorn Web支持监视调度程序队列,资源使用,应用程序等。
如果想及时了解Spark、Hadoop或者HBase相关的文章,欢迎关注微信公众号:
iteblog_hadoop如果想及时了解Spark、Hadoop或者HBase相关的文章,欢迎关注微信公众号:
iteblog_hadoop下一步
在单个系统上运行混合工作负载存在许多挑战,YuniKorn 是我们打算让这条路径更容易的选择。我们的目标是开始支持登陆现有K8群集的各种大数据工作负载。 我们正在努力更好地支持K8上的 Spark,Flink和Tensorflow等工作负载。
可以在此处找到项目 roadmap,我们最终的目标是为大数据和云原生世界带来最佳的调度体验。
YuniKorn 的项目地址 https://github.com/cloudera/yunikorn-core
本文翻译自:https://blog.cloudera.com/yunikorn-a-universal-resources-scheduler/
本博客文章除特别声明,全部都是原创!
原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
本文链接: 【YuniKorn: Cloudera 开源的可适配 YARN & K8s 的新一代资源调度器】(https://www.iteblog.com/archives/2582.html)