YuniKorn 特性

以下是 YuniKorn 目前支持的特性:

  • 调度功能支持批处理作业和长期运行/有状态服务;
  • 具有最小/最大资源配额的分层池/队列;
  • 队列,用户和应用程序之间的资源是公平的;
  • 基于公平的跨队列抢占;
  • 支持自定义资源类型(如GPU)调度;
  • 支持丰富的编排约束(placement constraints support);
  • 根据策略自动将传入的容器请求映射到队列;
  • 使用专用配额/ACL管理将集群拆分成多个子群集。
  • 如果在 K8s 上运行 YuniKorn ,还支持以下特定功能:

  • 支持 K8s 谓词。如 pod affinity/anti-affinity,节点选择器;
  • 支持 Persistent Volumes, Persistent Volume Claims 等;
  • 从 configmap 动态加载调度程序配置(热刷新);
  • 可以在 Kubernetes 之上部署。
  • YuniKorn Web支持监视调度程序队列,资源使用,应用程序等。

    YuniKorn: a universal resources scheduler
    如果想及时了解Spark、Hadoop或者HBase相关的文章,欢迎关注微信公众号:iteblog_hadoop
    YuniKorn: a universal resources scheduler
    如果想及时了解Spark、Hadoop或者HBase相关的文章,欢迎关注微信公众号:iteblog_hadoop

    下一步

    在单个系统上运行混合工作负载存在许多挑战,YuniKorn 是我们打算让这条路径更容易的选择。我们的目标是开始支持登陆现有K8群集的各种大数据工作负载。 我们正在努力更好地支持K8上的 Spark,Flink和Tensorflow等工作负载。

    可以在此处找到项目 roadmap,我们最终的目标是为大数据和云原生世界带来最佳的调度体验。

    YuniKorn 的项目地址 https://github.com/cloudera/yunikorn-core

    本文翻译自:https://blog.cloudera.com/yunikorn-a-universal-resources-scheduler/

    本博客文章除特别声明,全部都是原创!
    原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
    本文链接: 【YuniKorn: Cloudera 开源的可适配 YARN & K8s 的新一代资源调度器】(https://www.iteblog.com/archives/2582.html)
    喜欢 (0)
    分享 (0)
    发表我的评论
    取消评论

    表情
    本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!