权限管理(HDFS、Yarn、Hive…MRS中使用Ranger实现权限管理全栈式实践)

Posted

篇首语:没有加倍的勤奋,就既没有才能,也没有天才。本文由小常识网(cha138.com)小编为大家整理,主要介绍了权限管理(HDFS、Yarn、Hive…MRS中使用Ranger实现权限管理全栈式实践)相关的知识,希望对你有一定的参考价值。

权限管理(HDFS、Yarn、Hive…MRS中使用Ranger实现权限管理全栈式实践)

摘要:Ranger为组件提供基于PBAC的鉴权插件,供组件服务端运行,目前支持Ranger鉴权的组件有HDFS、Yarn、Hive、HBase、Kafka、Storm和Spark2x,后续会支持更多组件。

本文分享自华为云社区《MRS中使用Ranger实现权限管理全栈式实践-云社区-华为云》,作者:啊喔YeYe 。

前置工作

  1. 开通MRS 普通集群。免费试用30天
  2. 安装集群客户端,并了解如何使用

Ranger与各组件关系

Ranger为组件提供基于PBAC的鉴权插件,供组件服务端运行,目前支持Ranger鉴权的组件有HDFS、Yarn、Hive、HBase、Kafka、Storm和Spark2x,后续会支持更多组件。

Ranger集成hdfs权限管控最佳实践

步骤1:进入集群中的hdfs组件,选择右上角的“更多”选项中的启用ranger鉴权

步骤2:进入hdfs组件的实例选项中勾选所有选项后,再点“更多”按钮中的“重启实例”按钮,重启hdfs的所有实例

步骤3:进入mrs集群的ranger组件的首页后,点击rangeradmin进入ranger组件的管理页面

步骤4:在ranger的Service Manager中应会生成hdfs service name。此时点击hdfs servicename就会进入ranger配置权限管控hdfs的添加、删除、更新、查看策略的界面(可以添加、删除、更新、查看ranger权限管控hdfs的权限-策略)

步骤5:点击“Add New Policy”按钮 ,新建一条ranger权限管控hdfs的策略

步骤6:ranger权限管控hdfs的验证

1、进入集群客户端,切换用户:su - omm

2、执行 hdfs dfs –ls /user命令如果ranger权限管控hdfs的策略生效,此时应是omm用户不能查看到hadoop集群中的/user中的内容,会提示权限拒绝

Ranger集成Yarn权限管控最佳实践

步骤1:进入集群中的yarn组件,选择右上角的“更多”选项中的启用ranger鉴权

步骤2:在yarn组件中配置->全部配置中搜索acl 后,把yarn.acl.enable = false 更改为yarn.acl.enable = true进入yarn组件的实例选项中勾选所有选项后,再点“更多”按钮中的“重启实例”按钮,重启yarn的所有实例

步骤3:进入mrs集群的ranger组件的首页后,点击rangeradmin进入ranger组件的管理页面

步骤4:点击yarn service就会进入ranger配置权限管控yarn的添加、删除、更新、查看策略的界面(可以添加、删除、更新、查看ranger权限管控yarn的策略)

步骤5:点击“Add New Policy”按钮 ,新建一条ranger权限管控yarn的策略

步骤6:ranger权限管控yarn的验证

进入集群客户端,切换用户su - omm

执行

hadoop jar /tmp/hadoop-mapreduce-examples-3.1.1-hw-ei-310013.jar pi -Dmapreduce.job.queuename="root.launcher-job" 10 10复制

Ranger集成hive权限管控最佳实践

步骤1:进入集群中的hive组件,选择右上角的“更多”选项中的启用ranger鉴权

步骤2:进入hive组件的实例选项中勾选所有选项后,再点“更多”按钮中的“重启实例”按钮,重启hive的所有实例

步骤3:进入mrs集群的ranger组件的首页后,点击rangeradmin进入ranger组件的管理页面

步骤4:点击hive service name就会进入ranger配置权限管控hive的添加、删除、更新、查看策略的界面

步骤5:点击“Add New Policy”按钮 ,新建一条ranger权限管控hive的策略

步骤6:ranger权限管控hive的验证

进入集群客户端beeline -n test04 -p password

输入 select * from default.user_info; 后会提示test04用户会没有查询default库下user_info的权限

Ranger集成HBase权限管控最佳实践

步骤1:进入集群中的HBase组件,选择右上角的“更多”选项中的启用ranger鉴权。

步骤2:进入HBase组件的实例选项中勾选所有选项后,再点“更多”按钮中的“重启实例”按钮,重启HBase的所有实例

步骤3:进入mrs集群的ranger组件的首页后,点击rangeradmin进入ranger组件的管理页面

步骤4:点击进入ranger配置权限管控HBase的添加、删除、更新、查看策略的界面(可以添加、删除、更新、查看ranger权限管控HBase的策略)

步骤5:点击“Add New Policy”按钮 ,新建一条ranger权限管控HBase的策略

步骤6:ranger权限管控HBase的验证

进入集群客户端,切换用户su - test03,再输入 hbase shell 进入hbase的终端 ,再执行查看表test03表的命令:scan 'test03'、、

执行 scan ‘test03’ 命令如果ranger权限管控hbase的策略生效,此时应是test03用户不能查看到hbase表test03的内容不能创建表,会提示权限拒绝。

Ranger集成spark权限管控最佳实践

步骤1:进入集群中的spark组件,选择右上角的“更多”选项中的启用ranger鉴权。

步骤2:进入spark组件的实例选项中勾选所有选项后,再点“更多”按钮中的“重启实例”按钮,重启spark的所有实例

步骤3:进入mrs集群的ranger组件的首页后,点击rangeradmin进入ranger组件的管理页面

步骤4:因为spark是基于hive的,在ranger的ServiceManager页面中进入Hadoop sql hive版块中应会产生hadoop sql hive 版块。此时点击hadoop sql hive版块就会进入ranger配置权限管控spark的添加、删除、更新、查看策略的界面(可以添加、删除、更新、查看ranger权限管控spark的策略)

步骤5:点击“Add New Policy”按钮 ,新建一条ranger权限管控spark的策略

步骤6:ranger权限管控spark的验证

进入集群客户端,切换用户:su - omm

切换到omm用户后执行spark-sql 后进入spark sql的命令终端环境中 命令如果ranger权限管控spark的策略生效,此时应是omm用户不能查看到default库中表user_info中的数据的,会提示权限拒绝。

点击下方,第一时间了解华为云新鲜技术~

华为云博客_大数据博客_AI博客_云计算博客_开发者中心-华为云

相关参考

无线网认证网页出不来([R系列企业VPN路由器] Web认证设置指南)

...越多的服务场所需要给客户提供免费Wi-Fi。但需要对接入权限进行认证,同时推送店铺、商品广告宣传信息。Web认证功能应用灵活,可以很好地满足该需求。本文指导R系列新平台路由器Web认证的设置方法。注意:本文不介绍交换...

权限审批(东粮集团管理体系审批权限释义)

手机管理淘宝店铺用什么软件(淘宝群聊-群内管理员设置与权限,提升管理效率)

淘宝群聊-群内管理员设置与权限,提升管理效率01超级管理员与管理员的规则说明特别注意!店铺子账号只有通过设置为超级管理员的方式才可进群!否则子账号发言,群成员不可见。1个群组最多1个群主+9个超级管理员。(原...

欧姆龙伺服电机维修(伦茨伺服电机1SFCK-MRS09G30发热维修)

伦茨伺服电机常见故障分析伦茨伺服电机修理,伺服电机维修,伺服马达维修LENZE伺服马达维修,LENZE伺服电机修理,LENZE伺服马达修理,维修伦茨伺服电机,修理LENZE伺服电机,维修LENZE伺服马达,LENZE伺服驱动器维修,LENZE伺服控制器...

来宾保安过滤器滤芯(松耦合式的权限控制设计,自定义权限表达式yyds)

...统一、标准化、低代码、易操作、可视化托拉拽的自助式权限控制配置功能轻松实现各业务系统间集成。术语定义及说明RBAC:Role-BaseAccessControl,

数据库审计和堡垒机区别(「网络安全」安全设备篇(14)——堡垒机)

...给信息系统安全带来较大风险,主要表现在:缺少统一的权限管理平台,权限管理日趋繁重和无序;而且维护人员的权限大多是粗放管理,无法基于最小权限分配原则的用户权限管理,难以实现更细粒度的命令级权限控制,系统...

环压强度(「PE扫盲」PE100是什么?PE管如何分级?)

...PE80、PE100两种(依据较小要求强度MinimumRequiredStrength的缩写MRS)。PE80的MRS达到8MPa,PE100的MRS达到10MPa(MRS

环压强度(「PE扫盲」PE100是什么?PE管如何分级?)

...PE80、PE100两种(依据较小要求强度MinimumRequiredStrength的缩写MRS)。PE80的MRS达到8MPa,PE100的MRS达到10MPa(MRS

环压强度(「PE扫盲」PE100是什么?PE管如何分级?)

...PE80、PE100两种(依据较小要求强度MinimumRequiredStrength的缩写MRS)。PE80的MRS达到8MPa,PE100的MRS达到10MPa(MRS

期货原油怎么开户流程(怎么样快速开通各大期货交易所的品种交易权限账户)

怎么样快速开通各大期货交易所的品种交易权限账户期货各品种开户条件发生调整了,在2019年6月1号之前想开股指期货、原油期货、特定品种(铁矿石期货和PTA期货)以及商品期权期货的朋友,需要考试5门,还需要满足资金要求,...