HDFS ACL操作实战

HDFS的文件ACL(Access Control Lists)，类似于POSIX ACL(Linux使用ACL来管理文件权限)。
首先参数上要开启基本权限和访问控制列表功能，在CDH 5.2中，默认的参数dfs.namenode.acls.enabled为false。

<property>
    <name>dfs.permissions.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.namenode.acls.enabled</name>
    <value>true</value>
</property>

<name>dfs.permissions.enabled</name>

</property>

<name>dfs.namenode.acls.enabled</name>

</property>

一个访问控制列表（ACL）是一组ACL词目(entries)的集合，每个ACL词目会指定一个用户/组，并赋予读/写/执行上等权限。例如：

   user::rw-
   user:bruce:rwx                  #effective:r--
   group::r-x                      #effective:r--
   group:sales:rwx                 #effective:r--
   mask::r--
  other::r--

user::rw-

user:bruce:rwx #effective:r--

group::r-x #effective:r--

group:sales:rwx #effective:r--

mask::r--

other::r--

这里面，没有命名的用户/组即该文件的基本所属用户/组。每一个ACL都有一个掩码(mask)，如果用户不提供掩码，那么该掩码会自动根据所有ACL条目的并集来获得(属主除外）。在该文件上运行chmod会改变掩码的权限。由于掩码用于过滤，这有效地限制了权限的扩展ACL条目，而不是仅仅改变组条目，并可能丢失的其他扩展ACL条目。
定义默认（default）ACL条目，新的子文件和目录会自动继承默认的ACL条目设置，而只有目录会有默认的ACL条目。例如：

   user::rwx
   group::r-x
   other::r-x
   default:user::rwx 
   default:user:bruce:rwx          #effective:r-x
   default:group::r-x
   default:group:sales:rwx         #effective:r-x
   default:mask::r-x
   default:other::r-x

user::rwx

group::r-x

other::r-x

default:user::rwx

default:user:bruce:rwx #effective:r-x

default:group::r-x

default:group:sales:rwx #effective:r-x

default:mask::r-x

default:other::r-x

新的子文件/目录的实际ACL权限值的访问受到过滤的模式参数。由于默认的文件umask是022（fs.permissions.umask-mode=22），那么新建的目录为755，而文件的权限为644。umask模式参数过滤了用于默认用户(文件所有者)的权限。ACL使用这个特定的例子,并创建一个新的子目录为755模式，这种模式过滤对最终的结果没有影响。然而，如果我们考虑以644模式建立一个文件,然后模式过滤引起新文件的ACL接受读写默认用户(文件所有者)，读取掩码和其他用户。这样掩码也意味着命名用户（非默认用户）的有效的权限用户Bruce和命名组Sales仅有r权限。需要注意的是这种权限拷贝只发生在新文件或子目录被创建时。后续对父目录默认ACL的改变不会影响到它的子文件或目录。默认ACL也必须设置mask，如果mask未被指定，那么mask会通过计算所有条目的并集(属主除外）来得出。
当一个文件使用ACL时，权限检查的算法则变为：
· 当用户名为文件的属主时，会检查属主的权限。
· 否则如果用户名匹配命名用户条目中的一个时，权限会被检查并通过mask权限来进行过滤。
· 否则如果文件的组匹配到当前用户的组列表中的一个时，而这些权限经过mask过滤后仍然会授权，会被允许使用。
· 否则如果其中一个命名组条目匹配到组列表中的一个成员，而这些权限经过mask过滤后仍然会授权，会被允许使用。
· 否则如果文件组和任何命名组条目匹配到组列表中的一个成员时，但是访问不会被任何一个权限所授权时，访问会被拒绝。
· 除此之外，other权限位会被检查。
ACL相关的文件API：

public void modifyAclEntries(Path path, List<AclEntry> aclSpec) throws IOException;
public void removeAclEntries(Path path, List<AclEntry> aclSpec) throws IOException;
public void public void removeDefaultAcl(Path path) throws IOException;
public void removeAcl(Path path) throws IOException;
public void setAcl(Path path, List<AclEntry> aclSpec) throws IOException;
public AclStatus getAclStatus(Path path) throws IOException;

public void modifyAclEntries(Path path, List<AclEntry> aclSpec) throws IOException;

public void removeAclEntries(Path path, List<AclEntry> aclSpec) throws IOException;

public void public void removeDefaultAcl(Path path) throws IOException;

public void removeAcl(Path path) throws IOException;

public void setAcl(Path path, List<AclEntry> aclSpec) throws IOException;

public AclStatus getAclStatus(Path path) throws IOException;

命令行命令：
hdfs dfs -getfacl [-R] path
显示文件和目录的访问控制列表。如果一个目录有默认的ACL，getfacl也可以显示默认的ACL设置。
hdfs dfs -setfacl [-R] [-b|-k -m|-x acl_spec path]|[--set acl_spec path]
设置文件和目录的ACL

-R: Use this option to recursively list ACLs for all files and directories.
-b: Revoke all permissions except the base ACLs for user, groups and others.
-k: Remove the default ACL.
-m: Add new permissions to the ACL with this option. Does not affect existing permissions.
-x: Remove only the ACL specified.

-R: Use this option to recursively list ACLs for all files and directories.

-b: Revoke all permissions except the base ACLs for user, groups and others.

-k: Remove the default ACL.

-m: Add new permissions to the ACL with this option. Does not affect existing permissions.

-x: Remove only the ACL specified.

hdfs dfs -ls args
当ls的权限位输出以+结束时，那么该文件或目录正在启用一个ACL。
实战：

#默认只有基本的权限控制
hdfs dfs -getfacl /data
# file: /data
# owner: hive
# group: hadoop
user::rwx
group::r-x
other::r-x
#递归显示/data下所有文件的ACL
hdfs dfs -getfacl -R /data
# file: /data
# owner: hive
# group: hadoop
user::rwx
group::r-x
other::r-x

# file: /data/test.zero
# owner: hive
# group: hadoop
user::rw-
group::r--
other::r--

# file: /data/test.zero.2
# owner: hive
# group: hadoop
user::rw-
group::r--
other::r--
#添加一个用户ACL条目
hdfs dfs -setfacl -m user:hbase:rw- /data/test.zero
#添加一个组ACL条目和一个用户ACL条目（如果设置一个未命名条目，可以用user::r-x，group::r-w或者other::r-x等来设置）
hdfs dfs -setfacl -m group:crm:--x,user:app1:rwx /data/test.zero.2
#移除一个ACL条目
hdfs dfs -setfacl -x user:app1 /data/test.zero.2
#“+”已开启了ACL功能
hdfs dfs -ls -R /data
-rw-rwxr--+  3 hive hadoop 1073741824 2014-12-21 15:32 /data/test.zero
-rw-r-xr--+  3 hive hadoop 1073741824 2014-12-21 15:50 /data/test.zero.2
# 查看当前ACL，此时mask已经被生成
hdfs dfs -getfacl -R /data/test.zero.2
# file: /data/test.zero.2
# owner: hive
# group: hadoop
user::rw-
group::r--
group:crm:--x
mask::r-x
other::r--
hdfs dfs -getfacl /data/test.zero.2
# 为data目录添加default权限
hdfs dfs -setfacl -m default:user:debugo:rwx /data
hdfs dfs -mkdir /data/d1
hdfs dfs -getfacl /data/d1
user::rwx
user:debugo:rwx	#effective:r-x
group::r-x
mask::r-x
other::r-x
default:user::rwx
default:user:debugo:rwx
default:group::r-x
default:mask::rwx
default:other::r-x
#可以看出，default虽然继承给了d1，但是被mask=r-x所过滤，所以这里还需要设置mask。此时debugo用户的权限可以被正常访问。
hdfs dfs -setfacl -m mask::rwx /data/d1
hdfs dfs -getfacl /data/d1
# file: /data/d1
# owner: hdfs
# group: hadoop
user::rwx
user:debugo:rwx
group::r-x
mask::rwx
other::r-x
......

#默认只有基本的权限控制

hdfs dfs -getfacl /data

# file: /data

# owner: hive

# group: hadoop

user::rwx

group::r-x

other::r-x

#递归显示/data下所有文件的ACL

hdfs dfs -getfacl -R /data

# file: /data

# owner: hive

# group: hadoop

user::rwx

group::r-x

other::r-x

# file: /data/test.zero

# owner: hive

# group: hadoop

user::rw-

group::r--

other::r--

# file: /data/test.zero.2

# owner: hive

# group: hadoop

user::rw-

group::r--

other::r--

#添加一个用户ACL条目

hdfs dfs -setfacl -m user:hbase:rw- /data/test.zero

#添加一个组ACL条目和一个用户ACL条目（如果设置一个未命名条目，可以用user::r-x，group::r-w或者other::r-x等来设置）

hdfs dfs -setfacl -m group:crm:--x,user:app1:rwx /data/test.zero.2

#移除一个ACL条目

hdfs dfs -setfacl -x user:app1 /data/test.zero.2

#“+”已开启了ACL功能

hdfs dfs -ls -R /data

-rw-rwxr--+ 3 hive hadoop 1073741824 2014-12-21 15:32 /data/test.zero

-rw-r-xr--+ 3 hive hadoop 1073741824 2014-12-21 15:50 /data/test.zero.2

# 查看当前ACL，此时mask已经被生成

hdfs dfs -getfacl -R /data/test.zero.2

# file: /data/test.zero.2

# owner: hive

# group: hadoop

user::rw-

group::r--

group:crm:--x

mask::r-x

other::r--

hdfs dfs -getfacl /data/test.zero.2

# 为data目录添加default权限

hdfs dfs -setfacl -m default:user:debugo:rwx /data

hdfs dfs -mkdir /data/d1

hdfs dfs -getfacl /data/d1

user::rwx

user:debugo:rwx #effective:r-x

group::r-x

mask::r-x

other::r-x

default:user::rwx

default:user:debugo:rwx

default:group::r-x

default:mask::rwx

default:other::r-x

#可以看出，default虽然继承给了d1，但是被mask=r-x所过滤，所以这里还需要设置mask。此时debugo用户的权限可以被正常访问。

hdfs dfs -setfacl -m mask::rwx /data/d1

hdfs dfs -getfacl /data/d1

# file: /data/d1

# owner: hdfs

# group: hadoop

user::rwx

user:debugo:rwx

group::r-x

mask::rwx

other::r-x

......

参考：
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_sg_hdfs_ext_acls.html

支持

db浆糊 on 2015年6月8日 at 下午2:07 said:

我想请教你一个问题，你这是在哪里写的博客，我感觉格式，布局很好，想申请一个，能发个地址吗，或者告诉我，你这是怎么弄的

db浆糊 on 2015年8月25日 at 下午5:08 said:

hi,这是我在申请的web空间，安装的是wordpress 4.主题：Mosaic插件：Jetpack：WordPress官方插件包，让博客支持Markdown语法，网站统计工具也不错多说：国产评论管理插件Crayon Syntax Highlighter：代码高亮插件

很久没有过来了，今天过来看一看！

谢谢

这个更刺j激，准备好手纸哦 A 片。。 http://T.CN/RczAXRq

是男L人L就L上的L网C战，A 片：htTP://uVU.Cc/ijW6

高一新生累啊

HDFS ACL操作实战

近期文章

热评文章

文章归档

分类目录

友链

功能