本文固定链接：https://www.askmac.cn/archives/hdfs-extended-attributes.html

原文地址：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/ExtendedAttributes.html

1 简介

拓展属性（缩写为 xattrs）是一个文件系统特性，允许用户应用程序管理额外的元数据到文件和目录。不同于系统级别的inode元数据例如文件权限或修改时间，拓展属性不会被系统解析，并被应用程序用来存储关于inode的额外信息。例如，可以对实例使用拓展属性，来指定一个纯文文档的字符编码(www.askmac.cn)。

1.1 HDFS拓展属性

HDFS的拓展属性是在Linux的拓展属性之后的模块。一个额外属性是一个键值对，有一个字符串名称和二进制的值。Xattrs的名称必须是namespace的前缀。例如，一个名称为myXattr的xattr中的用户namespace应该被定义成user.myXattr。多个xattr可以被关联到一个inode。

1.2 命名空间和权限

在HDFS中，有5个有效的命名空间：user，trusted，system，security 和raw。每个命名空间有不同的访问限制(www.askmac.cn)。

User命名空间通常被客户端应用程序使用。在user命名空间中访问拓展属性被相关的文件权限控制。

Trusted 命名空间只能被HDFS超级用户使用

System 命名空间被内部HDFS保留使用。这个命名空间不能通过用户空间方法访问，并且为实施内部HDFS特性保留。

security 命名空间被内部HDFS保留使用。此命名空间一般是不可以通过用户空间的方法。一个特别使用 security 是security.hdfs.unreadable.by.superuser 拓展属性。这个xattr只能被设置到文件，并且其将放置超级用户读取文件的内容。这个超级用户仍然可以读取和修改文件的元数据，例如：所有者，权限，等等。这个xattr可以被任何用户设置和访问，假设是一般文件系统权限。这个xattr也可以写一次，并且一旦被设置无法移除。这个xattr不允许设置一个值(www.askmac.cn)。

Raw 命名空间是保留内部系统属性，有的时候需要被暴露。例如system 命名空间属性对于用户是不可见的，除了当getXAttr/getXAttrs在 /.reserved/raw HDFS层级中的文件或目录中调用。这个属性只能被超级用户访问。一个例子是 raw命名空间拓展属性被distcp工具使用。在 raw.*拓展属性中存储加密元数据区。所以只要管理员在源和目录使用/.reserved/raw，在加密空间中的加密文件是透明拷贝。

2.拓展属性的交互

Hadoop支持通过hadoop fs -getfattr 和 hadoop fs –setfattr来与拓展属性交互。这个命令的风格来自linux中的getfattr(1) 和setfattr(1)  命令(www.askmac.cn)

2.1 getfattr

hadoop fs -getfattr [-R] -n name | -d [-e en] <path>

显示一个文件或目录的拓展属性名称或者值（如果有的话）

2.2 setfattr

hadoop fs -setfattr -n name [-v value] | -x name <path>

设置一个文件或目录的拓展属性名称和值(www.askmac.cn)

3.配置选项

HDFS能很好的支持拓展属性，不需要额外的配置。管理员可能潜在的对限制每个inode 的xattr数目和xattrs的大小感兴趣，因为xattrs会对一个inode增加磁盘和内存的消耗(www.askmac.cn)。

1. dfs.namenode.xattrs.enabled

是否在namenode上启用拓展属性。默认是启用的

2. dfs.namenode.fs-limits.max-xattrs-per-inode

每个inode中最多拓展属性的数目。默认值是32

3. dfs.namenode.fs-limits.max-xattr-size

拓展属性的名称和值的联合最大大小（byte）。默认限制是 16384 bytes