本文固定链接:https://www.askmac.cn/archives/hadoop-hftp-guide.html
原文地址:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/Hftp.html
1介绍
HFTP 是hadoop文件系统用来让你从一个远程的hadoop HDFS集群中读取数据的组件。这个读取是通过HTTP,并且数据源是DataNodes。HFTP是一个只读的文件系统,当你试图用来写入数据或者修改文件系统状态时,会抛出异常。
HFTP 主要的帮助在有多个HDFS集群,并存在多个版本时,将数据从一个集群迁移到另一个。HFTP 在不同版本的HDFS中是兼容写的。你可以操作例如(www.askmac.cn):
hadoop distcp -i hftp://sourceFS:50070/src hdfs://destFS:8020/dest |
注意NFTP是只读的,所以目标端必须是HDFS文件系统。(在这个例子中,distcp会使用新文件系统的配置运行。)
另外,HSFTP,默认使用HTTPS。这意味着数据在传输的时候会被加密。
2 实现
HFTP的代码在java 类org.apache.hadoop.hdfs.HftpFileSystem 中。同样的,HSFTP也在org.apache.hadoop.hdfs.HsftpFileSystem中实现(www.askmac.cn)
3 配置选项
名称 | 描述 |
dfs.hftp.https.port | 远程集群的HTTPS端口。如果不设置,将回落到dfs.https.port |
hdfs.service.host_ip:port | 指定分配HFTP文件系统的服务名(与安全子系统相关)运行与ip:port |
Leave a Reply