viewfs://为Hadoop 中的一个特殊文件系统-CSDN博客

解释

viewfs:// 是 Hadoop 中的一个特殊文件系统 URI用于访问 Hadoop 的视图文件系统ViewFS。

ViewFS 是 Hadoop 提供的一种虚拟文件系统它可以将来自多个底层文件系统的文件统一管理和访问。

通过 ViewFS你可以在不知道底层真实文件系统细节的情况下对文件进行读取和写入操作。

要使用 viewfs://你需要了解以下几个步骤

配置 ViewFS在 Hadoop 集群中的配置文件如 core-site.xml中需要设置 ViewFS 相关的属性包括视图文件系统的名称空间和底层真实文件系统的映射关系。

使用Java

创建 ViewFS 实例在代码中你可以使用 Hadoop 的 API 来创建 ViewFS 的实例以便进行文件操作。以下是一个 Java 示例代码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

...

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "viewfs://<viewfs-namespace>/");
FileSystem fs = FileSystem.get(conf);

// 使用 fs 进行文件操作例如读取或写入文件等
Path filePath = new Path("/path/to/file");
fs.open(filePath);
...

其中 是视图文件系统的命名空间你需要替换为你实际配置的值。

使用 ViewFS 进行文件操作通过获取到的 ViewFS 实例你可以使用 Hadoop 提供的文件系统 API如 FileSystem 类的方法如 open()、create()、delete() 等来对文件进行读取和写入操作。

需要注意的是使用 ViewFS 需要正确配置底层真实文件系统的权限和访问控制以确保文件操作的安全性和正确性。

总之viewfs:// 是 Hadoop 中用于访问视图文件系统的 URI通过配置和使用 Hadoop 的 API你可以使用 ViewFS 对多个底层文件系统进行统一管理和访问。

使用Shell

在 shell 脚本中你可以使用 Hadoop 提供的命令行工具来操作 ViewFS。以下是一些常用的命令及其示例

查看 ViewFS 中的文件列表

hadoop fs -ls viewfs://<viewfs-namespace>/

其中 是你实际配置的视图文件系统的命名空间。

从 ViewFS 中拷贝文件到本地

hadoop fs -copyToLocal 
	viewfs://<viewfs-namespace>/path/to/source 
	/path/to/destination

其中path/to/source 是 ViewFS 中要拷贝的文件路径/path/to/destination 是本地目标路径。

在 ViewFS 中创建目录

hadoop fs -mkdir viewfs://<viewfs-namespace>/path/to/new/directory

其中path/to/new/directory 是你要创建的目录路径如果需要递归创建多级目录可以使用 -p 参数。

在 ViewFS 中删除文件

hadoop fs -rm viewfs://<viewfs-namespace>/path/to/file

其中path/to/file 是要删除的文件路径如果需要删除目录及其中的所有文件和子目录可以使用 -r 参数。

需要注意的是在 shell 脚本中使用 ViewFS 命令时需要确保 ViewFS 已经正确配置并且相关的 Hadoop 环境变量已经设置例如 HADOOP_HOME、HADOOP_CONF_DIR 等。

基本操作

1. 判断目录是否存在

if ! hadoop fs -test -d viewfs://<viewfs-namespace>/path/to/directory; then
  hadoop fs -mkdir viewfs://<viewfs-namespace>/path/to/directory
fi

2. 判断文件是否存在

if ! hadoop fs -test -e viewfs://<viewfs-namespace>/path/to/file; then
  hadoop fs -touchz viewfs://<viewfs-namespace>/path/to/file
fi

3. 改名

hadoop fs -mv 
	viewfs://<viewfs-namespace>/path/to/oldfile 
	viewfs://<viewfs-namespace>/path/to/newfile