我是如何使用Java访问HDFS的 |21xrx.com

2023-06-15 16:03:18 深夜i -- --

作为一名Java工程师，我经常需要在我的项目中使用分布式文件系统HDFS。下面是我如何通过Java代码访问HDFS的步骤和例子。

1. 引入依赖

首先，在Maven项目中添加以下依赖：

org.apache.hadoop hadoop-client 3.2.1

2. 创建Configuration对象

接下来，我们需要使用Hadoop的Configuration类来创建一个配置对象，并指定文件系统的URI。


Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");

3. 获取文件系统对象

有了配置对象之后，我们可以通过FileSystem类来获取文件系统对象。


FileSystem fs = FileSystem.get(conf);

4. 操作HDFS文件系统

现在我们可以通过fs对象来操作HDFS文件系统了，例如创建一个目录：


Path dirPath = new Path("/test");
fs.mkdirs(dirPath);

其他常见的操作包括上传文件，下载文件，删除文件等等。以下是一个上传本地文件到HDFS的例子：


Path srcPath = new Path("/path/to/local/file.txt");
Path dstPath = new Path("/test/file.txt");
fs.copyFromLocalFile(srcPath, dstPath);

以上就是我在Java中访问HDFS的基本步骤和例子。关键词包括Java，HDFS，代码实例。

上一篇: idea打包java可执行jar包

下一篇: 型语言，具有跨平台的特点

()

相似文章