21xrx.com
2025-04-06 21:00:58 Sunday
文章检索 我的文章 写文章
如何在Java中读取HDFS文件
2023-06-14 22:27:56 深夜i     11     0
Java HDFS 读取

作为一名Java开发者，我在项目中经常需要读取HDFS上的文件。今天，我就来分享一下如何在Java中读取HDFS文件。

1.

2. 代码实现：

//导入相关的包
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import java.io.InputStream;
import java.net.URI;
public class ReadHdfsFile {
  public static void main(String[] args) throws Exception{
    //设置配置文件
    Configuration conf = new Configuration();
    //设置namenode地址
    URI uri = new URI("hdfs://192.168.0.101:9000");
    // 获取FileSystem对象
    FileSystem fs = FileSystem.get(uri, conf, "root");
    //读取文件路径
    Path path = new Path("/test.txt");
    //获取输入流
    InputStream in = fs.open(path);
    //将文件内容打印到控制台
    IOUtils.copyBytes(in,System.out,1024,true);
  }
}

3. 总结：通过上述代码，我们可以实现在Java中读取HDFS文件。需要注意的是，如果读取的文件过大，需要使用分块读取，否则会造成内存溢出等问题。

4.

  
  

评论区

请求出错了