Java操作HDFS开发环境搭建以及HDFS的读写流程
Java操作HDFS开发环境搭建
在之前我们已经介绍了如何在Linux上进行HDFS伪分布式环境的搭建，也介绍了hdfs中一些常用的命令。但是要如何在代码层面进行操作呢？这是本节将要介绍的内容：
目前创新互联已为成百上千的企业提供了网站建设、域名、网页空间、网站托管、服务器托管、企业网站设计、闻喜网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。
1.首先使用IDEA创建一个maven工程：
maven默认是不支持cdh的仓库的，需要在pom.xml中配置cdh的仓库，如下：
cloudera
https://repository.cloudera.com/artifactory/cloudera-repos/
注意：如果你maven的settings.xml文件中，将mirrorOf的值配置成了*的话，那么就需要将其修改为*,!cloudera或central，因为*表示覆盖所有仓库地址会导致maven无法从cloudera的仓库下载依赖包，而*,!cloudera 表示不覆盖id为cloudera的仓库，关于这个问题可以自行了解一下。具体配置如下示例：
alimaven
aliyun maven
http://maven.aliyun.com/nexus/content/groups/public/
*,!cloudera
最后添加相关的依赖项：
UTF-8
2.6.0-cdh6.7.0
org.apache.hadoop
hadoop-client
${hadoop.version}
junit
junit
4.10
test
Java API操作HDFS文件系统
搭建完工程环境后，我们就可以调用Hadoop的API来操作HDFS文件系统了，下面我们来写一个测试用例，在HDFS文件系统上创建一个目录：
package org.zero01.hadoop.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.net.URI;
/**
* @program: hadoop-train
* @description: Hadoop HDFS Java API 操作
* @author: 01
* @create: 2018-03-25 13:59
**/
public class HDFSAPP {
// HDFS文件系统服务器的地址以及端口
public static final String HDFS_PATH = "hdfs://192.168.77.130:8020";
// HDFS文件系统的操作对象
FileSystem fileSystem = null;
// 配置对象
Configuration configuration = null;
/**
* 创建HDFS目录
*/
@Test
public void mkdir()throws Exception{
// 需要传递一个Path对象
fileSystem.mkdirs(new Path("/hdfsapi/test"));
}
// 准备资源
@Before
public void setUp() throws Exception {
configuration = new Configuration();
// 第一参数是服务器的URI，第二个参数是配置对象，第三个参数是文件系统的用户名
fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "root");
System.out.println("HDFSAPP.setUp");
}
// 释放资源
@After
public void tearDown() throws Exception {
configuration = null;
fileSystem = null;
System.out.println("HDFSAPP.tearDown");
}
}运行结果：
可以看到是运行成功的，然后到服务器上，查看文件是否多了我们创建的目录：
[root@localhost ~]# hdfs dfs -ls /
Found 3 items
-rw-r--r-- 1 root supergroup 311585484 2018-03-24 23:15 /hadoop-2.6.0-cdh6.7.0.tar.gz
drwxr-xr-x - root supergroup 0 2018-03-25 22:17 /hdfsapi
-rw-r--r-- 1 root supergroup 49 2018-03-24 23:10 /hello.txt
[root@localhost ~]# hdfs dfs -ls /hdfsapi
Found 1 items
drwxr-xr-x - root supergroup 0 2018-03-25 22:17 /hdfsapi/test
[root@localhost ~]# 如上，代表我们的目录创建成功了。
我们再来增加一个方法，测试创建文件，并写入一些内容到文件中：
/**
* 创建文件
*/
@Test
public void create() throws Exception {
// 创建文件
FSDataOutputStream outputStream = fileSystem.create(new Path("/hdfsapi/test/a.txt"));
// 写入一些内容到文件中
outputStream.write("hello hadoop".getBytes());
outputStream.flush();
outputStream.close();
}执行成功后，同样的到服务器上，查看是否有我们创建的文件，并且文件的内容是否是我们写入的内容：
[root@localhost ~]# hdfs dfs -ls /hdfsapi/test
Found 1 items
-rw-r--r-- 3 root supergroup 12 2018-03-25 22:25 /hdfsapi/test/a.txt
[root@localhost ~]# hdfs dfs -text /hdfsapi/test/a.txt
hello hadoop
[root@localhost ~]# 每次操作完都得去服务器上查看，很麻烦，其实我们也可以直接在代码中读取文件系统中某个文件的内容，如下示例：
/**
* 查看HDFS里某个文件的内容
*/
@Test
public void cat() throws Exception {
// 读取文件
FSDataInputStream in = fileSystem.open(new Path("/hdfsapi/test/a.txt"));
// 将文件内容输出到控制台上，第三个参数表示输出多少字节的内容
IOUtils.copyBytes(in, System.out, 1024);
in.close();
}现在创建目录、文件以及读取文件内容都知道如何操作了，或许我们还需要知道如何重命名文件，如下示例：
/**
* 重命名文件
*/
@Test
public void rename() throws Exception {
Path oldPath = new Path("/hdfsapi/test/a.txt");
Path newPath = new Path("/hdfsapi/test/b.txt");
// 第一个参数是原文件的名称，第二个则是新的名称
fileSystem.rename(oldPath, newPath);
}增、查、改我们都已经知道如何操作了，就差最后一个删除的操作了，如下示例：
/**
* 删除文件
* @throws Exception
*/
@Test
public void delete()throws Exception{
// 第二个参数指定是否要递归删除，false=否，true=是
fileSystem.delete(new Path("/hdfsapi/test/MySQL_cluster.iso"), false);
}对文件的增、删、查、改都介绍完了，下面我们来看看如何上传本地文件到HDFS文件系统中，我这里有一个local.txt文件，文件内容如下：
This is a local file
编写测试代码如下：
/**
* 上传本地文件到HDFS
*/
@Test
public void copyFromLocalFile() throws Exception {
Path localPath = new Path("E:/local.txt");
Path hdfsPath = new Path("/hdfsapi/test/");
// 第一个参数是本地文件的路径，第二个则是HDFS的路径
fileSystem.copyFromLocalFile(localPath, hdfsPath);
}执行以上的方法成功后，我们到HDFS上，看看是否拷贝成功：
[root@localhost ~]# hdfs dfs -ls /hdfsapi/test/
Found 2 items
-rw-r--r-- 3 root supergroup 12 2018-03-25 22:33 /hdfsapi/test/b.txt
-rw-r--r-- 3 root supergroup 20 2018-03-25 22:45 /hdfsapi/test/local.txt
[root@localhost ~]# hdfs dfs -text /hdfsapi/test/local.txt
This is a local file
[root@localhost ~]# 以上演示了上传一个小的文件，但是如果我需要上传一个比较大的文件，并且还希望有个进度条的话，就得使用以下这个种方式了：
/**
* 上传大体积的本地文件到HDFS，并显示进度条
*/
@Test
public void copyFromLocalFileWithProgress() throws Exception {
InputStream in = new BufferedInputStream(new FileInputStream(new File("E:/Linux Install/mysql_cluster.iso")));
FSDataOutputStream outputStream = fileSystem.create(new Path("/hdfsapi/test/mysql_cluster.iso"), new Progressable() {
public void progress() {
// 进度条的输出
System.out.print(".");
}
});
IOUtils.copyBytes(in, outputStream, 4096);
in.close();
outputStream.close();
}同样的，执行以上的方法成功后，我们到HDFS上，看看是否上传成功：
[root@localhost ~]# hdfs dfs -ls -h /hdfsapi/test/
Found 3 items
-rw-r--r-- 3 root supergroup 12 2018-03-25 22:33 /hdfsapi/test/b.txt
-rw-r--r-- 3 root supergroup 20 2018-03-25 22:45 /hdfsapi/test/local.txt
-rw-r--r-- 3 root supergroup 812.8 M 2018-03-25 23:01 /hdfsapi/test/mysql_cluster.iso
[root@localhost ~]#既然有上传文件自然就有下载文件，而且上传文件的方式有两种。所以下载文件的方式也有两种，如下示例：
/**
* 下载HDFS文件1
*
*/
@Test
public void copyToLocalFile1() throws Exception {
Path localPath = new Path("E:/b.txt");
Path hdfsPath = new Path("/hdfsapi/test/b.txt");
fileSystem.copyToLocalFile(hdfsPath, localPath);
}
/**
* 下载HDFS文件2
*
*/
@Test
public void copyToLocalFile2() throws Exception {
FSDataInputStream in = fileSystem.open(new Path("/hdfsapi/test/b.txt"));
OutputStream outputStream = new FileOutputStream(new File("E:/b.txt"));
IOUtils.copyBytes(in, outputStream, 1024);
in.close();
outputStream.close();
}- 注意：以上演示的第一种下载方式在windows操作系统上可能会报空指针错误，在windows上建议使用第二种方式
下面我们来演示一下如何列出某个目录下的所有文件，示例：
/**
* 查看某个目录下所有的文件
*
* @throws Exception
*/
@Test
public void listFiles() throws Exception {
FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/hdfsapi/test/"));
for (FileStatus fileStatus : fileStatuses) {
System.out.println("这是一个：" + (fileStatus.isDirectory() ? "文件夹" : "文件"));
System.out.println("副本系数：" + fileStatus.getReplication());
System.out.println("大小：" + fileStatus.getLen());
System.out.println("路径：" + fileStatus.getPath() + "\n");
}
}控制台打印结果如下：
这是一个：文件
副本系数：3
大小：12
路径：hdfs://192.168.77.130:8020/hdfsapi/test/b.txt
这是一个：文件
副本系数：3
大小：20
路径：hdfs://192.168.77.130:8020/hdfsapi/test/local.txt
这是一个：文件
副本系数：3
大小：852279296
路径：hdfs://192.168.77.130:8020/hdfsapi/test/mysql_cluster.iso注意，从控制台打印结果中，我们可以看到一个问题：我们之前已经在hdfs-site.xml中设置了副本系数为1，为什么此时查询文件看到的系数是3呢？
其实这是因为这几个文件都是我们在本地通过Java API上传上去的，在本地我们并没有设置副本系数，所以这时就会使用Hadoop的默认副本系数：3。
如果我们是在服务器上，通过hdfs命令put上去的，那么才会采用我们在配置文件中设置的副本系数。不信的话，可以在代码中将路径修改为根目录，这时控制台输出如下：
这是一个：文件
副本系数：1
大小：311585484
路径：hdfs://192.168.77.130:8020/hadoop-2.6.0-cdh6.7.0.tar.gz
这是一个：文件夹
副本系数：0
大小：0
路径：hdfs://192.168.77.130:8020/hdfsapi
这是一个：文件
副本系数：1
大小：49
路径：hdfs://192.168.77.130:8020/hello.txt根目录下的文件都是我们之前通过hdfs命令put上去，所以这些文件的副本系数才是我们在配置文件中设置的副本系数。
HDFS写数据流程
关于HDFS写数据流程，我在网络上找到一篇描述非常简洁易懂的漫画形式讲解HDFS的原理，作者不详。比一般PPT要通俗易懂很多，是难得的学习资料，特此摘录到本文中。
1、三个部分: 客户端、NameNode（可理解为主控和文件索引类似linux的inode）、DataNode（存放实际数据的存server）
2、HDFS写数据过程：
HDFS读取数据流程
3、读取数据过程
4、容错：第一部分：故障类型及其检测方法（nodeserver 故障，和网络故障，和脏数据问题）
5、容错第二部分：读写容错
6、容错第三部分：dataNode 失效
7、备份规则
8、结束语
关于这个漫画还有一个中文版的，地址如下：
https://www.cnblogs.com/raphael5200/p/5497218.html
HDFS文件系统的优缺点
HDFS优点：
- 数据冗余（多副本存储）、硬件容错
- 处理流式的数据访问，一次写入多次读取
- 适合存储大文件
- 可以构建在廉价机器上，节省成本
HDFS缺点：
- 不适合低延迟数据访问
- 无法高效存储大量小文件
- 因为即便只有1M的文件，也是拥有自己的元数据的。所以如果存在大量的小文件，那么相对应的元数据需要占用的存储空间就越大，元数据过多会给NameNode增加压力
本文标题：Java操作HDFS开发环境搭建以及HDFS的读写流程
网页URL：http://6mz.cn/article/jdoehc.html