浪潮招新萌新挑战题

一.Hadoop有哪几种运行模式?分别是什么?

1.独立(本地)运行模式。无需任何守护进程,所有的程序都运行在同一个JVM上执行。在独立模式下调试MR程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用 。

2.伪分布式模式。Hadoop守护进程运行在本地机器上,模拟一个小规模的集群,换句话说,可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。

3.完全分布式模式。Hadoop守护进程运行在一个集群上。

二.简述一下HDFS读写过程

读过程:

1.客户端发起读请求

2.客户端与NameNode得到文件的块及位置信息列表

3.客户端直接和DataNode交互读取数据

4.读取完成关闭连接

写过程:

1.客户端在向NameNode请求之前先写入文件数据到本地文件系统的一个临时文件。

2.待临时文件达到块文件大小时开始向NameNode请求DataNode信息。

3.NameNode在文件系统中创建文件并返回给客户端一个数据块及其对应DataNode的地址列表(列表中包含副本存放的地址)。

4.客户端通过上一步得到的信息把创建临时文件块Flush到列表中的第一个DaTaNode。

5.当文件关闭,NameNode会提交这次文件创建,此时文件在文件系统中可见。

三.说出至少三种HDFS保证数据一致性的方法

1.冗余副本策略

2.机架策略

3.心跳机制

4.安全模式

5.校验和

6.回收站

7.元数据保护

8.快照机制

直接传送门…. hdfs数据一致性

Add a Comment

电子邮件地址不会被公开。 必填项已用*标注