hdfs工作原理 hdfs工作原理是什么样的 _标签

hdfs工作原理如下：

1、客户端通过调用FileSystem对象的open括号来读取希望打开的文件。对于HDFS来说，这个对象是分布式文件系统的一个实例。

2、DistributedFileSystem通过RPC来调用namenode，以确定文件的开头部分的块位置。对于每一块，namenode返回具有该块副本的datanode地址。此外，这些datanode根据他们与client的距离来排序（根据网络集群的拓扑）。如果该client本身就是一个datanode，便从本地datanode中读取。DistributedFileSystem返回一个FSDataInputStream对象给client读取数据，FSDataInputStream转而包装了一个DFSInputStream对象。
【hdfs工作原理 hdfs工作原理是什么样的】

3、接着client对这个输入流调用read() 。存储着文件开头部分的块的数据节点的地址DFSInputStream随即与这些块最近的datanode相连接。

4、通过在数据流中反复调用read()，数据会从datanode返回client 。

5、到达块的末端时，DFSInputStream会关闭与datanode间的联系，然后为下一个块找到最佳的datanode 。client端只需要读取一个连续的流，这些对于client来说都是透明的。

6、在读取的时候，如果client与datanode通信时遇到一个错误，那么它就会去尝试对这个块来说下一个最近的块。它也会记住那个故障节点的datanode，以保证不会再对之后的块进行徒劳无益的尝试。client也会确认datanode发来的数据的校验和。如果发现一个损坏的块，它就会在client试图从别的datanode中读取一个块的副本之前报告给namenode 。

7、这个设计的一个重点是，client直接联系datanode去检索数据，并被namenode指引到块中最好的datanode 。因为数据流在此集群中是在所有datanode分散进行的。

hdfs工作原理 hdfs工作原理是什么样的

相关经验推荐

面巾纸的用途是什么

梦见毒蛇是什么意思，睡觉梦见毒蛇是什么意思

小儿肝炎的早期症状如何判断孩子是否得了肝炎及乙肝的危害

微波炉烤排骨怎么烤用微波炉怎样烤排骨

温州市大学生驿站住宿天数要求多少温州大学暑期留宿

他是神枪王是四大百人斩之一最后选择自刎?而死

泰拉瑞亚肉山怎么召唤条件泰拉瑞亚肉山召唤方法

换季护肤品怎么处理这样做用剩的护肤品不会浪费哦！

刀切面煮多长时间刀削面煮多长时间能好

草莓需要授粉吗家里种草莓需要授粉吗

2021英文短语，微信英文短语大全

熟羊肉冰箱可以放多久

梨醋的发酵及制作方法,如何发酵蔬菜醋水

dnf武器在哪里强化最好 DNF武器在哪里强化

水柱义勇|《鬼灭之刃》放暑假！无惨老板应大家所求，出来晒太阳了！

校服裤子怎么挽裤腿

脾虚的人喝什么茶比较好适合脾虚的人喝的恶茶

额头很多痘痘怎么办

青梅是水果吗青梅是梅花结的果吗

眼影防脱色的方法