云計(jì)算系統(tǒng)由大量服務(wù)器組成，同時(shí)為大量用戶(hù)服務(wù)，因此云計(jì)算系統(tǒng)采用分布式存儲(chǔ)的方式存儲(chǔ)數(shù)據(jù)，用冗余存儲(chǔ)的方式保證數(shù)據(jù)的可靠性。云計(jì)算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲(chǔ)系統(tǒng)是Google的GFS和Hadoop團(tuán)隊(duì)開(kāi)發(fā)的GFS的開(kāi)源實(shí)現(xiàn)HDFS。通信技術(shù)

GFS即Google文件系統(tǒng)(Google File System)，是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪(fǎng)問(wèn)的應(yīng)用。GFS的設(shè)計(jì)思想不同于傳統(tǒng)的文件系統(tǒng)，是針對(duì)大規(guī)模數(shù)據(jù)處理和Google應(yīng)用特性而設(shè)計(jì)的。它運(yùn)行于廉價(jià)的普通硬件上，但可以提供容錯(cuò)功能。它可以給大量的用戶(hù)提供總體性能較高的服務(wù)。

一個(gè)GFS集群由一個(gè)主服務(wù)器(master)和大量的塊服務(wù)器(chunkserver)構(gòu)成，并被許多客戶(hù)(Client)訪(fǎng)問(wèn)。主服務(wù)器存儲(chǔ)文件系統(tǒng)所以的元數(shù)據(jù)，包括名字空間、訪(fǎng)問(wèn)控制信息、從文件到塊的映射以及塊的當(dāng)前位置。它也控制系統(tǒng)范圍的活動(dòng)，如塊租約(lease)管理，孤兒塊的垃圾收集，塊服務(wù)器間的塊遷移。主服務(wù)器定期通過(guò)HeartBeat消息與每一個(gè)塊服務(wù)器通信，給塊服務(wù)器傳遞指令并收集它的狀態(tài)。GFS中的文件被切分為64MB的塊并以冗余存儲(chǔ)，每份數(shù)據(jù)在系統(tǒng)中保存3個(gè)以上備份。物聯(lián)網(wǎng)解決方案

客戶(hù)與主服務(wù)器的交換只限于對(duì)元數(shù)據(jù)的操作，所有數(shù)據(jù)方面的通信都直接和塊服務(wù)器聯(lián)系，這大大提高了系統(tǒng)的效率，防止主服務(wù)器負(fù)載過(guò)重。

以上內(nèi)容由互聯(lián)網(wǎng)收集整理，版權(quán)歸原創(chuàng)作者所有，如有侵權(quán)請(qǐng)聯(lián)系我們處理刪除內(nèi)容，謝謝！