hadoop其實(shí)是一個(gè)有某個(gè)基金會(huì)所開(kāi)發(fā)的一種分布式的系統(tǒng)基礎(chǔ)架構(gòu),大家如果對(duì)分布式底層細(xì)節(jié)不太了解的話,也沒(méi)有關(guān)系,還可以開(kāi)發(fā)分布式程序,以充分的利用集群威力來(lái)做高速的運(yùn)算和存儲(chǔ)。而hadoop云存儲(chǔ)就是一個(gè)分布式的存儲(chǔ)系統(tǒng),我們可以在任何時(shí)候?qū)ξ募龉芾砗拖螺d等,下面新網(wǎng)就來(lái)具體說(shuō)下hadoop云存儲(chǔ)能實(shí)現(xiàn)什么功能?基于Hadoop平臺(tái)的云存儲(chǔ)解決方案是怎樣的。
hadoop云存儲(chǔ)開(kāi)發(fā)環(huán)境
Hadoop2.x分布式環(huán)境;
Eclipse;
Tomcat7;
JDK1.7;
hadoop云存儲(chǔ)主要技術(shù)
HDFS-API的運(yùn)用;
JSP+Servlet;
Bootstrap框架渲染;
系統(tǒng)B/S結(jié)構(gòu);
MVC開(kāi)發(fā)模式。
hadoop云存儲(chǔ)
hadoop云存儲(chǔ)實(shí)現(xiàn)功能
對(duì)文件的管理,其包含對(duì)文件的刪除,上傳,下載,新建文件夾等;
對(duì)后臺(tái)系統(tǒng)的實(shí)現(xiàn),包含用戶登陸,系統(tǒng)退出等;
后續(xù)待完善功能;
增加用戶注冊(cè)以及用戶基本信息修改功能;
用戶權(quán)限修改功能;
文件分享模塊。
基于Hadoop平臺(tái)的云存儲(chǔ)解決方案
云計(jì)算(Cloud Computing)是一種基于因特網(wǎng)的超級(jí)計(jì)算模式,在遠(yuǎn)程的數(shù)據(jù)中心里,成千上萬(wàn)臺(tái)電腦和服務(wù)器連接成一片電腦云。用戶通過(guò)電腦、筆記本、手機(jī)等方式接人數(shù)據(jù)中心,按自己的需求進(jìn)行運(yùn)算。目前,對(duì)于云計(jì)算仍沒(méi)有普遍一致的定義。結(jié)合上述定義,可以總結(jié)出云計(jì)算的一些本質(zhì)特征,即分布式計(jì)算和存儲(chǔ)特性、高擴(kuò)展性、用戶友好性、良好的管理性。
1云存儲(chǔ)架構(gòu)圖
橘色的作為存儲(chǔ)節(jié)點(diǎn)(Storage Node)負(fù)責(zé)存放文件,藍(lán)色作為控制節(jié)點(diǎn)((Control Node)則是負(fù)責(zé)文件索引,并負(fù)責(zé)監(jiān)控存儲(chǔ)節(jié)點(diǎn)間容量及負(fù)載的均衡,這兩個(gè)部分合起來(lái)便組成一個(gè)云存儲(chǔ)。存儲(chǔ)節(jié)點(diǎn)與控制節(jié)點(diǎn)都是單純的服務(wù)器,只是存儲(chǔ)節(jié)點(diǎn)的硬盤多一些,存儲(chǔ)節(jié)點(diǎn)服務(wù)器不需要具備RAID的功能,只要能安裝Linux即可,控制節(jié)點(diǎn)為了保護(hù)數(shù)據(jù),需要有簡(jiǎn)單的RAID level O1的功能。
云存儲(chǔ)不是要取代現(xiàn)有的盤陣,而是為了應(yīng)付高速成長(zhǎng)的數(shù)據(jù)量與帶寬而產(chǎn)生的新形態(tài)存儲(chǔ)系統(tǒng),因此云存儲(chǔ)在設(shè)計(jì)時(shí)通常會(huì)考慮以下三點(diǎn):
(1)容量、帶寬的擴(kuò)容是否簡(jiǎn)便
擴(kuò)容是不能停機(jī),會(huì)自動(dòng)將新的存儲(chǔ)節(jié)點(diǎn)容量納入原來(lái)的存儲(chǔ)池。不需要做繁復(fù)的設(shè)定。
(2)帶寬是否線形增長(zhǎng)
使用云存儲(chǔ)的客戶,很多是考慮未來(lái)帶寬的增長(zhǎng),因此云存儲(chǔ)產(chǎn)品設(shè)計(jì)的好壞會(huì)產(chǎn)生很大的差異,有些十幾個(gè)節(jié)點(diǎn)便達(dá)到飽和,這樣對(duì)未來(lái)帶寬的擴(kuò)容就有不利的影響,這一點(diǎn)要事先弄清楚,否則等到發(fā)現(xiàn)不符合需求時(shí),已經(jīng)買了幾百TB,后悔就來(lái)不及了。
(3)管理是否容易。
2云存儲(chǔ)關(guān)鍵技術(shù)
云存儲(chǔ)必須具備九大要素:
①性能;
②安全性;
③自動(dòng)ILM存儲(chǔ);
④存儲(chǔ)訪問(wèn)模式;
⑤可用性;
⑥主數(shù)據(jù)保護(hù);
⑦次級(jí)數(shù)據(jù)保護(hù);
⑧存儲(chǔ)的靈活;
⑨存儲(chǔ)報(bào)表。
云計(jì)算的發(fā)展離不開(kāi)虛擬化、并行計(jì)算、分布式計(jì)算等核心技術(shù)的發(fā)展成熟。下面對(duì)其介紹如下:
(1)集群技術(shù)、網(wǎng)格技術(shù)和分布式文件系統(tǒng)
云存儲(chǔ)系統(tǒng)是一個(gè)多存儲(chǔ)設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體,任何一個(gè)單點(diǎn)的存儲(chǔ)系統(tǒng)都不是云存儲(chǔ)。
既然是由多個(gè)存儲(chǔ)設(shè)備構(gòu)成的,不同存儲(chǔ)設(shè)備之間就需要通過(guò)集群技術(shù)、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù),實(shí)現(xiàn)多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作,使多個(gè)的存 儲(chǔ)設(shè)備可以對(duì)外提供同一種服務(wù),并提供更大更強(qiáng)更好的數(shù)據(jù)訪問(wèn)性能。如果沒(méi)有這些技術(shù)的存在,云存儲(chǔ)就不可能真正實(shí)現(xiàn),所謂的云存儲(chǔ)只能是一個(gè)一個(gè)的獨(dú)立 系統(tǒng),不能形成云狀結(jié)構(gòu)。
(2)CDN內(nèi)容分發(fā)、P2P技術(shù)、數(shù)據(jù)壓縮技術(shù)、重復(fù)數(shù)據(jù)刪除技術(shù)、數(shù)據(jù)加密技術(shù)
CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)被未授權(quán)的用戶所訪問(wèn),同時(shí),通過(guò)各種數(shù)據(jù)備份和容災(zāi)技術(shù)保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)丟失,保證云存儲(chǔ)自身的安全和穩(wěn)定。如果云存儲(chǔ)中的數(shù)據(jù)安全得不到保證,也沒(méi)有人敢用云存儲(chǔ)了。
(3)存儲(chǔ)虛擬化技術(shù)、存儲(chǔ)網(wǎng)絡(luò)化管理技術(shù)
云存儲(chǔ)中的存儲(chǔ)設(shè)備數(shù)量龐大且分布多在不同地域,如何實(shí)現(xiàn)不同廠商、不同型號(hào)甚至于不同類型(例如FC存儲(chǔ)和IP存儲(chǔ))的多臺(tái)設(shè)備之間的邏輯卷管 理、存儲(chǔ)虛擬化管理和多鏈路冗余管理將會(huì)是一個(gè)巨大的難題,這個(gè)問(wèn)題得不到解決,存儲(chǔ)設(shè)備就會(huì)是整個(gè)云存儲(chǔ)系統(tǒng)的性能瓶頸,結(jié)構(gòu)上也無(wú)法形成一個(gè)整體,而 且還會(huì)帶來(lái)后期容量和性能擴(kuò)展難等問(wèn)題。
hadoop云存儲(chǔ)能夠?qū)崿F(xiàn)什么樣的功能?以上就給大家簡(jiǎn)要的介紹了關(guān)于hadoop
云存儲(chǔ)技術(shù)和功能方面的問(wèn)題,hadoop云存儲(chǔ)使用的技術(shù)比較多,它具有多種功能,比如文件管理,分享文件模塊等,另外,對(duì)于hadoop云存儲(chǔ)的解決方案,大家最好也要了解一下,如有疑問(wèn),可以咨詢新網(wǎng)。