合作客戶

新聞分(fēn)類

産品分(fēn)類

聯系我(wǒ)(wǒ)們

深圳市興中時尚流行資訊網絡有限公司

電(diàn)  話(huà):0755-89232086

郵       箱:sz@cecom.cn

網    址:www.ce3.com.cn

地      址:深圳市龍崗區龍崗路10号

                 電(diàn)子商(shāng)務港矽谷動力1210



帝國背後的故事之解密谷歌網絡

您的當前位置: 首 頁 >> 新聞中(zhōng)心 >> 網絡公關

帝國背後的故事之解密谷歌網絡

發布日期:2016-09-24 00:00 來源:http://www.ce3.com.cn 點擊:

龍崗網站建站多年以來,谷歌在搭建自己的服務器網絡時并沒有使用傳統網絡設備商(shāng)的設備,他們并沒有大(dà)規模的購買思科,惠普或者愛立信的交換機和路由器。三年半之前,一(yī)個包裹被快遞到了愛荷華州一(yī)個農業小(xiǎo)鎮的某辦公樓裏,一(yī)段關于谷歌的神奇故事就此拉開(kāi)了帷幕。包裹裏面是幾個奇怪的 計算設備,它們非常的寬大(dà)扁平,就像裝披薩的盒子。盒子的一(yī)邊是密集的開(kāi)口,顯然是用來接入大(dà)量網線用的,另一(yī)邊貼着一(yī)個“海王星交換機”(Pluto Switch)的标簽。它們的外(wài)形與常規的網絡設備大(dà)相徑庭,而且盒子的背面還印着許多芬蘭語的字符。這個公司的工(gōng)作人員(yuán)顯然并不知(zhī)道這些盒子的具體(tǐ)用途,于是有人把這些盒子轉寄到了他們威斯康辛的總部,希望那裏的IT專家們可以解答這些盒子的秘密。總部的IT工(gōng)作人員(yuán)一(yī)開(kāi)始同樣一(yī)頭霧水,但是不久之後他們在一(yī)個非常小(xiǎo)衆的網絡論壇上得到了一(yī)些答複:這些盒子是網絡交換機,它們工(gōng)作在因特網紛繁複雜(zá)豐富多彩的表面之下(xià),負責在數據中(zhōng)心之間大(dà)量的傳輸和轉移數據,并且,它們的主人是谷歌。

龍崗網站建設多年以來,谷歌在搭建自己的服務器網絡時并沒有使用傳統網絡設備商(shāng)的設備,他們并沒有大(dà)規模的購買思科,惠普或者愛立信的交換機和路由器。爲了适應谷歌急速擴張的服務器網絡,他們專門設計了自己的網絡設備并且爲他們編寫了自己的軟件用于配置和管理自己的網絡。而直到這次陰差陽錯的郵遞員(yuán)事件,外(wài)界才第一(yī)次看到這些設備的真容。由于這個項目對于谷歌的重大(dà)意義,在對外(wài)界保密的同時谷歌一(yī)直在持續增加對這個項目的投入。直到今天早上,在矽谷的一(yī)個技術會議中(zhōng),來自谷歌的Amin Vahdat才第一(yī)次作爲這個項目的負責人展示了支撐谷歌網絡帝國長達10年的前5代的硬件軟件解決方案,并且對這個領域的一(yī)些基礎技術進行了介紹和探讨。這些探讨對于整個互聯網世界都具有一(yī)定的前瞻性,畢竟未來會有更多的互聯網公司将要走上谷歌已經走過的路。



圖爲Amin Vahdat, 谷歌“消防水管”(Firehose)項目的負責人

Amin Vahdat最早是UCSD的教授,他的研究領域就是網絡的拓展,當意識到在學術圈的世界裏已經無法構建規模足夠大(dà)的網絡之後,他來到了谷歌。據Vahdat介紹,谷歌這個秘密項目名字叫做“消防水管”(Firehose),始于2004年。到2005,2006年的時候,這個項目的産品已經部署在谷歌若幹個數據中(zhōng)心日夜運行。除了快遞員(yuán)投錯的那些類似于“高性能架頂式”(Top-of-Rack)交換機的産品,他們還開(kāi)發了另外(wài)一(yī)種用于連接大(dà)規模網絡之間相互連接的“集群交換機”(Cluster swtiches)。不僅如此,谷歌甚至還設計開(kāi)發了自己專屬的路由協議和網絡管理軟件。對此Vahdat的解釋是:“那時的設備完全不能應付我(wǒ)(wǒ)們的網絡所需要處理的帶寬和數據吞吐量,那樣的設備在這個星球上根本就不存在。”

談到消防水管這個項目最初的動機,Vahdat表示主要有兩個方面,一(yī)方面在于谷歌的服務器網絡擴張太快,傳統網絡設備商(shāng)的産品已經無法滿足他們在各個不停擴張的數據中(zhōng)心之間快速交換數據的需求;另一(yī)方面谷歌也需要爲這個長期持續的挑戰找到一(yī)個低成本的解決方案,運用傳統的手段搭建谷歌所需要的規模的數據中(zhōng)心和網絡,成本将是真正意義的天文數字。而這個低成本的解決方案就是大(dà)量購買價格低廉的民用級的芯片,并且讓他們協同工(gōng)作完成交換處理海量數據的任務,聽(tīng)起來很像當下(xià)被炒得火(huǒ)熱的雲計算的概念雛形。

龍崗網站建設中(zhōng)谷歌的确在愛荷華州的那個小(xiǎo)鎮附近設有數據中(zhōng)心,所以顯然是郵遞員(yuán)粗心把這個設備寄到了錯誤的地址。這個公司的工(gōng)作人員(yuán)把這些盒子兩兩裝好之後寄給了谷歌,并且迅速的從那個論壇上銷聲匿迹,但是他們在論壇上曾經發過的照片和技術讨論還是爲人們打開(kāi)了一(yī)扇窺探谷歌帝國内部的神秘網絡世界的窗戶。它指向了一(yī)個也許會改變整個互聯網世界的神秘項目,而谷歌卻從未在公開(kāi)的場合談論過它。

image.png

圖爲谷歌代号爲”海王星“(Pluto)的高性能架頂式交換機

十幾年之前當谷歌剛剛開(kāi)始搭建自己的服務器網絡時,他們的選擇跟其他所有公司如出一(yī)轍。他們嘗試從思科購買最大(dà)最強的集群交換機(Cluster swtiches),在每個數據中(zhōng)心的内部,這些集群交換機構成了網絡的骨架。每一(yī)部這樣的集群交換機都要花費(fèi)谷歌幾十萬到幾百萬美元,而每一(yī)部這樣的交換機上隻有固定數量的網絡接口可以連接到其他的交換機,這意味着搭建一(yī)個可以滿足谷歌需要的數據網絡将會耗費(fèi)無盡的美元。“那時候我(wǒ)(wǒ)們的采購隻會跟他們說,嘿哥們,把你們現有最牛的交換機給我(wǒ)(wǒ)們,隻要最牛的。”

于是從2004年開(kāi)始谷歌内部成立了一(yī)個小(xiǎo)組開(kāi)始研究自己的網絡設備解決方案。這個方案簡而言之就是用普通的民用級芯片搭建通用的硬件,然後在上面跑任何需要運行的軟件。思科爲不同級别的需求提供不同的硬件,并每套硬件上面都運行特定的相匹配的軟件。而谷歌的解決方案則簡單粗暴的多,所有的硬件都是相同的,面對不同的需求時解決方案的差别僅在于一(yī)起協作的硬件的數量,一(yī)個“高性能架頂式”交換機就相當于一(yī)個“集群交換機”上的一(yī)塊闆,性能的提升幾乎等同于數量的疊加,而這些相同的硬件都可以運行任何需要運行的軟件。根據Vahdat的介紹,現在谷歌“朱庇特”(Jupiter)系列集群交換機的處理能力已經達到了每秒40Tb,等同于4000萬個家庭用戶接入的帶寬和吞吐量。


圖爲谷歌的”朱庇特“(Jupiter)系列集群交換機,每秒可以處理40Tb的數據,相當于4000萬家庭用戶接入的吞吐量。

相較于硬件,Vahdat對于他們解決方案的軟件部分(fēn)言之甚少。但是他透露他們的網絡設備運行在Linux的系統之上,他們還開(kāi)發了自己的路由協議“火(huǒ)線”(Firepath),用于判斷數據交換時的最佳路徑。在網絡世界裏工(gōng)業标準的路由協議是BGP和OSPF,開(kāi)發自己的路由協議是非常罕見的現象。Vahdat解釋說在他們開(kāi)始搭建網絡的時候這些标準協議還不像今天這般簡單和高效,而他們将要搭建這個世界上最大(dà)最複雜(zá)的網絡,所以他們需要一(yī)個更加簡單快速可擴展的方案。“火(huǒ)線”協議的細節無比複雜(zá),如果要介紹它的優勢,一(yī)言以蔽之,“火(huǒ)線”的用戶可以通過一(yī)個中(zhōng)央控制軟件來統一(yī)配置整個網絡的行爲,而在傳統的網絡世界裏如果想要達到同樣的效果,網絡管理專家們必須對網絡中(zhōng)的每個交換機一(yī)個一(yī)個的單獨配置。

谷歌的服務器網絡很可能是世界上最大(dà)的一(yī)個。一(yī)個驚人的事實是,如今谷歌網絡内部數據中(zhōng)心之間交換的數據量已經超過了谷歌和整個互聯網之間交換的數據量。如今像微軟,亞馬遜和Facebook也都面臨着和谷歌類似的挑戰,而他們也各自進行着類似的項目。Facebook從一(yī)開(kāi)始就公開(kāi)了他們的SDN(software-defined networking)計劃,而美國最大(dà)的網絡服務提供商(shāng)AT&T也已經在緊鑼密鼓的進行着向這種新的網絡技術的遷移。

龍崗網站建設中(zhōng)SDN技術發展到現在,憑借其低成本,高靈活性和幾乎無限的擴展性的巨大(dà)優勢,已經給傳統的網絡設備商(shāng)帶來了前所未有的挑戰,而這種挑戰很可能是颠覆性的,它意味着傳統網絡設備商(shāng)們的蛋糕整個變小(xiǎo)了,而且将越變越小(xiǎo)。當谷歌微軟這樣的巨頭紛紛抛棄思科們的時候,那些中(zhōng)小(xiǎo)規模的公司一(yī)樣會因爲SDN的種種優勢而希望轉投SDN的懷抱,他們之所以還不能這樣做是因爲他們不像那些巨頭公司一(yī)樣有足夠的資(zī)源來設計開(kāi)發自己的硬件軟件和解決方案。于是一(yī)批新的創業公司應運而生(shēng),他們專門爲其他公司提供新一(yī)代的網絡解決方案,“當你隻需要花很少的錢買一(yī)堆廉價芯片并且用一(yī)個中(zhōng)央控制軟件就可以配置整個網絡的時候,昂貴而又(yòu)複雜(zá)的傳統網絡解決方案看起來如此笨拙不堪一(yī)擊。”如今Nicira (已經被VMware收購), Big Switch Networks, 和 JR Rivers’ Cumulus Networks等公司的蓬勃發展已經證明了SDN大(dà)勢的不可阻擋,網絡世界注定将要迎來一(yī)場革命。


相關标簽:華企立方

在線咨詢

1657163421112906.jpg

業務咨詢微信
返回頂部