幫助更多的人
做更好的視頻!

問答社區(qū)

抖音服務(wù)器帶寬有多大,為什么能夠供那么多人同時(shí)刷?

第一短視頻 tiktok 356

聽說抖音月活躍用戶達(dá)到五個(gè)億了,超清視頻流量都那么大,怎么做到的

回復(fù)

共9條回復(fù) 我來回復(fù)
  • 抖音,百度,阿里云,騰訊都是自建的數(shù)據(jù)中心,都是T級(jí)別出口帶寬(總出口帶寬),也就是達(dá)到1T=1024G/s的出口帶寬,服務(wù)器總署基本都在20萬臺(tái)以上,甚至阿里云都超過了100萬臺(tái)。

    字節(jié)跳動(dòng)的數(shù)據(jù)中心總帶寬,可能在10TB級(jí)別左右,預(yù)期突破15TB級(jí)別不遠(yuǎn)了。

    一般情況下:總出口帶寬1TB,實(shí)際機(jī)房出口帶寬可能只有100G上下,這是采用雙(多)鏈路設(shè)計(jì),雙出口實(shí)現(xiàn)動(dòng)態(tài)流量分擔(dān),總的出口帶寬可以達(dá)到T級(jí)別。

    大型數(shù)據(jù)中心

    想要同一時(shí)間有數(shù)億人在線,TB級(jí)別帶寬,CDN加速和多節(jié)點(diǎn),負(fù)載均衡等等技術(shù)缺一不可。(這個(gè)設(shè)計(jì)技術(shù)過于復(fù)雜,有相關(guān)專業(yè)朋友,可以評(píng)論簡要概述)

    CDN加速

    字節(jié)跳動(dòng)有多少臺(tái)服務(wù)器?

    根據(jù)網(wǎng)絡(luò)數(shù)據(jù)整理,2017年2-3萬臺(tái)服務(wù)器,這個(gè)時(shí)候主要是租用服務(wù)器為主。2018年,字節(jié)跳動(dòng)自己建設(shè)了數(shù)據(jù)中心,最大的數(shù)據(jù)中心在河北懷來官廳湖新媒體產(chǎn)業(yè)園,一期5萬臺(tái)服務(wù)器。二期9萬臺(tái)服務(wù)器。

    2018年,租用+自建的服務(wù)器數(shù)量達(dá)到17萬臺(tái)服務(wù)器。

    2020年,根據(jù)字節(jié)跳動(dòng)招聘公告的數(shù)據(jù),顯示有42萬臺(tái)服務(wù)器。比2018年增長了1.5倍。(數(shù)據(jù)來自網(wǎng)絡(luò))

    一個(gè)機(jī)柜中10-20臺(tái)服務(wù)器

    這部分服務(wù)器都是給中國區(qū)域使用,主要應(yīng)用國內(nèi)的抖音,西瓜視頻,今日頭條,飛書等產(chǎn)品。

    在美國的TIKTOK是獨(dú)立出來的運(yùn)營,數(shù)據(jù)在美國當(dāng)?shù)卮鎯?chǔ)和分發(fā)。

    2020年TIktok在美國也租用了近10萬臺(tái)服務(wù)器

    據(jù)Business Insider公布數(shù)據(jù),2020年上半年,字節(jié)跳動(dòng)在美國弗吉尼亞州北部租用了能耗達(dá)53兆瓦的數(shù)據(jù)中心。可以容納數(shù)十萬臺(tái)服務(wù)器,占地面積可達(dá)數(shù)十萬平方英尺。

    Tiktok在印度,新加坡都在投資建設(shè)數(shù)據(jù)中心。

    聊完了服務(wù)器數(shù)量,那么咱們來點(diǎn)硬核的東西:字節(jié)跳動(dòng)大型的數(shù)據(jù)中心出口帶寬是多少?

    知識(shí)點(diǎn):所謂的出口帶寬,其實(shí)就是咱們普通人所說的下載帶寬。就是服務(wù)器給每一個(gè)手機(jī)分發(fā)數(shù)據(jù)總速度。

    一般情況下,小型的IDC公司自建機(jī)房,比如一些網(wǎng)站公司,租用聯(lián)通,移動(dòng),電信的機(jī)房,可能總體出口帶寬只有5G。超過30G那都是具備一定規(guī)模的企業(yè)。網(wǎng)絡(luò)公司營收少說也是幾千萬的企業(yè)。

    所以,經(jīng)常能夠看到,一些規(guī)模還不錯(cuò)的企業(yè),基本上都不再自建機(jī)房,都是使用云主機(jī)。例如阿里云的ECS,騰訊云,百度云,AWS(亞馬遜)。

    一般一個(gè)企業(yè)網(wǎng)站(企業(yè)官網(wǎng)),20M帶寬,4G內(nèi)存,100G硬盤,一年價(jià)格也就4000-5000塊錢就足夠了,趕上做活動(dòng)價(jià)格可能更便宜。

    這里面就是帶寬最貴,當(dāng)然增加帶寬,達(dá)到一定等級(jí),例如訪問量增大,必須要增加內(nèi)存和硬盤。相比來說,帶寬增加的話,費(fèi)用更貴一些?!具@里就跟你說明一下:帶寬比較昂貴,屬于稀缺資源】

    我們來看中國移動(dòng)的一個(gè)機(jī)房:中國移動(dòng)(河北石家莊)數(shù)據(jù)中心的數(shù)據(jù):

    占地面積174畝,總建筑面積13萬平方米,規(guī)劃10棟單體建筑,全部建成后可提供約3萬個(gè)機(jī)架的裝機(jī)能力3個(gè)IDC機(jī)房共可提供3.1萬架機(jī)柜,15T帶寬資源。

    一個(gè)機(jī)柜,全1U設(shè)備部署數(shù)量一般不超過16臺(tái),全2U設(shè)備一般不超過12臺(tái),全4U設(shè)備一般4到7臺(tái)。

    我們?nèi)「咝阅艿?U和4U服務(wù)器進(jìn)行平均折中,各算一半(畢竟移動(dòng)也算是有錢的大戶,不能買低端的1U設(shè)備)。那么3.1萬架機(jī)柜就可以安裝,最多21-36萬臺(tái)服務(wù)器。

    這里粗略取一個(gè)平均值:30萬臺(tái)服務(wù)器。享受15T的出口帶寬資源。當(dāng)然作為電信的干路網(wǎng),移動(dòng)拿帶寬資源肯定是要比字節(jié)跳動(dòng)更有優(yōu)勢的。

    所以,我們粗略地估計(jì)字節(jié)跳動(dòng)自建的17萬臺(tái)服務(wù)器的數(shù)據(jù)中心??偝隹趲捒赡茉?Tb-10TB上下?;旧峡隙〞?huì)采用雙出口流量設(shè)計(jì),再加上多鏈路的部署方式:可以做到實(shí)際出口帶寬在800G-1TG就可以實(shí)現(xiàn)10T左右的總出口帶寬?!具@是技術(shù)方式】

    字節(jié)跳動(dòng)2018年河北懷化數(shù)據(jù)中心

    T級(jí)別出口帶寬是什么概念,如果我告訴你2009年,整個(gè)上海的出口帶寬才1140G,也就是剛剛達(dá)到1TB。在短短的10年后,一個(gè)企業(yè)的數(shù)據(jù)中心的出口帶寬就超過1Tb,這個(gè)速度真的不可想象。

    要知道2009年,雖然智能手機(jī)不發(fā)達(dá),但是個(gè)人PC銷量已經(jīng)非常龐大了。

    CDN加速,讓大眾刷抖音,看視頻都不在卡

    知識(shí)點(diǎn):CDN(Content Delivery Network,內(nèi)容分發(fā)網(wǎng)絡(luò))

    將服務(wù)端的內(nèi)容發(fā)布到最接近用戶的邊緣節(jié)點(diǎn),使用戶可以就近取得所需的內(nèi)容。

    解決Internet網(wǎng)絡(luò)擁塞狀況,提高用戶訪問網(wǎng)站的響應(yīng)速度。多種加速的方案集合。

    用通俗的話解釋CDN就是:會(huì)把一些頁面,專門壓縮,有的壓縮為靜態(tài)頁面,靜態(tài)頁面直接分發(fā)速度快。用戶可以在2s內(nèi)看到內(nèi)容,體驗(yàn)感更好。【這是靜態(tài)傳輸】

    對(duì)于動(dòng)態(tài)視頻,首先通過智能路由,尋找最佳路徑,然后協(xié)議優(yōu)化將長連接,內(nèi)容進(jìn)行壓縮,去除冗余?!具@就是動(dòng)態(tài)壓縮】

    給你們看一下2015年騰訊5億日活,集合了音樂,即時(shí)通訊等等產(chǎn)品的CDN的級(jí)別,達(dá)到了10TB帶寬。每天請(qǐng)求萬億次。

    2015年騰訊CDN的級(jí)別

    因此,我這里說字節(jié)跳動(dòng)整體服務(wù)器有10TB應(yīng)該只少不多。畢竟抖音日活有6億,西瓜視頻+今日頭條我們粗略算是2億,總計(jì)有8億的日活。

    就是這么大的帶寬和技術(shù)實(shí)力,才能讓我們看視頻這么順暢。

    【原創(chuàng):機(jī)器人觀察,帶你詳細(xì)了解互聯(lián)網(wǎng)世界】

    2年前 0條評(píng)論
  • 565
    yh123456 評(píng)論

    回答大部分都提到了服務(wù)器集群,CDN等技術(shù),這方面肯定是硬性要求,基本都是視頻行業(yè)的標(biāo)配了,抖音肯定也不例外。

    但是我想大家忽略了一個(gè)問題,好好思考一下,刷抖音和你看視頻有什么不同。看視頻更多的是用戶主動(dòng)搜索,點(diǎn)擊觀看,而抖音就不一樣了,全是算法推薦,提前給你準(zhǔn)備好了,你自己是無法決定你的下一個(gè)視頻是什么的。

    因此,算法的不同意味著今日頭條可以實(shí)時(shí)優(yōu)化帶寬,使得帶寬最大程度利用,也可以對(duì)數(shù)據(jù)進(jìn)行整理,可以優(yōu)化的空間很大。

    相比之下,應(yīng)該是比傳統(tǒng)視頻行業(yè)要省些帶寬的吧。

    2年前 0條評(píng)論
  • 228
    zc839465113 評(píng)論

    這不難,用戶發(fā)布視頻后,視頻立刻會(huì)被分發(fā)到省市區(qū)的節(jié)點(diǎn)服務(wù)器,即所謂的cdn,它有一套完整的內(nèi)容刷新機(jī)制,

    用戶獲取視頻,都是從自己的節(jié)點(diǎn)獲取,全國只要放1萬個(gè)節(jié)點(diǎn),就能滿足大家不停的刷。

    做這玩意的廠家很多。用cdn當(dāng)關(guān)鍵詞能搜出一堆,我就不做廣告了。

    2年前 0條評(píng)論
  • 不在抖音,純粹猜測,僅供參考

    一 分布式服務(wù)器群

    二 負(fù)載均衡等技術(shù)

    三 CDN來做內(nèi)容分發(fā)

    四 算法推薦,使得帶寬最大程度利用

    總結(jié)來說,抖音,頭條抗高并發(fā),高流量的能力,確實(shí)讓人佩服!

    回答完畢謝謝!!

    ————————————————————————-

    本人專注數(shù)據(jù)采集,數(shù)據(jù)處理,數(shù)據(jù)治理,后端服務(wù),希望多多交流??!

    2年前 0條評(píng)論
  • 1092
    帥氣一個(gè)人 評(píng)論

    最新數(shù)據(jù)顯示,抖音在的日均視頻播放量超過10億次,日均活躍用戶數(shù)超過1.5億,月度活躍用戶數(shù)超過5億。

    視頻上傳需要存儲(chǔ),并進(jìn)行合規(guī)性檢查;視頻播放需要編解碼,這需要消耗大量的計(jì)算資源;用戶體驗(yàn)需要恰當(dāng)?shù)耐扑]系統(tǒng)與CDN……等等,這些都對(duì)抖音背后的IT系統(tǒng)帶來了前所未有的挑戰(zhàn)。

    這也使得其原有的數(shù)據(jù)中心租賃模式徹底不可行,必須自建數(shù)據(jù)中心,且速度要快。字節(jié)跳動(dòng)在懷來擁有了第一個(gè)屬于自己的數(shù)據(jù)中心,一系列新技術(shù)的采用讓這個(gè)數(shù)據(jù)中心擁有多項(xiàng)頭銜:國內(nèi)首個(gè)大規(guī)模分布式全預(yù)制、國內(nèi)首個(gè)大平層預(yù)制框架結(jié)構(gòu)、國內(nèi)首個(gè)整體電源模塊預(yù)制、國內(nèi)首個(gè)間接蒸發(fā)自然冷卻模塊、國內(nèi)首個(gè)計(jì)算模塊一體化預(yù)制。

    字節(jié)跳動(dòng)首個(gè)已經(jīng)交付使用的數(shù)據(jù)中心坐落在懷來官廳湖新媒體產(chǎn)業(yè)園。懷來是新能源輸出大縣,70%以上的電能都是水力發(fā)電、風(fēng)能發(fā)電和太陽能發(fā)電產(chǎn)生的清潔能源,但這之中有50%的清潔能源無法上網(wǎng),低廉的電價(jià)對(duì)于數(shù)據(jù)中心這種耗電大戶而言,具有莫大的吸引力。

    而且,懷來年均氣溫只有9.6度,空氣質(zhì)量也好,利用新風(fēng)散熱有助于降低數(shù)據(jù)中心的PUE值,有效降低數(shù)據(jù)中心的運(yùn)營成本。高效應(yīng)用自然冷卻技術(shù),也是官廳湖新媒體產(chǎn)業(yè)基地的一大特點(diǎn),也是首個(gè)規(guī)模使用間接新風(fēng)制冷技術(shù)的數(shù)據(jù)中心產(chǎn)業(yè)基地。

    字節(jié)跳動(dòng)采用了一系列新銳技術(shù),如大規(guī)模分布式全預(yù)制、整體電源模塊預(yù)制、間接蒸發(fā)自然冷卻模塊、計(jì)算模塊一體化預(yù)制等等技術(shù)。

    字節(jié)跳動(dòng)數(shù)據(jù)中心采用大量預(yù)制和模塊化產(chǎn)品,體現(xiàn)了數(shù)據(jù)中心高度模塊化的未來發(fā)展趨勢。鋼平臺(tái)底座、變壓器、配電柜、UPS設(shè)備均采用在原廠設(shè)計(jì)、安裝和調(diào)試在20天內(nèi)分批交付,二次系統(tǒng)連接、監(jiān)控系統(tǒng)集成和電源模塊測試可以在7天內(nèi)完成,由40尺集裝箱整體運(yùn)輸?shù)浆F(xiàn)場,施工現(xiàn)場只需連接電纜,拼裝調(diào)試即可交付使用,這個(gè)過程需要十天左右。這一系列的細(xì)節(jié)時(shí)間控制,讓字節(jié)跳動(dòng)數(shù)據(jù)中心刷新了國內(nèi)數(shù)據(jù)中心建設(shè)交付的最短時(shí)間記錄。

    數(shù)據(jù)驅(qū)動(dòng)基礎(chǔ)設(shè)施創(chuàng)新

    大多數(shù)人對(duì)“今日頭條”的印象似乎都是一家泛媒體平臺(tái),但字節(jié)跳動(dòng)則認(rèn)為自己是一家AI(即人工智能)公司,因?yàn)椴还苁墙袢疹^條也好,抖音也好,字節(jié)跳動(dòng)很少自己生產(chǎn)內(nèi)容,而是鼓勵(lì)用戶進(jìn)行創(chuàng)作,并把用戶創(chuàng)作的內(nèi)容推薦給最適宜的用戶群體。

    所以字節(jié)跳動(dòng)最核心的系統(tǒng)實(shí)際包括頭條推薦系統(tǒng)與廣告系統(tǒng)、評(píng)論系統(tǒng),以及內(nèi)容合規(guī)性審核系統(tǒng),這背后實(shí)際上就是AI技術(shù)在不同領(lǐng)域或場景的應(yīng)用。

    比如在在推薦系統(tǒng)里面最核心的就是內(nèi)容推薦算法。用AI去做推薦,是字節(jié)跳動(dòng)重要戰(zhàn)略,目前也是應(yīng)用最廣的技術(shù),不管是今日頭條還是抖音等產(chǎn)品,AI都在里面發(fā)揮著重要作用。使用AI進(jìn)行推薦,需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練才能達(dá)到更好的效果,據(jù)介紹,僅今日頭條一款產(chǎn)品30天的訓(xùn)練模型,其數(shù)據(jù)量就會(huì)超過4PB,而正常訓(xùn)練一個(gè)完整的模型則需要至少一年的數(shù)據(jù)量。而在視頻的合規(guī)性審核方面,字節(jié)跳動(dòng)不但使用計(jì)算機(jī)視覺技術(shù)對(duì)視頻圖像進(jìn)行分析,同時(shí)利用語音識(shí)別技術(shù)對(duì)音頻進(jìn)行合規(guī)性分析。而這些技術(shù)的大規(guī)模應(yīng)用會(huì)對(duì)系統(tǒng)的基礎(chǔ)設(shè)施帶來極大的挑戰(zhàn),比如計(jì)算能力、網(wǎng)絡(luò)帶寬以及存儲(chǔ)性能等等。

    隨著字節(jié)跳動(dòng)數(shù)據(jù)中心規(guī)模的擴(kuò)大,服務(wù)器數(shù)量的高速增長,為了最大化資源利用率,字節(jié)跳動(dòng)與Intel公司成立了創(chuàng)新實(shí)驗(yàn)室,全部采用Intel最新的可擴(kuò)展處理器平臺(tái),并根據(jù)不同應(yīng)用場景對(duì)軟件堆棧進(jìn)行深層次優(yōu)化。據(jù)介紹,成果非常顯著,能夠?qū)崿F(xiàn)大約30%的能力提升,更好的資源利用率意味著更好的購置成本和運(yùn)營成本節(jié)省。

    并且,不管是推薦系統(tǒng),還是審核系統(tǒng),其每天都會(huì)處理海量的數(shù)據(jù),這對(duì)底層存儲(chǔ)系統(tǒng)的性能有著苛刻的需求,SSD已經(jīng)成為字節(jié)跳動(dòng)的必然選擇。但并不是說使用SSD就能直接解決問題,尤其NVMe SSD使用,通常會(huì)給計(jì)算、網(wǎng)絡(luò)系統(tǒng)帶來直接的壓力,將原本存儲(chǔ)的性能瓶頸轉(zhuǎn)移到計(jì)算或者網(wǎng)絡(luò)。

    為了提升整體系統(tǒng)的綜合性能表現(xiàn),還需要站在更高層次對(duì)各個(gè)子系統(tǒng)進(jìn)行系統(tǒng)性優(yōu)化,比如在與Intel的合作中,雙方共同針對(duì)人工智能、Cascade Lake,最新64層Nand存儲(chǔ)技術(shù),高速網(wǎng)絡(luò)的產(chǎn)品以及FPGA在不同系統(tǒng)中應(yīng)用進(jìn)行了探索,并與DPDK、SPDK、BigData以及OS kernel等軟件層的優(yōu)化相結(jié)合,取得了極大的進(jìn)展,獲得了極為顯著的成功。

    字節(jié)跳動(dòng)所取得的輝煌成績不僅意味著中國互聯(lián)網(wǎng)市場的巨大潛力,同時(shí)也意味著中國數(shù)據(jù)中心技術(shù)的飛速發(fā)展正逐步接近國際領(lǐng)先水平。

    2年前 0條評(píng)論
  • 403
    dalang0624 評(píng)論

    這個(gè)問題我大概回答一下,由于我不太清楚字節(jié)跳動(dòng)真正的網(wǎng)絡(luò)是如何組網(wǎng)的,所以我只能告訴你大概的原理。參考其他大型互聯(lián)網(wǎng)企業(yè)的組網(wǎng),應(yīng)該解決的方案是類似的

    抖音并不是全國所有刷視頻用戶都在同一個(gè)地方的數(shù)據(jù)中心接入我們看視頻的流量,如果是這樣的話,那么這個(gè)數(shù)據(jù)數(shù)據(jù)中心所需的帶寬就是過于巨大。一般來說,抖音在全國各地會(huì)建設(shè)幾個(gè)比較大的數(shù)據(jù)中心,我們刷視頻的請(qǐng)求是就近接入的。

    比如張三在北京,那么他接入抖音APP,上傳和瀏覽視頻,就是在北京數(shù)據(jù)中心完成;李四在上海,那么他的上傳視頻和瀏覽視頻就是在上海的數(shù)據(jù)中心完成。如果所有用戶都接入同一個(gè)地方數(shù)據(jù)中心,毫無疑問對(duì)于這個(gè)數(shù)據(jù)中心的負(fù)載太大,這是不可能的。

    各個(gè)數(shù)據(jù)中心的視頻數(shù)據(jù),通過專有的高速互聯(lián)網(wǎng)絡(luò)進(jìn)行同步。也就是你上傳的視頻雖然是上傳到上海的數(shù)據(jù)中心,北京的用戶依然可以看到,就是可能要晚一點(diǎn)刷才看到。抖音需要把你在上海上傳的視頻數(shù)據(jù)通過高速網(wǎng)絡(luò)傳遞到北京后,北京的用戶才能看到。

    一個(gè)數(shù)據(jù)中心包括多個(gè)運(yùn)營商的出口,一般是會(huì)和三大運(yùn)營商網(wǎng)絡(luò)在本地對(duì)接,同時(shí)會(huì)和一些中小型運(yùn)營商對(duì)接,例如廣電。和運(yùn)營商網(wǎng)絡(luò)對(duì)接的目的為了接入運(yùn)營商的用戶,這也就意味著你是北京移動(dòng)用戶,那么刷出來抖音的視頻將會(huì)從北京移動(dòng)的網(wǎng)絡(luò)接入抖音

    如果發(fā)現(xiàn)某個(gè)區(qū)域的數(shù)據(jù)中心業(yè)務(wù)負(fù)載太重怎么辦?例如湖南春節(jié)大量用戶返鄉(xiāng),導(dǎo)致位于武漢的數(shù)據(jù)中心突然接入不了這么多湖南的用戶了,這個(gè)時(shí)候抖音內(nèi)部就會(huì)調(diào)整用戶的接入路徑,把一部分本來接到武漢的抖音用戶接入到北京去(因?yàn)榇汗?jié)北京的人少了很多)

    所以,這就是互聯(lián)網(wǎng)公司網(wǎng)絡(luò)的基本架構(gòu)。全國存在多個(gè)數(shù)據(jù)中心,不同地方的用戶刷視頻其實(shí)是接入不同的數(shù)據(jù)中心,每個(gè)數(shù)據(jù)中心都會(huì)和三大運(yùn)營商網(wǎng)絡(luò)對(duì)接。

    這種分布式的網(wǎng)絡(luò)保證了抖音的業(yè)務(wù)不會(huì)都積壓在一個(gè)數(shù)據(jù)中心,由全國各地抖音數(shù)據(jù)中心和運(yùn)營商互聯(lián)的帶寬來保證用戶刷視頻可以正常瀏覽

    那么位于不同位置的抖音的數(shù)據(jù)中心和三大運(yùn)營商的互聯(lián)帶寬多大?只能講肯定是T級(jí)別的,1T等于1000G,現(xiàn)在大型互聯(lián)網(wǎng)公司和運(yùn)營商對(duì)接的帶寬普遍是1T、2T起步了,而且一般如果發(fā)展互聯(lián)帶寬負(fù)載超過了30%到50%,就需要擴(kuò)容

    很多人提到了CDN,CDN不能從根本上解決這個(gè)帶寬問題,CDN只能從運(yùn)營商網(wǎng)絡(luò)路由層面上解決一定的擁塞問題。不論是騰訊、百度還是抖音、YY,解決游戲、視頻大帶寬的問題都是從數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)架構(gòu)解決,都是采用類似的技術(shù),也就是DCN和DCI相關(guān)的技術(shù)

    2年前 0條評(píng)論
  • 1008
    Henri53 評(píng)論

    大型網(wǎng)站,特別是視頻網(wǎng)站都是分布式的云計(jì)算,就我前面做云計(jì)算的經(jīng)驗(yàn)來說,至少他們他們需要在全國幾大區(qū)域都有服務(wù)器群,例如北上廣四川或者貴州都有云服務(wù)器,這個(gè)不僅僅是某個(gè)服務(wù)器的帶寬來衡量了,而是整個(gè)機(jī)房的出口帶寬,還有云集群的并發(fā)能力了。當(dāng)然,還會(huì)配合OSS,CDN,SLB等諸多的技術(shù),我估計(jì)目前有這樣的服務(wù)器群級(jí)別的只有阿里云,當(dāng)然他們已經(jīng)發(fā)展這么大了,也有可能使用自己的云計(jì)算技術(shù)。今日頭條還在國外很大布局,還有眾多的海外服務(wù)器。要做到這樣技術(shù)對(duì)接只有阿里云、AWS或者自主研發(fā)云技術(shù)能夠解決。

    2年前 0條評(píng)論
  • 267
    feizitejiawanju 評(píng)論

    大家完全不必?fù)?dān)心抖音服務(wù)器帶寬不夠大,服務(wù)器能不能承受得住的問題,而僅僅需要擔(dān)心你的手機(jī)夠不夠電繼續(xù)刷抖音。

    事實(shí)上互聯(lián)網(wǎng)大廠的服務(wù)器并不是我們理解的傳統(tǒng)意義上的幾臺(tái)服務(wù)器面對(duì)著數(shù)百萬乃至數(shù)億計(jì)算的訪問量。

    如今互聯(lián)網(wǎng)大廠的服務(wù)器不能簡單的稱之為服務(wù)器,而應(yīng)該叫做服務(wù)器集群,用于一個(gè)特定領(lǐng)域的軟件部署在多臺(tái)服務(wù)器上并作為一個(gè)整體提供一類服務(wù)。通俗一些講就是有無數(shù)臺(tái)服務(wù)器構(gòu)成的群組整齊地碼放在一個(gè)或者多個(gè)數(shù)據(jù)中心,軟件客戶端往往能夠連接任意一個(gè)節(jié)點(diǎn)獲得服務(wù),并且當(dāng)集群中的一個(gè)節(jié)點(diǎn)掉線的時(shí)候,其他的節(jié)點(diǎn)能夠自動(dòng)的接替繼續(xù)提供服務(wù)。

    將一臺(tái)普通得不能再普通的自行車放在數(shù)據(jù)中心的散熱管道內(nèi),可見一個(gè)數(shù)據(jù)中心的規(guī)模,令人震撼。

    一旦訪問量增加的時(shí)候,集群會(huì)自主的增加節(jié)點(diǎn),當(dāng)訪問量減少的時(shí)候,集群同樣會(huì)自主的減少節(jié)點(diǎn)。這是多對(duì)多的關(guān)系,而不是傳統(tǒng)意義上的少對(duì)多的關(guān)系,所以壓根不需要擔(dān)心抖音服務(wù)器的問題。視頻上傳需要存儲(chǔ),進(jìn)行合規(guī)性檢查,視頻播放時(shí)需要編/解碼,需要消耗大量的計(jì)算資源,而用戶體驗(yàn)又需要恰當(dāng)?shù)耐扑]系統(tǒng)和CDN等服務(wù),幾臺(tái)簡單的服務(wù)器肯定不足以應(yīng)付這些問題。

    有數(shù)據(jù)顯示字節(jié)跳動(dòng)在2013年3月服務(wù)器數(shù)據(jù)量只有幾十臺(tái),到年底增至一千臺(tái),在2017年年初的時(shí)候只有2~3萬臺(tái)服務(wù)器,到了2018年猛增到17萬臺(tái),僅用了7個(gè)月的時(shí)間就在懷來建立了一個(gè)屬于他自己的數(shù)據(jù)中心,從而告別了過去數(shù)據(jù)中心一直租賃的模式。

    在互聯(lián)網(wǎng)公開的字節(jié)跳動(dòng)2020年春季招聘廣告中披露,字節(jié)跳動(dòng)公司已經(jīng)擁有42萬+臺(tái)服務(wù)器,每天新增存儲(chǔ)30PB,每日線上增加6000+。

    PB是個(gè)什么概念?

    存儲(chǔ)單位按照這樣的排序B、KB、MB、GB、TB、PB、EB、ZB、YB、BB,它們之間的換算關(guān)系如下:

    1KB=1024B;

    1MB=1024KB;

    1GB=1024MB;

    1TB=1024GB;

    1PB=1024TB;

    后面的以此類推。

    而字節(jié)跳動(dòng)基礎(chǔ)架構(gòu)部門技術(shù)團(tuán)隊(duì)曾經(jīng)在2020年年初發(fā)文介紹過字節(jié)跳動(dòng)特色的HDFS,支持字節(jié)跳動(dòng)EB級(jí)的數(shù)據(jù)量,可想而知字節(jié)跳動(dòng)存儲(chǔ)的壓力有多大,可能已經(jīng)奔向ZB級(jí)發(fā)展。

    互聯(lián)網(wǎng)大廠用的何止是服務(wù)器集群,還涉及到了CDN、對(duì)象存儲(chǔ)、邊緣計(jì)算等等領(lǐng)域

    CDN(Content Delivery Network,即內(nèi)容分發(fā)網(wǎng)絡(luò))是將源內(nèi)容分發(fā)至靠近用戶的加速節(jié)點(diǎn),使用戶可以就近地獲得所需的內(nèi)容,從而改善互聯(lián)網(wǎng)網(wǎng)絡(luò)擁擠的狀況,提高用戶訪問的響應(yīng)速度和成功率。

    據(jù)亞太CDN產(chǎn)業(yè)聯(lián)盟研究中心檢測統(tǒng)計(jì)到自己挑動(dòng)使用的第三方商業(yè)CDN有阿里云、優(yōu)客得、白山云、京東云、網(wǎng)宿、金山云、華為云、中國移動(dòng)云等等,CDN峰值總帶寬已經(jīng)超過100Tbps。

    字節(jié)跳動(dòng)也一直在發(fā)力邊沿計(jì)算,將智能集成到邊沿的設(shè)備(或邊沿節(jié)點(diǎn)),運(yùn)行在數(shù)據(jù)收集源附近實(shí)時(shí)的處理核分期數(shù)據(jù)而不需要直接上傳到云或幾種數(shù)據(jù)處理中心。

    總結(jié)

    所以我們并不需要擔(dān)心抖音的服務(wù)器是不是夠用,帶寬夠不夠大,能不能支持那么多人同時(shí)刷。時(shí)代一直在改變,許多新的技術(shù)也隨之應(yīng)運(yùn)而生,自然而然到以前我們只有MB的U盤而現(xiàn)在卻有動(dòng)不動(dòng)就幾十GB乃至上百GB的U盤。


    以上個(gè)人淺見,歡迎批評(píng)指正。

    認(rèn)同我的看法,請(qǐng)點(diǎn)個(gè)贊再走,感謝!

    喜歡我的,請(qǐng)關(guān)注我,再次感謝!

    2年前 0條評(píng)論
  • G口寬帶,出口流量1G寬帶,也就是我們說的千兆寬帶。然后用云部署+均衡負(fù)載對(duì)全國進(jìn)行部署,自動(dòng)為用戶選擇距離最近的服務(wù)器,同時(shí)服務(wù)器分為數(shù)據(jù)庫服務(wù)器、用戶服務(wù)器、存儲(chǔ)服務(wù)器等等。一般來說,阿里云會(huì)比較可靠,騰訊云那是競爭對(duì)手家里。

    2年前 0條評(píng)論
  • 1091
    抖音網(wǎng)名男2 評(píng)論

    每天睡覺前都會(huì)刷抖音,為什么幾億人同時(shí)刷抖音,依然可以做到非常流暢呢?

    首先來了解一下什么是服務(wù)器和帶寬。

    服務(wù)器:

    服務(wù)器也稱伺服器,是提供計(jì)算服務(wù)的設(shè)備,由處理器、硬盤、內(nèi)存、系統(tǒng)總線構(gòu)成,其處理能力、穩(wěn)定性、可靠性、安全性、可擴(kuò)展性等方面要高于普通計(jì)算機(jī)。

    隨著大數(shù)據(jù)和云計(jì)算的快速發(fā)展,云服務(wù)器開始走上舞臺(tái),很多大中小企業(yè)都開始使用云服務(wù)器,其中就包括抖音,

    云服務(wù)器顧名思義就是一種提供云計(jì)算服務(wù)的IT技術(shù)產(chǎn)品,整合了互聯(lián)網(wǎng)三大核心要素:計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)。比普通服務(wù)器更具有彈性,并且降低了開發(fā)運(yùn)維的難度和整體IT成本。

    抖音屬于短視頻類,流量很大、數(shù)據(jù)也很大,對(duì)服務(wù)器的要求也更高,市場上最強(qiáng)的單臺(tái)服務(wù)器可以支持20萬IP,5億的日訪問量至少要3000臺(tái)服務(wù)器才能夠勉強(qiáng)撐下來。

    如果5億人同時(shí)刷抖音,視頻、直播一起上,就算是全球最牛的數(shù)據(jù)中心也會(huì)直接崩潰!那怎么辦呢?只能多建數(shù)據(jù)中心,多放服務(wù)器!

    帶寬:

    帶寬應(yīng)用的領(lǐng)域非常多,可以用來標(biāo)識(shí)信號(hào)傳輸?shù)臄?shù)據(jù)傳輸能力、標(biāo)識(shí)單位時(shí)間內(nèi)通過鏈路的數(shù)據(jù)量、標(biāo)識(shí)顯示器的顯示能力。在數(shù)字設(shè)備中,帶寬指單位時(shí)間能通過鏈路的數(shù)據(jù)量。通常以bps來表示,即每秒可傳輸之位數(shù)。

    簡單來說,帶寬是指單位時(shí)間內(nèi)傳輸?shù)臄?shù)據(jù)量。

    我們可以把帶寬看成一條路,而數(shù)據(jù)就是來往的車輛,如果這條路只有4車道,那么每小時(shí)過往的車輛相對(duì)較少,而達(dá)到了8車道時(shí)候,過往的車輛會(huì)大大增加,而且8車道比4車道更不容易堵車。帶寬影響訪問速度,對(duì)于抖音這類訪問量巨大的服務(wù)器來說,帶寬非常的重要。

    帶寬還分為獨(dú)享帶寬和共享帶寬

    數(shù)據(jù)中心會(huì)對(duì)一條線路配備一定的帶寬資源,然后由享受這條線路的所有機(jī)柜去共同使用這些帶寬。使用共享帶寬的缺點(diǎn)在于一條線路上所有機(jī)柜共用帶寬,可是對(duì)于每個(gè)機(jī)柜應(yīng)用的不同。因此,每個(gè)機(jī)柜對(duì)帶寬的占有率不同,這樣占用率大的機(jī)柜勢必影響其他機(jī)柜的帶寬使用。

    獨(dú)享帶寬即托管用戶獨(dú)自享用一部分機(jī)房帶寬資源,它適用于有較大規(guī)模的數(shù)據(jù)流量和訪問量,對(duì)帶寬資源要求保持恒定速率或有特殊要求的網(wǎng)站。如果使用獨(dú)享帶寬的話,租用的服務(wù)器的價(jià)格勢必會(huì)貴很多,一般的企業(yè)估計(jì)承受不起。所以,如果不是對(duì)帶寬有著嚴(yán)格要求的話,最好還是別租用獨(dú)享帶寬的服務(wù)器。

    10M獨(dú)享就意味著給每臺(tái)服務(wù)器一個(gè)10M端口,100M共享就是一個(gè)100M端口的機(jī)柜,提供給若干臺(tái)服務(wù)器。其真實(shí)帶寬取決于服務(wù)器數(shù)量和每臺(tái)服務(wù)器帶寬占用情況。

    一般來說,100M共享,每臺(tái)服務(wù)器分到的帶寬大約在2—5M左右,因此10M獨(dú)享是優(yōu)于100M共享的。

    此外帶寬又分為上行帶寬和下行帶寬

    上行寬帶一般是指上傳帶寬,即寬帶上行傳輸速率。是指用戶到電信服務(wù)提供商方向,例如上傳文件

    下行寬帶一般是指下載帶寬,即寬帶下行傳輸速率。是指從電信服務(wù)提供商到用戶的方向,例如下載文件

    很多網(wǎng)友看到這里,不禁有個(gè)疑問:帶寬、網(wǎng)速、流量這些究竟是怎么回事呢?

    • 帶寬的統(tǒng)計(jì)單位是:比特/秒(bps):100M=100Mbps;
    • 網(wǎng)速是數(shù)據(jù)傳輸?shù)乃俣?,單位是:字?jié)/秒(B/s KB/s MB/s):1MB/s=1024KB/s ;1KB/s=1024B/s。
    • 流量是用戶上網(wǎng)發(fā)送和接收的數(shù)據(jù)量總和,單位是:字節(jié)(Byte);

    比特是信息的最小單位:1字節(jié)=8比特(1B=8bit或者1B=8b);1字節(jié)/秒=8比特/秒(1B/s=8bps)

    我們來看看100M寬帶下載速度是多少?

    首先,運(yùn)營商所說的100M寬帶,其實(shí)是100Mbps,100M寬帶并不代表下載速度就是100Mb/s。我們通過計(jì)算來說明:

    1Mbps=1024Kbps=1024/8KBps=128KB/s

    可以得出: 1M 的寬帶下載速度不會(huì)超過 128KB/s ,理論上每秒可以下載128K的內(nèi)容,實(shí)際上1M寬帶,下載速度100k/s就不錯(cuò)了,畢竟影響因素非常多。

    100M寬帶的下載速度理論上為:128KB/s x100 = 12800 KB/s = 12.8MB/s

    抖音的服務(wù)器帶寬究竟有多大呢?

    通過估算,抖音數(shù)據(jù)中心總帶寬約為15TB級(jí)別。(因?yàn)闆]有具體的官方數(shù)據(jù))

    2015年,騰訊日活躍用戶達(dá)到5億,包含了通訊、語音、音樂、視頻等,每天請(qǐng)求超過10萬次,帶寬達(dá)到了10TB。而今天的抖音是一款短視頻+直播軟件,其數(shù)據(jù)量要比微信大得多,因此會(huì)達(dá)到15TB級(jí)別。

    抖音出現(xiàn)后,越來越多的人成為了抖音的奴隸,刷起短視頻根本停不下來,搞笑的、賣萌的、悲情的等等,總有一款適合你,但是你有沒有想過幾億人同時(shí)刷抖音,是如何做到的呢?服務(wù)器不會(huì)崩潰嗎?這就需要超大的帶寬。

    抖音母公司為字節(jié)跳動(dòng),是和百度、阿里、騰訊一樣的互聯(lián)網(wǎng)巨頭,同樣也有自己的數(shù)據(jù)中心,國內(nèi)海外都有,2020年,公開數(shù)據(jù)顯示:字節(jié)跳動(dòng)公司共有服務(wù)器42萬臺(tái)。

    這些服務(wù)器都有出口帶寬,就是服務(wù)器給我們的手機(jī)分發(fā)的數(shù)據(jù)的總速度。小公司大都租用三大運(yùn)營商的機(jī)房和服務(wù)器,出口帶寬也就幾個(gè)G,能達(dá)到幾十個(gè)G都算是中等規(guī)模的公司了,向抖音這樣達(dá)到10T級(jí)別的絕對(duì)是巨頭了。

    巨頭當(dāng)然有巨頭的風(fēng)范了,自建數(shù)據(jù)中心,自購云服務(wù)器,甚至自研云服務(wù)器。因?yàn)閹掃^于龐大,需要龐大的資金,穩(wěn)定性和安全性。

    2013年3月字節(jié)跳動(dòng)的服務(wù)器數(shù)量只有幾十臺(tái),到年底增至一千臺(tái),此后便是上萬臺(tái)的增長。

    2016年字節(jié)開始自建數(shù)據(jù)中心,2017年底懷來數(shù)據(jù)中心開始運(yùn)營,一期投入約5萬臺(tái)服務(wù)器,二期投入9萬臺(tái)服務(wù)器。但是僅靠一個(gè)數(shù)據(jù)中心遠(yuǎn)不能一勞永逸,字節(jié)開始建設(shè)更大的數(shù)據(jù)中心,包括在海外建設(shè)數(shù)據(jù)中心。

    在2017年年初的時(shí)候,公司大概有2-3萬臺(tái)服務(wù)器,2018年大概有17萬臺(tái)服務(wù)器。

    2019年字節(jié)跳動(dòng)租用了能耗達(dá)9兆瓦的數(shù)據(jù)中心,成為弗吉尼亞州北部地區(qū)最大的十家“租戶”之一。這些數(shù)據(jù)中心位于弗吉尼亞州阿什本附近,亞馬遜、甲骨文都在該地區(qū)建有數(shù)據(jù)中心。

    2020年上半年,字節(jié)跳動(dòng)在弗吉尼亞州北部租用了能耗達(dá)53兆瓦的數(shù)據(jù)中心??扇菁{數(shù)十萬臺(tái)服務(wù)器,占地面積可達(dá)數(shù)十萬平方英尺。

    2020年,字節(jié)跳動(dòng)已經(jīng)擁有42萬臺(tái)服務(wù)器。

    以三大運(yùn)營商為例,一個(gè)數(shù)據(jù)中心占地約150畝,提供3萬個(gè)機(jī)架,可以安裝大約30萬左右的服務(wù)器,能夠拿到15TB的帶寬資源。

    字節(jié)跳動(dòng)在帶寬資源上要比三大運(yùn)營商遜色,因此估算42萬臺(tái)服務(wù)器帶寬也在15TB級(jí)別。

    CDN加速、負(fù)載均衡等等技術(shù)缺一不可。

    為了保障幾億人刷視頻時(shí)候不會(huì)出現(xiàn)卡頓,除了配備大量的服務(wù)器和多個(gè)數(shù)據(jù)中心外,還要相關(guān)的技術(shù)支持,例如:CDN加速、負(fù)載均衡等。

    CDN加速:

    CDN即內(nèi)容分發(fā)網(wǎng)絡(luò),其目的是通過在現(xiàn)有的Internet中增加一層新的網(wǎng)絡(luò)架構(gòu),將網(wǎng)站的內(nèi)容發(fā)布到最接近用戶的網(wǎng)絡(luò)“邊緣”,使用戶可以就近取得所需的內(nèi)容,提高用戶訪問網(wǎng)站的響應(yīng)速度。從技術(shù)上全面解決由于網(wǎng)絡(luò)帶寬小、用戶訪問量大、網(wǎng)點(diǎn)分布不均等問題,提高用戶訪問網(wǎng)站的響應(yīng)速度。

    以抖音為例,需要在全國甚至全世界建設(shè)幾大數(shù)據(jù)中心,北上廣需要建設(shè)、云貴川也有,歐、美、日等都有布局,當(dāng)我們?cè)谒⒍桃曨l的時(shí)候,并不是使用的同一個(gè)數(shù)據(jù)中心,而是使用的就近的數(shù)據(jù)中心。

    北京的用戶優(yōu)先使用北京的數(shù)據(jù)中心,云南的用戶也會(huì)優(yōu)先使用云南的數(shù)據(jù)中心,歐、美、日也是如此,如果全世界都使用同一個(gè)數(shù)據(jù)中心的話,恐怕直接會(huì)崩潰了。

    當(dāng)我們把一個(gè)短視頻傳送到北京數(shù)據(jù)中心時(shí)候,使用這個(gè)服務(wù)器的客戶就能刷到這個(gè)短視頻了,然后北京服務(wù)器把這個(gè)視頻采用高速傳輸?shù)姆绞絺鬏數(shù)缴虾?、云南、歐美等地,那么當(dāng)?shù)氐挠脩粢簿湍芸吹竭@個(gè)視頻了,只是在時(shí)間上延遲一些。

    負(fù)載均衡

    負(fù)載均衡就是分?jǐn)偟蕉鄠€(gè)數(shù)據(jù)中心進(jìn)行執(zhí)行,從而共同完成工作任務(wù),建立在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上,它提供了一種廉價(jià)有效透明的方法擴(kuò)展網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬、增加吞吐量、加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性。

    例如,春節(jié)時(shí)候,我們各自回家過年,此時(shí)北上廣的人口會(huì)急速減少,而其他地區(qū)如河北、湖北等縣城、農(nóng)村人口會(huì)急速增加,這個(gè)時(shí)候再刷抖音,就會(huì)讓北上廣的數(shù)據(jù)中心處于大馬拉小車狀態(tài),而河北、湖北的數(shù)據(jù)中心處于小馬拉大車狀態(tài)。

    這樣的狀態(tài)就是不均衡狀態(tài),如果不能及時(shí)解決這個(gè)問題,很容易造成服務(wù)器故障,死機(jī)的事件發(fā)生。這時(shí)候就需要負(fù)載均衡。將河北、湖北的龐大數(shù)據(jù)一部分交由北上廣數(shù)據(jù)中心處理。

    CDN加速、負(fù)載均衡等技術(shù)有效的支持了抖音的數(shù)據(jù)處理,讓有限的資源提供更高質(zhì)量的服務(wù)。

    問答總結(jié)

    抖音服務(wù)器總帶寬已經(jīng)達(dá)到了15TB級(jí)別,并且采用了CDN加速、負(fù)載均衡等技術(shù),確保了幾億人同時(shí)在線刷抖音。

    現(xiàn)在,技術(shù)上可以滿足幾億人同時(shí)刷抖音,但是還有一個(gè)問題更為嚴(yán)重,自從有了抖音后,我越來越離不開手機(jī)了,每天打開抖音,開始刷短視頻,不知不覺的一天就過去了,一個(gè)月,一年下來,什么也沒有干,甚至已經(jīng)沒有動(dòng)力去做事情了,這個(gè)才是最可怕的。

    盡管,抖音非常強(qiáng)大,但是還是希望大家能夠控制自己,適當(dāng)娛樂可以愉悅身心,過度娛樂害己害人!

    我是科技銘程,以上是我的回答,希望可以幫到您,如有不妥之處,敬請(qǐng)批評(píng)指正!

    2年前 0條評(píng)論
已關(guān)閉回復(fù)。
贊(0)

抖音培訓(xùn)教學(xué) 更專業(yè) 更方便

聯(lián)系我們抖音教程

登錄

找回密碼

注冊(cè)