百度網盤和視頻網站都在用的P2P技術是什么?

2020年04月23日 18:55 來源:智能相對論 作者:AI新媒體

文|顧旭光

來源|智能相對論(aixdlun)

近幾天,誕生二十余年的P2P技術由于安全性問題又成為了業界和大眾熱議的話題。作為一種去中心化的下載技術,其伴隨了大部分國內第一代網民的青春記憶,時至今日還有大量的“種子”愛好者沉醉在這項技術帶來的“福利”中。

站在歷史的角度看,下載技術的發展史基本就是一部網絡發展史,從互聯網誕生的那天,帶寬決定著互聯網產品的形態,帶寬和下載像一對相互制約斗爭的孿生兄弟。

01

網絡傳輸技術階梯式跨域,P2P技術已經悄然落葉生根

圖注:幾種帶寬技術的比較,來源:鄧冠文,《中國互聯網寬帶技術的歷史與發展方向》

從最早的HTTP、FTP下載協議,到1999年被開發出來的P2P(對等網絡)下載,直至在P2P基礎上延伸出的流媒體和BT下載協議,在信息傳輸方面互聯網一直在進行著技術跨越。而P2P無疑是到目前為止最符合互聯網開放、共享精神,并且被應用最廣的一項技術。

1、文件分享與下載是P2P主要應用場景

P2P技術大規模通過互聯網進入人們生活是在1999年。

當時18歲的肖恩·范寧(Shawn Fanning)為了和朋友分享MP3而發明了這項技術。

隨后有大量的收費和免費下載工具都覆蓋了P2P下載功能,比如國內最為知名的下載軟件迅雷、海外大名鼎鼎的eMule、Vuze Bittorrent、Free Download Manager等等,P2P的發展歷程一直伴隨文件的分享與下載功能。

2、流媒體直播和點播賽道也大量采用P2P技術

將P2P技術應用于流媒體在我國發展很早,而網民熟悉的PPTV、PPStream則是其中著名的商業化應用,尤其是PPTV在互聯網帶寬不足的情況下,依靠P2P看的人越多越快的特性,在06~09年通過世界杯和超女的直播一度拿下了60%的市場份額,不過PPTV由于商業模式的失誤被愛優騰反超則是后話。

直播、點播方面從2014年以來最有名的則是騰訊直播的XP2P技術和陌陌直播,前者在國慶閱兵上億觀看的壓力下都有非常良好的表現,后者在直播間峰值階段減少帶寬壓力方面也效果不俗。

此外,無論是迅雷、優酷,還是騰訊視頻,都向用戶默認開啟了P2P。其中,迅雷用戶可以手動關閉P2P,優酷則默認用戶沒有勾選“不參加P2P”,如不參加需要主動關閉,而騰訊視頻的用戶則沒有選擇,無法關閉P2P。

3、大數據場景下的分布式存儲和科學計算

世界最著名的P2P分布式科學計算系統應該是“SETI@home”項目(簡稱為S@H或SETI),而這個項目在全球極客和科幻迷眼中有非常高的地位。

該項目由美國加利福尼亞大學伯克利分校在1999年發起,其目的是用射電望遠鏡傳來的數據來搜尋地外文明,主要利用參與者閑余的CPU算力來協助項目組進行計算,這樣的噱頭和宏大的理念讓該項目成為全球最成功的分布式計算項目。

02

穩定、安全和可控性,P2P技術優勢緊跟用戶需求在轉

P2P之所以能在下載之外的領域大放異彩,與這項技術的產品特性緊密相關,分別是穩定性、安全性和可控性,這三者結合起來,又還原了網絡原始的去中心化合作的交流模式,可以說P2P本身的諸多特性與互聯網用戶的根本需求緊密相關。

1、采取P2P技術可以提高生態的穩定性和可控性

我們在上一節說到,只要與大量數據傳輸和交換有關的場景,P2P就有可能存在,比如我們非常熟悉的直播、點播或者個人網盤。以網盤為例,如果把下載或者諸如在線視頻播放等其他功能比作從服務商的倉庫里取東西,那么P2P就是讓我們每個人都同時承擔倉庫和取貨人的角色,因為網絡傳輸的一切都是數據,我們下載了數據以后,我們的電腦就成了一個個有數據信息的小型倉庫,其他同學又可以從我們的電腦上通過P2P協議下載。這樣就減輕了服務商倉庫(服務器)的壓力,因為每個人都在一個時間點去同一個倉庫里拿貨,倉庫肯定難以承受,也就是我們說的“網站炸了”,大部分的網絡攻擊,實際上也就是通過惡意的“取貨”讓目標的服務器宕機。

圖注:曾經十分火熱的免費網盤如今已經所剩不多

回頭看當下的網盤行業,2019年繼金山網盤、迅雷快盤等產品之后,網易網盤也正式宣布關閉,網盤整個賽道的不景氣背后是帶寬、服務器以及巨大的運維成本,尤其是嚴格監管下內容審核都讓各家產品難以為繼。

根據極光的《2019年個人網盤行業研究報告》顯示,個人網盤行業安裝滲透率由2018年11月的20.2%上升至2019年11月的22.1%,增長1.9個百分點;月度活躍用戶2019年下半年持續上升,11月達1.065億。

在如此大的用戶體量下,穩定的網盤體驗實際上依賴的是公司在數據中心上支付的巨額成本,大量個人網盤在2016年一番洗牌后紛紛倒掉的原因無非是成本太高,付費用戶太少,盈利點稀少因而難以為繼,活下來的不是靠資金硬撐,就是對個人云存儲業務長期看好有布局意愿。

大量個人網盤倒掉之后就是大量用戶集中于少數云盤之中。

而在網盤的使用場景中,有些文件必然是有大量用戶在同時下載或者上傳的,在這種情況下利用P2P技術可以有效的減輕服務器的壓力并提升全體用戶的體驗。

“智能相對論”認為,廣泛利用P2P實際是針對全體用戶的最優解,降低整個下載生態的承壓,從而間接的提升每一位用戶的體驗,是互聯網共享精神的終極體現。

2、P2P下載的內容具有高度的安全性

由于P2P傳輸是去中心化的,每位用戶每個節點既可以從其他節點得到服務,又充當節點向其他用戶提供服務,共同實現效益最大化的共享狀態,對于有些用戶來說自身的文件安全問題就成為了關鍵話題。

實際上P2P的安全性實在無需過度擔憂,依然用網盤來舉例,我們在市面上看到的大量網盤采取的都是存儲集群技術,只有高度共享的文件(比如有許多人下載或者存儲的某部電影)才有可能在下載或者上傳中使用到P2P的互幫互助技術,而私人文件不可能進入到這個環節當中。從這個角度看,P2P加網盤本身的不安全文件查篩和過濾機制,實際上擁有超越FTP和HTTP下載的安全性。

3、受控的P2P不會威脅用戶的使用體驗

在過去帶寬嚴重不足的年代,在筆者生活小縣城的網吧里,偷開迅雷或者電驢是非常危險的一件事,如果被網管或者其他玩網游的社會人抓到,很有可能被胖揍一頓。

這種奇葩現象的出現純粹是因為當時的網絡帶寬實在有限,而且一般開迅雷或者電驢都是貪多求快,力求在短暫的上網時間內下更多的資源,而網吧采取的又是局域網串聯策略,結果導致整個網吧網絡速度都在短期內完蛋。

不過目前的情況已經完全不用,一方面用戶硬件性能的普遍過剩,目前的P2P都是基于本地工具才可能能實現,可以實現自主控速,這讓限速的P2P技術對于用戶系統和寬帶資源的占用其實很小,甚至一般用戶在使用過程中基本難以察覺。

另外我國寬帶主要采用的ADSL、HFC 等接入技術,寬帶相比早年已經有了大幅度進步,包括智能相對論在內的許多網友都測試過,家中100M的寬帶,開著不限速的P2P實際上也并不影響日常工作。

而且在目前網絡接入模式下,都是下行速率高、上行速率低, P2P的上行分享其實不會嚴重威脅到用戶的上行帶寬寬帶速率,總而言之,使用P2P的文件分享最終對用戶的網絡使用體驗并不會有非常明顯的影響,尤其在控制上傳速度之后。

03

擁抱P2P技術,或是我們最好的姿勢

互聯網發展到了今天,摩爾定律日漸失效,我們短期內或許再也很難經歷從撥號光貓上網到光纖到樓那樣非常迅猛的帶寬變化,在這種情況之下,尤其是在使用密度越來越大的網盤領域,重新擁抱互聯網的分享精神,回頭看看P2P這門已經誕生了20年的傳統技術,或許是非常好的時間節點,主要原因有三。

1.用戶存儲需求趨向內容多元化和存儲空間巨大化,導致大量網盤服務商承壓倒掉,用戶越來越集中,必然帶來剩余的服務商承擔更大的運營成本,在個人網盤領域,既有個人使用的“私域性”,又有共同體的“公域性”。

對于網民來說,實際上不僅僅是在網盤,在其他更多領域,都要有較強的網絡公民意識,否則只會發生“公地悲劇”,每個人都利益最大化之后,造成整個公共生態的崩潰。所以通過P2P技術對內容、帶寬進行共享,重溫互聯網本初的共享精神,將成為各類領域的主要趨勢。

2.技術的發展和進步需要時間,尤其在帶寬這個涉及到基礎建設投入的賽道。從1994年我國加入互聯網至今,我們從ISDN的電話撥號到LAN的光纖入戶,經歷了二十多年的沉淀期,這背后是接近一代人的時間。

從小范圍的視野來看,短期來看,帶寬不會有非常明顯的漸進式變化,更多的是技術更新后的節點式爆發增長,與此同時是在云盤服務使用人數上迅速的增長,比如百度網盤,在2014年就有超過2億的用戶量,到了2019年這一數字已經變成了6億,而這個過程中,我們尚未完成從4G到5G的跨越。

云存儲中最大的矛盾就是巨大的用戶體量和高體驗標準與增長有限的帶寬之間的矛盾。但是后者如同修建高鐵,不是一個公司能夠解決的問題,這就需要整個用戶給企業更多時間,同時積極接納類似于P2P之類的“傳統手藝”。

3. 太多用戶對網盤有一種十分矛盾的心態,一方面是非常低的付費意愿和異常挑剔的使用習慣,另一方面又非常擔心網盤服務倒掉之后的文件下載和存儲何處去,但是我們不得不承認的是,正是這種矛盾的心態促成了大量免費網盤在2016年的爆紅,也讓這批網盤在艱難維續之后迅速衰亡。

理性來看,付費意識和共享精神并不沖突,付費本身是市場經濟下對用戶利益的維護行為,因為賺錢的公司才有能力為用戶提供好的服務,只有利他才能自利,在互聯網個人網盤業務日益萎縮的背景下,付費與共享將越來越緊密聯系。

因為如果要保證能有良好的個人云盤體驗,我們必須要在二者中間二選一,或者付費,或者接受P2P式的共享,因為這是歷史趨勢,也是不可改變的市場經濟規律!

轉載自公眾號:智能相對論 作者:顧旭光 本文經授權發布,不代表51LA立場,如若轉載請聯系原作者。