数据能说明一切对全球成人站你了解多少?
成人站有多大?上之人,多少都会接触过成人站。这是一个举世公认的事实。不过这是一个难以洞察的领域,由于相干数据少之又少。我们知道成人站都是那些在互联上有着超高流量的站。根据GoogleDoubleClick的AdPlanner服务(通过cookie跟踪民)显示,全球Top500站中,就有数十个成人站。
全球最大的色情站Xvideos每个月页阅读量(PageViews,PV)高达44亿,是CNN或ESPN站的3倍,是Reddit白癜风原因的2倍。LiveJasmin也不小。除Google和Facebook等大站,其他站在YouPorn、Tube8和PornHub眼前都是小巫见大巫。
虽然页阅读量是一个很好的起始点,但它们仅告知我们某些色情站比某些非色情站要受欢迎。40亿的PV,听起来很多,但当我们把那些X站用户实际在做的事斟酌进来,成人站的大小和范围就有点明朗了。
范围
色情站和非色情站的主页区分是访客的平均停留时间。诸如Engadget等站的平均停留时间是36分钟,大约是是浏览12篇文章。但是色情站的停留时间,大约是在1520分钟。
大部分站的内容主要是文本和图象,而成人大站则是视频。ExtremeTech首页完全加载大约是几兆数据,打开一篇文章,大约是500kb数据。访问色情站,假定是打开一个480200低分辨率的视频,每秒传输100kb数据。15分钟的话,那就大约是90MB数据了。
Xvideos每个月有3.5亿访问次数,乘以90MB,那就每个月传输大约29PB数据,也就是每秒传送数据约50GB。做个比较,你家络连接可能每秒传送两兆(2MB),Xvideos是你家的25,000倍。
简而言之,色情站是在处理天文数字级别的数据。在白癜风有什么症状原始带宽(RawBandwidth)方面,能与之匹敌的站,也就只有YouTube或Hulu,而YouPorn却又是Hulu的6倍。
基础设施
就支持视频所需的资源,数据存储器、CPU周期、I/O和带宽,远超过文本和图象所需要的资源。
固然了,虽然每一个站的情况又不一样了,但大部分成人站点都有50至200TB的成人资料。对一个站来讲,这是个大数目(Google、Facebook、Blogger和Youtube之流存储的数据比这还要多),好在现在2TB的硬盘便宜。
CPU周期和I/O会影响视频流和PV数量。首先,色情站要提供动态、可搜索的海量视频数据库,然后点播视频时,从硬盘读取文件,再络上传输。如果你有过在局域传送大量大文件的经历,你就会知道络系统的压力有多大了。
硬件装备情况,实际上我们几近没法知晓,由于色情站也没公布过。虽然如此,但我们讨论的大型色情站会有四核服务器、千兆交换机、负载均衡器。在软件方面,大部分大型色情站都会使用超高吞吐量的数据库(比如Redis)来存储和提供视频,还有轻量级的HTTP服务器(比如Nginx)。
最后说带宽。还是以Xvideos为例(基于AdPlanner的数据估测),大型色情站必须有足够的连通性(connectivity)来支持每秒50GB(400Gbps)。这还只是平均传输速率。在高峰期间,Xvideos也许要1,000Gbps(1Tbps),或更高。在伦敦和纽约直接的连通性也才15Tbps。
有很多方法来处理高流量:自己弄个数据中心,或去大数据中心租赁几排架的服务器,或使用诸如AmazonAWS和MicrosoftAzure之类的云服务。
真实案例
YouPorn是全球第二大的色情站,足够提供研究数据。另外要说一下,DoubleClick的AdPlanner中的估测数据比实际数据要低很多的。
YouPorn有超过100TB的干货,每天页阅读量超过1亿。总而言,这相当于每天传送950TB数据(大部分都是视频流),每个月大约传送29PB。Xvideos肯定不止28PB这个估测值了,它可能是每个月3540TB。
在高峰期,YouPorn每秒得响应4000个页,相当于有每秒100GB或(800Gbps)的突发流量。这相当月每秒传送10 张双层DVD。
在软件方面,YouPorn的主数据库是Redis,用MySQL作为管理工具,用于管理和向Redis簇中添加数据。后端是Perl和MySQL,不过在2011年改成了PHP Redis。HTTP服务器是Nginx,同时用HAProxy和Varnish做负载均衡。
Redis服务器可以每秒处理30万要求,每小时记录下815GB数据,包括访客日志、行动数据等。听说Redis可以抗住2亿的日PV。
(译注:2012年2月份,YouPorn的技术人员EricPickup在Google群组宣布他们站改用RedisDB后。扛住了每天1亿PV阅读量,每秒30万要求,已坚持2周。Eric还将去加拿大一个技术大会分享经验。)
使人悲伤的是,YouPorn谢绝泄漏硬件装备信息。从YouPorn的CDN的IP地址来看,它应当没有使用云服务,应当托管在某地的大型数据中心。
互联每天大约处理1/2EB数据,相当于每秒处理50Tb,YouPorn的800Gbps这个数字,几近就占了互联中每秒流量的2。而全球有几十个和YouPorn范围相当的色情站。互联流量中色情内容占据了30,这个说法也就不是不现实的哦。
(译注:1EB=1024PB=1024*1024TB=1024*1024*1024GB)
转载请注明:http://www.logistics-info.com/bsmjb/1025.html