這里的大型網(wǎng)站架構(gòu)是指高互動性高交互性的數(shù)據(jù)型大型網(wǎng)站,基于大家眾所周知的原因,我們就不談新聞類和一些依靠HTML靜態(tài)化就可以實現(xiàn)的架構(gòu)了,我們以高負載高數(shù)據(jù)交換高數(shù)據(jù)流動性的網(wǎng)站為例,比QQ校友,校內(nèi)網(wǎng),開心網(wǎng)等類似的web2.0系列架構(gòu)。不論你選擇任何語言,架構(gòu)都是必須要面對的。
這里討論一下大型網(wǎng)站需要注意和考慮的問題
1、海量數(shù)據(jù)的處理眾所周知,對于一些相對小的站點來說,數(shù)據(jù)量并不是很大,select和update就可以解決我們面對的問題,本身負載量不是很大,最多再加
幾個索引就可以搞定。對于大型網(wǎng)站,每天的數(shù)據(jù)量可能就上百萬,如果一個設(shè)計不好的多對多關(guān)系,在前期是沒有任何問題的,但是隨著
用戶的增長,數(shù)據(jù)量會是幾何級的增長的。在這個時候我們對于一個表的select和update的時候(還不說多表聯(lián)合查詢)的成本的非常高的。
2、數(shù)據(jù)并發(fā)的處理在一些時候,2.0的CTO都有個尚方寶劍,就是緩存。對于緩存,在高并發(fā)高處理的時候也是個大問題。在整個應(yīng)用程序下,緩存是全局共享
的,然而在我們進行修改的時候就,如果兩個或者多個請求同時對緩存有更新的要求的情況下,應(yīng)用程序會直接的死掉。這個時候,就需要
一個好的數(shù)據(jù)并發(fā)處理策略以及緩存策略。
另外,就是數(shù)據(jù)庫的死鎖問題,也許平時我們感覺不到,死鎖在高并發(fā)的情況下的出現(xiàn)的概率是非常高的,磁盤緩存就是一個大問題。
3、文件存貯的問題對于一些支持文件上傳的2.0的站點,在慶幸硬盤容量越來越大的時候我們更多的應(yīng)該考慮的是文件應(yīng)該如何被存儲并且被有效的索引。常見
的方案是對文件按照日期和類型進行存貯。但是當文件量是海量的數(shù)據(jù)的情況下,如果一塊硬盤存貯了500個G的瑣碎文件,那么維護的時候
和使用的時候磁盤的Io就是一個巨大的問題,哪怕你的帶寬足夠,但是你的磁盤也未必響應(yīng)過來。如果這個時候還涉及上傳,磁盤很容易就
over了。
也許用raid和專用存貯服務(wù)器能解決眼下的問題,但是還有個問題就是各地的訪問問題,也許我們的服務(wù)器在北京,可能在云南或者新疆的
訪問速度如何解決?如果做分布式,那么我們的文件索引以及架構(gòu)該如何規(guī)劃。
所以我們不得不承認,文件存貯是個很不容易的問題
4、數(shù)據(jù)關(guān)系的處理我們可以很容易的規(guī)劃出一個符合第三范式的數(shù)據(jù)庫,里面布滿了多對多關(guān)系,還能用GUID來替換INDENTIFY COLUMN 但是,多對多關(guān)系充斥
的2.0時代,第三范式是第一個應(yīng)該被拋棄的。必須有效的把多表聯(lián)合查詢降到最低。
5、數(shù)據(jù)索引的問題眾所周知,索引是提高數(shù)據(jù)庫效率查詢的最方面最廉價最容易實現(xiàn)的方案。但是,在高UPDATE的情況下,update和delete付出的成本會高的
無法想想,筆者遇到過一個情況,在更新一個聚焦索引的時候需要10分鐘來完成,那么對于站點來說,這些基本上是不可忍受的。
索引和更新是一對天生的冤家,問題A,D,E這些是我們在做架構(gòu)的時候不得不考慮的問題,并且也可能是花費時間最多的問題。
6、分布式處理對于2.0網(wǎng)站由于其高互動性,CDN實現(xiàn)的效果基本上為0,內(nèi)容是實時更新的,我們常規(guī)的處理。為了保證各地的訪問速度,我們就需要面對
一個絕大的問題,就是如何有效的實現(xiàn)數(shù)據(jù)同步和更新,實現(xiàn)各地服務(wù)器的實時通訊有是一個不得不需要考慮的問題。
7、Ajax的利弊分析成也AJAX,敗也AJAX,AJAX成為了主流趨勢,突然發(fā)現(xiàn)基于XMLHTTP的post和get是如此的容易??蛻舳薵et或者post 到服務(wù)器數(shù)據(jù),服務(wù)器
接到數(shù)據(jù)請求之后返回來,這是一個很正常的AJAX請求。但是在AJAX處理的時候,如果我們使用一個抓包工具的話,對數(shù)據(jù)返回和處理是一
目了然。對于一些計算量大的AJAX請求的話,我們可以構(gòu)造一個發(fā)包機,很容易就可以把一個webserver干掉。
8、數(shù)據(jù)安全性的分析對于HTTP協(xié)議來說,數(shù)據(jù)包都是明文傳輸?shù)?,也許我們可以說我們可以用加密啊,但是對于G問題來說的話,加密的過程就可能是明文了(比
如我們知道的QQ,可以很容易的判斷他的加密,并有效的寫一個跟他一樣的加密和解密方法出來的)。當你站點流量不是很大的時候沒有人會
在乎你,但是當你流量上來之后,那么所謂的外掛,所謂的群發(fā)就會接踵而來(從qq一開始的群發(fā)可見端倪)。也許我們可以很的意的說,我
們可以采用更高級別的判斷甚至HTTPS來實現(xiàn),注意,當你做這些處理的時候付出的將是海量的database,io以及CPU的成本。對于一些群發(fā)
,基本上是不可能的。筆者已經(jīng)可以實現(xiàn)對于百度空間和qq空間的群發(fā)了。大家愿意試試,實際上并不是很難。
9、數(shù)據(jù)同步和集群的處理的問題當我們的一臺databaseserver不堪重負的時候,這個時候我們就需要做基于數(shù)據(jù)庫的負載和集群了。而這個時候可能是最讓人困擾的的問題
了,數(shù)據(jù)基于網(wǎng)絡(luò)傳輸根據(jù)數(shù)據(jù)庫的設(shè)計的不同,數(shù)據(jù)延遲是很可怕的問題,也是不可避免的問題,這樣的話,我們就需要通過另外的手段
來保證在這延遲的幾秒或者更長的幾分鐘時間內(nèi),實現(xiàn)有效的交互。比如數(shù)據(jù)散列,分割,內(nèi)容處理等等問題。
10、數(shù)據(jù)共享的渠道以及OPENAPI趨勢Openapi已經(jīng)成為一個不可避免的趨勢,從google,facebook,myspace到21kaiyun.com,都在考慮這個問題,它可以更有效的留住用戶并激
發(fā)用戶的更多的興趣以及讓更多的人幫助你做最有效的開發(fā)。這個時候一個有效的數(shù)據(jù)共享平臺,數(shù)據(jù)開放平臺就成為必不可少的途徑了,
而在開放的接口的情況保證數(shù)據(jù)的安全性和性能,又是一個我們必須要認真思考的問題了。
本文來源于成都網(wǎng)站建設(shè)公司與成都網(wǎng)站設(shè)計制作公司-創(chuàng)新互聯(lián)成都公司!
當前文章:大型網(wǎng)站架構(gòu)需要考慮的地方
分享網(wǎng)址:http://redsoil1982.com.cn/news23/321073.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)網(wǎng)站建設(shè)、用戶體驗、網(wǎng)站改版、品牌網(wǎng)站制作、域名注冊、商城網(wǎng)站
廣告
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源:
創(chuàng)新互聯(lián)