2021-02-04 分類: 網(wǎng)站建設(shè)
1. 大型網(wǎng)站系統(tǒng)的特點(diǎn)
2. 大型網(wǎng)站架構(gòu)演化歷程
2.1. 初始階段架構(gòu)
問(wèn)題:網(wǎng)站運(yùn)營(yíng)初期,訪問(wèn)用戶少,一臺(tái)服務(wù)器綽綽有余。
特征:應(yīng)用程序、數(shù)據(jù)庫(kù)、文件等所有的資源都在一臺(tái)服務(wù)器上。
描述:通常服務(wù)器操作系統(tǒng)使用 linux,應(yīng)用程序使用 PHP 開(kāi)發(fā),然后部署在 Apache 上,數(shù)據(jù)庫(kù)使用 Mysql,通俗稱為 LAMP。匯集各種免費(fèi)開(kāi)源軟件以及一臺(tái)廉價(jià)服務(wù)器就可以開(kāi)始系統(tǒng)的發(fā)展之路了。
2.2. 應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離
問(wèn)題:越來(lái)越多的用戶訪問(wèn)導(dǎo)致性能越來(lái)越差,越來(lái)越多的數(shù)據(jù)導(dǎo)致存儲(chǔ)空間不足,一臺(tái)服務(wù)器已不足以支撐。
特征:應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、文件服務(wù)器分別獨(dú)立部署。
描述:三臺(tái)服務(wù)器對(duì)性能要求各不相同:應(yīng)用服務(wù)器要處理大量業(yè)務(wù)邏輯,因此需要更快更強(qiáng)大的 CPU;數(shù)據(jù)庫(kù)服務(wù)器需要快速磁盤檢索和數(shù)據(jù)緩存,因此需要更快的硬盤和更大的內(nèi)存;文件服務(wù)器需要存儲(chǔ)大量文件,因此需要更大容量的硬盤。
2.3. 使用緩存改善性能
問(wèn)題:隨著用戶逐漸增多,數(shù)據(jù)庫(kù)壓力太大導(dǎo)致訪問(wèn)延遲。
特征:由于網(wǎng)站訪問(wèn)和財(cái)富分配一樣遵循二八定律:80% 的業(yè)務(wù)訪問(wèn)集中在 20% 的數(shù)據(jù)上。將數(shù)據(jù)庫(kù)中訪問(wèn)較集中的少部分?jǐn)?shù)據(jù)緩存在內(nèi)存中,可以減少數(shù)據(jù)庫(kù)的訪問(wèn)次數(shù),降低數(shù)據(jù)庫(kù)的訪問(wèn)壓力。
描述:緩存分為兩種:應(yīng)用服務(wù)器上的本地緩存和分布式緩存服務(wù)器上的遠(yuǎn)程緩存,本地緩存訪問(wèn)速度更快,但緩存數(shù)據(jù)量有限,同時(shí)存在與應(yīng)用程序爭(zhēng)用內(nèi)存的情況。分布式緩存可以采用集群方式,理論上可以做到不受內(nèi)存容量限制的緩存服務(wù)。
2.4. 使用應(yīng)用服務(wù)器集群
問(wèn)題:使用緩存后,數(shù)據(jù)庫(kù)訪問(wèn)壓力得到有效緩解。但是單一應(yīng)用服務(wù)器能夠處理的請(qǐng)求連接有限,在訪問(wèn)高峰期,成為瓶頸。
特征:多臺(tái)服務(wù)器通過(guò)負(fù)載均衡同時(shí)向外部提供服務(wù),解決單一服務(wù)器處理能力和存儲(chǔ)空間不足的問(wèn)題。
描述:使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段。通過(guò)向集群中追加資源,提升系統(tǒng)的并發(fā)處理能力,使得服務(wù)器的負(fù)載壓力不再成為整個(gè)系統(tǒng)的瓶頸。
2.5. 數(shù)據(jù)庫(kù)讀寫分離
問(wèn)題:網(wǎng)站使用緩存后,使絕大部分?jǐn)?shù)據(jù)讀操作訪問(wèn)都可以不通過(guò)數(shù)據(jù)庫(kù)就能完成,但是仍有一部分讀操作和全部的寫操作需要訪問(wèn)數(shù)據(jù)庫(kù),在網(wǎng)站的用戶達(dá)到一定規(guī)模后,數(shù)據(jù)庫(kù)因?yàn)樨?fù)載壓力過(guò)高而成為網(wǎng)站的瓶頸。
特征:目前大部分的主流數(shù)據(jù)庫(kù)都提供主從熱備功能,通過(guò)配置兩臺(tái)數(shù)據(jù)庫(kù)主從關(guān)系,可以將一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)更新同步到一臺(tái)服務(wù)器上。網(wǎng)站利用數(shù)據(jù)庫(kù)的主從熱備功能,實(shí)現(xiàn)數(shù)據(jù)庫(kù)讀寫分離,從而改善數(shù)據(jù)庫(kù)負(fù)載壓力。
描述:應(yīng)用服務(wù)器在寫操作的時(shí)候,訪問(wèn)主數(shù)據(jù)庫(kù),主數(shù)據(jù)庫(kù)通過(guò)主從復(fù)制機(jī)制將數(shù)據(jù)更新同步到從數(shù)據(jù)庫(kù)。這樣當(dāng)應(yīng)用服務(wù)器在讀操作的時(shí)候,訪問(wèn)從數(shù)據(jù)庫(kù)獲得數(shù)據(jù)。為了便于應(yīng)用程序訪問(wèn)讀寫分離后的數(shù)據(jù)庫(kù),通常在應(yīng)用服務(wù)器端使用專門的數(shù)據(jù)訪問(wèn)模塊,使數(shù)據(jù)庫(kù)讀寫分離的對(duì)應(yīng)用透明。
2.6. 反向代理和 CDN 加速
問(wèn)題:中國(guó)網(wǎng)絡(luò)環(huán)境復(fù)雜,不同地區(qū)的用戶訪問(wèn)網(wǎng)站時(shí),速度差別也極大。
特征:采用 CDN 和反向代理加快系統(tǒng)的靜態(tài)資源訪問(wèn)速度。
描述:CDN 和反向代理的基本原理都是緩存,區(qū)別在于 CDN 部署在網(wǎng)絡(luò)提供商的機(jī)房,使用戶在請(qǐng)求網(wǎng)站服務(wù)時(shí),可以從距離自己最近的網(wǎng)絡(luò)提供商機(jī)房獲取數(shù)據(jù);而反向代理則部署在網(wǎng)站的中心機(jī)房,當(dāng)用戶請(qǐng)求到達(dá)中心機(jī)房后,首先訪問(wèn)的服務(wù)器時(shí)反向代理服務(wù)器,如果反向代理服務(wù)器中緩存著用戶請(qǐng)求的資源,就將其直接返回給用戶。
2.7. 分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)
問(wèn)題:隨著大型網(wǎng)站業(yè)務(wù)持續(xù)增長(zhǎng),數(shù)據(jù)庫(kù)經(jīng)過(guò)讀寫分離,從一臺(tái)服務(wù)器拆分為兩臺(tái)服務(wù)器,依然不能滿足需求。
特征:數(shù)據(jù)庫(kù)采用分布式數(shù)據(jù)庫(kù),文件系統(tǒng)采用分布式文件系統(tǒng)。
描述:分布式數(shù)據(jù)庫(kù)是數(shù)據(jù)庫(kù)拆分的最后方法,只有在單表數(shù)據(jù)規(guī)模非常龐大的時(shí)候才使用。不到不得已時(shí),更常用的數(shù)據(jù)庫(kù)拆分手段是業(yè)務(wù)分庫(kù),將不同的業(yè)務(wù)數(shù)據(jù)庫(kù)部署在不同的物理服務(wù)器上。
2.8. 使用 NoSQL 和搜索引擎
問(wèn)題:隨著網(wǎng)站業(yè)務(wù)越來(lái)越復(fù)雜,對(duì)數(shù)據(jù)存儲(chǔ)和檢索的需求也越來(lái)越復(fù)雜。
特征:系統(tǒng)引入 NoSQL 數(shù)據(jù)庫(kù)及搜索引擎。
描述:NoSQL 數(shù)據(jù)庫(kù)及搜索引擎對(duì)可伸縮的分布式特性具有更好的支持。應(yīng)用服務(wù)器通過(guò)統(tǒng)一數(shù)據(jù)訪問(wèn)模塊訪問(wèn)各種數(shù)據(jù),減輕應(yīng)用程序管理諸多數(shù)據(jù)源的麻煩。
2.9. 業(yè)務(wù)拆分
問(wèn)題:大型網(wǎng)站的業(yè)務(wù)場(chǎng)景日益復(fù)雜,分為多個(gè)產(chǎn)品線。
特征:采用分而治之的手段將整個(gè)網(wǎng)站業(yè)務(wù)分成不同的產(chǎn)品線。系統(tǒng)上按照業(yè)務(wù)進(jìn)行拆分改造,應(yīng)用服務(wù)器按照業(yè)務(wù)區(qū)分進(jìn)行分別部署。
描述:應(yīng)用之間可以通過(guò)超鏈接建立關(guān)系,也可以通過(guò)消息隊(duì)列進(jìn)行數(shù)據(jù)分發(fā),當(dāng)然更多的還是通過(guò)訪問(wèn)同一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)來(lái)構(gòu)成一個(gè)關(guān)聯(lián)的完整系統(tǒng)。
縱向拆分:將一個(gè)大應(yīng)用拆分為多個(gè)小應(yīng)用,如果新業(yè)務(wù)較為獨(dú)立,那么就直接將其設(shè)計(jì)部署為一個(gè)獨(dú)立的 Web 應(yīng)用系統(tǒng)。縱向拆分相對(duì)較為簡(jiǎn)單,通過(guò)梳理業(yè)務(wù),將較少相關(guān)的業(yè)務(wù)剝離即可。
橫向拆分:將復(fù)用的業(yè)務(wù)拆分出來(lái),獨(dú)立部署為分布式服務(wù),新增業(yè)務(wù)只需要調(diào)用這些分布式服務(wù)橫向拆分需要識(shí)別可復(fù)用的業(yè)務(wù),設(shè)計(jì)服務(wù)接口,規(guī)范服務(wù)依賴關(guān)系。
2.10. 分布式服務(wù)
問(wèn)題:隨著業(yè)務(wù)越拆越小,存儲(chǔ)系統(tǒng)越來(lái)越龐大,應(yīng)用系統(tǒng)整體復(fù)雜程度呈指數(shù)級(jí)上升,部署維護(hù)越來(lái)越困難。由于所有應(yīng)用要和所有數(shù)據(jù)庫(kù)系統(tǒng)連接,最終導(dǎo)致數(shù)據(jù)庫(kù)連接資源不足,拒絕服務(wù)。
特征:公共業(yè)務(wù)提取出來(lái),獨(dú)立部署。由這些可復(fù)用的業(yè)務(wù)連接數(shù)據(jù)庫(kù),通過(guò)分布式服務(wù)提供共用業(yè)務(wù)服務(wù)。
3. 大型網(wǎng)站架構(gòu)模式
3.1. 分層
大型網(wǎng)站架構(gòu)中常采用分層結(jié)構(gòu),將軟件系統(tǒng)分為應(yīng)用層、服務(wù)層、數(shù)據(jù)層:
分層架構(gòu)的約束:禁止跨層次的調(diào)用(應(yīng)用層直接調(diào)用數(shù)據(jù)層)及逆向調(diào)用(數(shù)據(jù)層調(diào)用服務(wù)層,或者服務(wù)層調(diào)用應(yīng)用層)。
分層結(jié)構(gòu)內(nèi)部還可以繼續(xù)分層,如應(yīng)用可以再細(xì)分為視圖層和業(yè)務(wù)邏輯層;服務(wù)層也可以細(xì)分為數(shù)據(jù)接口層和邏輯處理層。
3.2. 分割
將不同的功能和服務(wù)分割開(kāi)來(lái),包裝成高內(nèi)聚低耦合的模塊單元。這有助于軟件的開(kāi)發(fā)和維護(hù),便于不同模塊的分布式部署,提高網(wǎng)站的并發(fā)處理能力和功能擴(kuò)展能力。
3.3. 分布式
大于大型網(wǎng)站,分層和分割的一個(gè)主要目的是為了切分后的模塊便于分布式部署,即將不同模塊部署在不同的服務(wù)器上,通過(guò)遠(yuǎn)程調(diào)用協(xié)同工作。
分布式意味可以用更多的機(jī)器工作,那么 CPU、內(nèi)存、存儲(chǔ)資源也就更豐富,能夠處理的并發(fā)訪問(wèn)和數(shù)據(jù)量就越大,進(jìn)而能夠?yàn)楦嗟挠脩籼峁┓?wù)。
分布式也引入了一些問(wèn)題:
常用的分布式方案:
3.4. 集群
集群即多臺(tái)服務(wù)器部署相同應(yīng)用構(gòu)成一個(gè)集群,通過(guò)負(fù)載均衡設(shè)備共同對(duì)外提供服務(wù)。
集群需要具備伸縮性和故障轉(zhuǎn)移機(jī)制:伸縮性是指可以根據(jù)用戶訪問(wèn)量向集群添加或減少機(jī)器;故障轉(zhuǎn)移是指,當(dāng)某臺(tái)機(jī)器出現(xiàn)故障時(shí),負(fù)載均衡設(shè)備或失效轉(zhuǎn)移機(jī)制將請(qǐng)求轉(zhuǎn)發(fā)到集群中的其他機(jī)器上,從而不影響用戶使用。
3.5. 緩存
緩存就是將數(shù)據(jù)存放在距離最近的位置以加快處理速度。緩存是改善軟件性能的第一手段。
網(wǎng)站應(yīng)用中,緩存除了可以加快數(shù)據(jù)訪問(wèn)速度以外,還可以減輕后端應(yīng)用和數(shù)據(jù)存儲(chǔ)的負(fù)載壓力。
常見(jiàn)緩存手段:
使用緩存有兩個(gè)前提:
3.6. 異步
軟件發(fā)展的一個(gè)重要目標(biāo)和驅(qū)動(dòng)力是降低軟件耦合性。事物之間直接關(guān)系越少,彼此影響就越小,也就更容易獨(dú)立發(fā)展。
大型網(wǎng)站架構(gòu)中,系統(tǒng)解耦的手段除了分層、分割、分布式等,還有一個(gè)重要手段——異步。
業(yè)務(wù)間的消息傳遞不是同步調(diào)用,而是將一個(gè)業(yè)務(wù)操作拆分成多階段,每個(gè)階段間通過(guò)共享數(shù)據(jù)的方式異步執(zhí)行進(jìn)行協(xié)作。
異步架構(gòu)是典型的生產(chǎn)者消費(fèi)模式,二者不存在直接調(diào)用。異步消息隊(duì)列還有如下特性:
3.7. 冗余
大型網(wǎng)站,出現(xiàn)服務(wù)器宕機(jī)是必然事件。要保證部分服務(wù)器宕機(jī)的情況下網(wǎng)站依然可以繼續(xù)服務(wù),不丟失數(shù)據(jù),就需要一定程度的服務(wù)器冗余運(yùn)行,數(shù)據(jù)冗余備份。這樣當(dāng)某臺(tái)服務(wù)器宕機(jī)是,可以將其上的服務(wù)和數(shù)據(jù)訪問(wèn)轉(zhuǎn)移到其他機(jī)器上。
訪問(wèn)和負(fù)載很小的服務(wù)也必須部署 至少兩臺(tái)服務(wù)器構(gòu)成一個(gè)集群,目的就是通過(guò)冗余實(shí)現(xiàn)服務(wù)高可用。數(shù)據(jù)除了定期備份,存檔保存,實(shí)現(xiàn) 冷備份 外;為了保證在線業(yè)務(wù)高可用,還需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行主從分離,實(shí)時(shí)同步實(shí)現(xiàn) 熱備份。
為了抵御地震、海嘯等不可抗因素導(dǎo)致的網(wǎng)站完全癱瘓,某些大型網(wǎng)站會(huì)對(duì)整個(gè)數(shù)據(jù)中心進(jìn)行備份,全球范圍內(nèi)部署 災(zāi)備數(shù)據(jù)中心。網(wǎng)站程序和數(shù)據(jù)實(shí)時(shí)同步到多個(gè)災(zāi)備數(shù)據(jù)中心。
3.8. 自動(dòng)化
大型網(wǎng)站架構(gòu)的自動(dòng)化架構(gòu)設(shè)計(jì)主要集中在發(fā)布運(yùn)維方面:
4.2. 可用性
可用性指部分服務(wù)器出現(xiàn)故障時(shí),還能否對(duì)用戶提供服務(wù)
4.3. 伸縮性
衡量伸縮的標(biāo)準(zhǔn)就是是否可以用多臺(tái)服務(wù)器構(gòu)建集群,是否容易向集群中增刪服務(wù)器節(jié)點(diǎn)。增刪服務(wù)器節(jié)點(diǎn)后是否可以提供和之前無(wú)差別的服務(wù)。集群中可容納的總服務(wù)器數(shù)是否有限制。
4.4. 擴(kuò)展性
衡量擴(kuò)展性的標(biāo)準(zhǔn)就是增加新的業(yè)務(wù)產(chǎn)品時(shí),是否可以實(shí)現(xiàn)對(duì)現(xiàn)有產(chǎn)品透明無(wú)影響,不需要任何改動(dòng)或很少改動(dòng),既有功能就可以上線新產(chǎn)品。主要手段有:事件驅(qū)動(dòng)架構(gòu)和分布式服務(wù)。
4.5. 安全性
安全性保護(hù)網(wǎng)站不受惡意攻擊,保護(hù)網(wǎng)站重要數(shù)據(jù)不被竊取。
歡迎工作一到五年的Java工程師朋友們加入Java程序員開(kāi)發(fā): 721575865
群內(nèi)提供免費(fèi)的Java架構(gòu)學(xué)習(xí)資料(里面有高可用、高并發(fā)、高性能及分布式、Jvm性能調(diào)優(yōu)、Spring源碼,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個(gè)知識(shí)點(diǎn)的架構(gòu)資料)合理利用自己每一分每一秒的時(shí)間來(lái)學(xué)習(xí)提升自己,不要再用"沒(méi)有時(shí)間“來(lái)掩飾自己思想上的懶惰!趁年輕,使勁拼,給未來(lái)的自己一個(gè)交代!
網(wǎng)頁(yè)標(biāo)題:大型互聯(lián)網(wǎng)站架構(gòu)的特點(diǎn)概述
當(dāng)前URL:http://redsoil1982.com.cn/news11/99061.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供定制網(wǎng)站、品牌網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)公司、企業(yè)建站、微信小程序、App開(kāi)發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容