"網(wǎng)易寶"是網(wǎng)易公司為方便用戶進行網(wǎng)上交易推出的安全、穩(wěn)定、快捷的在線支付平臺，為用戶提供了多種方便的在線充值、交易管理、在線支付帳戶管理、代收、提現(xiàn)等服務(wù)。網(wǎng)易寶現(xiàn)更名為網(wǎng)易支付。
 

網(wǎng)易寶有限公司是網(wǎng)易旗下的第三方支付公司。依托網(wǎng)易郵箱、游戲、門戶網(wǎng)站等強勢產(chǎn)品優(yōu)勢，致力于構(gòu)建具有網(wǎng)易特色的綜合支付平臺，為企業(yè)和用戶提供"安全、便捷、人性化"的在線支付解決方案。

業(yè)務(wù)覆蓋:B2C、B2B、C2B2C; 服務(wù)線上線下產(chǎn)品，包括網(wǎng)絡(luò)游戲、電子商務(wù)、在線教育、生活繳費、保險行業(yè)、彩票行業(yè)。

網(wǎng)易寶支撐了整個集團業(yè)務(wù)絕大部分的支付場景，平均每天的支付訂單有100萬單，接近1億的交易額。因此，一個嚴(yán)謹(jǐn)實用的系統(tǒng)是必不可少的，下面就從我的理解上說說網(wǎng)易寶的系統(tǒng)是如何實現(xiàn)高可用的。
 

網(wǎng)易寶的所有核心應(yīng)用和中間件都是集群部署的，通過負(fù)載均衡，平均分配流量。

對于業(yè)務(wù)系統(tǒng)， 在nginx服務(wù)器(nginx集群部署，負(fù)載均衡使用LVS)上配置了負(fù)載均衡策略，路由請求到后端的應(yīng)用服務(wù)器resin。如果web應(yīng)用集群某臺機器掛了，nginx通過心跳健康檢查，3秒內(nèi)能檢測到，把這臺機器從可用列表中剔除出去。

中間件dubbo的consumer基于負(fù)載均衡算法， 獲取zookeeper上統(tǒng)計的provider的負(fù)載情況，決定請求哪臺provider。Kafka也是類似的原理。如果dubbo服務(wù)的某臺provider掛了，與provider維持長連接的zookeeper心跳線程會檢測到，把provider從服務(wù)的可用provider列表中剔除，并快速通知到所有依賴該服務(wù)的consumer(也是維持的TCP長連接)，consumer更新本地緩存的provider列表。

對于有狀態(tài)的服務(wù)器，都有數(shù)據(jù)備份機制。

數(shù)據(jù)庫主庫會異步同步數(shù)據(jù)到備庫。數(shù)據(jù)庫主庫掛了，如果切到備庫，可能會丟失部分業(yè)務(wù)數(shù)據(jù)(異步復(fù)制，網(wǎng)絡(luò)穩(wěn)定情況下10ms以內(nèi)的延遲，不是同步寫多份的)。Kafka每條消息都會復(fù)制到不同的機器(broker)上。Zookeeper上的數(shù)據(jù)也是多寫的。Kafka的主broker掛了或者zookeeper的主服務(wù)器掛了，通過選舉算法選舉出新的leader。Leader用于讀寫，slavers用于備份。Leader掛了，從slavers中選舉出新的leader快速恢復(fù)服務(wù)。Kafka和zookeeper是做了數(shù)據(jù)高可靠性保證的，極小概率會出現(xiàn)丟失數(shù)據(jù)的情況。
 

多機房部署上，網(wǎng)易寶有杭州、北京兩地機房。杭州是主機房，北京是備，不是多活的。 北京的機房服務(wù)器數(shù)量較少，數(shù)據(jù)庫服務(wù)器性能較差，數(shù)據(jù)復(fù)制也有秒級的延遲。所以不到萬不得已，是不會切到備用機房的。目前網(wǎng)易支付已經(jīng)在搭建義橋的機房，2017年實現(xiàn)濱江機房和義橋機房的雙活,解決機房的單點問題。

綜上所述，在同一個機房，網(wǎng)易寶無論是無狀態(tài)的服務(wù)器，還是有狀態(tài)的服務(wù)器，從存儲層，到中間件層，到應(yīng)用層，都不存在單點問題。機房的單點問題也會在不久后解決。

更新不頻繁的基礎(chǔ)熱點數(shù)據(jù)，如配置項、所有商戶信息、網(wǎng)關(guān)數(shù)據(jù)，在應(yīng)用啟動時，加載到本地緩存。減少對數(shù)據(jù)庫的頻繁調(diào)用。

網(wǎng)易寶的session管理使用中心化的memcached集群，業(yè)務(wù)流程中的一些狀態(tài)數(shù)據(jù)，也是存放到memcached。系統(tǒng)之間使用文件數(shù)據(jù)交互的，文件保存到FTP。需要持久化的業(yè)務(wù)數(shù)據(jù)保存到中心化的數(shù)據(jù)庫。 不管是業(yè)務(wù)數(shù)據(jù)，還是非業(yè)務(wù)數(shù)據(jù)，都不會保存到本地應(yīng)用服務(wù)器，保證應(yīng)用無狀態(tài)化，使得應(yīng)用集群可以快速的橫向擴展。

為了保證核心支付服務(wù)的穩(wěn)定性，數(shù)據(jù)庫上做了讀寫分離。核心業(yè)務(wù)的讀寫走主庫。對于讀實時性要求不高的查詢場景，查詢備庫。如商戶系統(tǒng)訂單的查詢請求。對于耗時長的sql的查詢場景，查詢異構(gòu)庫，如商戶的對賬單下載。

§

§ 熱點賬戶處理異步化

為了避免熱點賬戶上的行鎖的激烈競爭影響系統(tǒng)吞吐，網(wǎng)易寶對熱點賬戶的余額更新和資金流水生成，做了異步處理。業(yè)務(wù)完成后如果需要變動熱點賬戶的金額，先生成緩沖流水，然后由調(diào)度任務(wù)異步去消費緩沖流水去更新余額、生成資金流水。使熱點賬戶的并發(fā)鎖競爭變成了串行處理，大大降低了行鎖競爭導(dǎo)致的線程阻塞，提高了系統(tǒng)的吞吐。

提現(xiàn)、退款處理對實時性的要求不高，通過異步化，對于處理失敗的訂單可以用重試機制補償。避免了同步調(diào)用失敗給用戶不好的體驗。

關(guān)鍵詞： 網(wǎng)易寶