銀聯的pos機內存已滿,中國銀聯—基于容器的金融數據庫云平臺DBaaS設計實踐分享

 新聞資訊2  |   2023-05-25 09:46  |  投稿人:pos機之家

網上有很多關于銀聯的pos機內存已滿,中國銀聯—基于容器的金融數據庫云平臺DBaaS設計實踐分享的知識,也有很多人為大家解答關于銀聯的pos機內存已滿的問題,今天pos機之家(www.tonybus.com)為大家整理了關于這方面的知識,讓我們一起來看下吧!

本文目錄一覽:

1、銀聯的pos機內存已滿

銀聯的pos機內存已滿

本文根據曾玉成老師在2018年5月11日【第九屆中國數據庫技術大會(DTCC2018)】現場演講內容整理而成。

講師介紹:

中國銀聯資深數據庫專家,數據庫團隊負責人 曾玉成

中國銀聯資深數據庫專家,數據庫團隊負責人,銀聯技術專家委員會委員;團隊負責銀聯信息總中心數據庫、大數據相關運維工作;13年大型核心金融交易系統數據庫設計及運維經驗,最近5年帶領團隊在開源技術包括數據庫云、分布式數據庫、大數據、容器技術、規?;\維等方向進行實踐和探索。

分享大綱:

1. 銀聯轉型發展的技術需求

2. 數據庫云的銀聯方案

3. 數據庫云建設的挑戰

4. 發展及暢想

一、銀聯轉型發展的技術需求

金融行業數據庫技術發展趨勢

從金融行業來講我們大概有這么幾個趨勢,之前的話大家都知道在銀行里面或者金融系統里面用的都是一些IOE,像一些產品的數據庫加小機加存儲,現在是因為我們的業務也是在不斷地互聯網化和移動化方向發展,同時現在因為對金融機構來講監管有一些要求,比如說一些開源、國產化、自主可控這些方面對我們來講就提出來一些新的要求。

因此金融行業的技術發展有這么幾個趨勢,有點像互聯網企業一樣,就是說微服務化、分布式化、平臺化、自動化、智能化這樣一個發展趨勢,大部分的銀行或者金融機構里面目前的現狀可能是商業產品,同時也有大量的這種開源的數據庫并行的現狀,總體的話就是自主可控、分布式、PssS云化和自動化。

銀聯轉型發展的技術需求

這個是針對我們銀聯自己來講的話,就是我們銀聯在業務的轉型對我們技術的需求。之前的話大家可能也都知道基本上銀聯的業務場景就是POS刷卡、ATM取錢、操作,但是這幾年的話業務發展慢慢的也是移動互聯網化,比如說像我們的一些產品,包括云閃付APP,大家用的是apple pay這些產品,還有一些銀聯在線掃碼支付,這些都是移動互聯網的這樣一個業務場景。

那么這些業務系統的話跟我們有相關的一些特點,第一個就是業務來的很快,而且規模都很大,然后像這些APP的話經常會搞一些活動,那么對一些需求也是風險的要求比較高的,比如說我們搞活動的時候買了會員,是平時的N倍,另外一個就是我們因為規模大了以后,平臺可靠性這一塊要求挺高,因此就是說這樣一個背景情況下,對于我們的基礎知識架構這一塊提出來一些新的要求,比如說要有更快的服務交換能力,更高的資源利用,還有一個更靈活的大規模的管理能力。

剛才前面講到的就是知識架構那一塊需要那些能力的話,那我們通過什么方法來解決呢?比如說我怎么快速去交付,我怎么樣去彈性提供資源,然后我在想可能大家想的都一樣,通過云的方法去做,那么做數據庫云去解決這些問題。那作為一個數據庫云架構,應該有靈活的資源彈性調動能力,高效的資源利用率,服務安全可靠,具備大規模的服務管理。

二、數據庫云的銀聯方案

我們銀聯這一塊就是在金融行業里面做開源這一塊的話相對來講應該是比較早的,我們在2012年的時候就開始做,那個時候的話因為數量比較少,早期的話我們主要是用手工加一些自動化腳本制作的一些運維,但是到2014年的時候,我們生產的Mysql數據庫越來越多了,那時候我們就想著做平臺來管理那時候是DBaaS1.0。

但是到了2015年的時候,也就是當時容器這種技術出現了,當時我們在想容器這種技術的話是不是能夠把數據實現平臺化,所以當時我們2016年的時候就做了DBaaS2.0這個版本,那么這個DBaaS平臺我們是基于Docker做的。在這期間我們平臺主要做了兩個服務,一個是做了我們的基于Mysql開發的數據庫。然后我們上面的服務的話基本上也是分步策劃的,也能夠做到SCALE OUT彈性擴展,這個是我們目前的現狀大概是2.0的版本,然后我們現在正在做的是智能化自助化的功能。

我們現在這個版本總結下來有這么幾個特點。第一個就是自主可控,這個平臺所有的開發,包括上面提供的數據庫服務,這個都是我們自己自研的,這個也是符合我們國家對金融安全監管的要求的。第二個就是彈性伸縮實現了SCALE UP和SCALE OUT。第三個就是我們高度服務化,我們把這個企業結構進行服務化的一些設計,我們很快速地把一些數據庫產品進行包裝。第四個的話就是我們當時是2015年就開始做數據庫容器化,我們很早的時候,2015年的時候就把這個做出來了,而且大規模地在生態環境中用了,用在我們的金融領域,這應該在國內的金融領域算是比較早的。

我們平臺的話自動化和自助化是我們一個最基本的要求,就是在這個平臺上我們所有的操作、運維、管理基本上都是做到簡單。通用性高是在部署方面體現,比如說我們很多環境,我們銀聯有很多開發、研發,部署等等,有的產品做的特別復雜,部署要好幾天,但是這個也不好用。

基于docker的DBaaS建設的幾個重要難點

容器管理框架

講一下我們當時做那個容器的框架選擇的時候為什么我們選的是Swarm。因為當時其實也是面臨兩個選擇,一個是用Swarm另一個是用K8s,但是同樣2015年那個時候來看的話,我們是研究了一下發現就是說做數據庫的話,這兩個都不能很好地解決我們的問題,就是說它的原生的一些網絡架構或者一些管理架構都沒法滿足我們的一些需求,所以這兩個都是要我們定制和開發的,要在我們自己去設想開發,所以我們當時就選了Swarm。

為什么選這個呢?首先是因為它是一個輕量級的,然后可定制性比較高,就是開發相對難度要小一點,所以我們選擇了Swarm,當時來講Swarm其實發展勢頭還是蠻好的,特別是這兩年發展的比較好,但是就是到今天為止K8s也沒有辦法完完全全滿足數據庫容器化的這個需求,它也沒有用原生態去做一個復雜的數據庫平臺網絡和存儲模型,我們也一直在關注這個的發展。

平臺網絡解決方案

這個是我們技術上面的一個解決方案,想跟大家分享一下。首先是網絡這一塊,那么做容器,做數據庫的話,網絡這塊是很關鍵的,你什么樣的網絡模型那么就用你這個數據庫的性能。比如說我們Docker計算網絡模式,你用其他的原生模式去試一下就知道,你會發現性能損耗非常大,但如果你不用它,你用其他的那些模式你會發現那個網絡沒法做隔離。它怎么樣做到一種方案就是說我既能夠把網絡隔離起來,同時又能夠把網絡對它的性能不受影響,那時候我們就選擇了一個方案叫做過SR_IOV技術,就是把一款物理網卡進行虛擬化,現在普通的萬兆網卡都可以做到64個或128個虛擬卡,那么把這個虛擬網卡通過VF方式放入網絡內存,大概具體的做法就是說速度之上,把這個網卡虛擬化了以后,然后通過Net NS映射給Docker, 雙網卡bonding。VF上還可以直接配置Qos策略,相較于物理環境下無損耗,這一點是非常非??少F的,就是在我們做數據庫容器化的時候一個很關鍵的點,這個方案我后來也看到了,就是螞蟻金服他們自己以前做的也是這種方案。

平臺存儲管理解決方案

另外一個就是存儲這一塊。之前我們用容器平臺做存儲這一塊大概有兩種選擇,一種選擇是用本地存儲,另一個選擇是分布式存儲,那么這兩種方案都有缺點,第一個用本地存儲的話有一個很大的問題,就是數據遷移性的問題,你要被通過備份,這個是一個比較耗時的問題。同時一般本地存儲的空間是比較小的,那它的一兩個T就沒了。如果是用的共享存儲的話有一個最大的問題就是性能問題,那有沒有一種方法就是說我們既能夠做到數據快速遷移,同時又滿足存儲隔離,那我們后來用了金融行業用的比較多的一種方案,就是用外部存儲。

平臺服務-自研分布式數據庫UPSQL

平臺服務-自研分布式緩存UPredis

這個是我們平臺上第三個難做的就是說你提供的服務這一塊,你怎么樣做一個服務的執行的服務能力。

三、數據庫云建設的挑戰

DBaaS建設的風險及應對

前面介紹的是我們做這個平臺的過程當中總結下來的五點比較關鍵的一些點,其實也是暴露了我們在整個過程當中最重要的一些經驗吧,也是跟大家分享一下。

同時另外還有一些經驗跟大家分享一下就是說DBaaS其實也是有很大的投入的,所以先來分享一個就是說DBaaS不是適合每個公司都去做,因為它還是有一些技術門檻在里面,還是有一些投入在里面。

管理這一塊的話我覺得一個概念就是說整體上在云環境下你要有這樣一個意識,就是任何一個模塊都是不可靠的,所以你在設計這個平臺的時候你要想任何一個模塊故障的話是否會受到影響。包括前面剛才講的補充一下,為什么投入性蠻大的?我們做這些東西其實銀聯的話現在有還算比較大的一個團隊,有30個人做這件事情,包括做我們定制的數據庫,包括做這個平臺,還是有一點規模的。

四、發展及暢想

銀聯DBaaS產品服務情況

發展及暢想

這個是我們對這個產品的話的一些規劃,就是說現在只是提供了我們分公司的數據庫,那么我們接下來肯定會進一步在上面封裝更多的產品,其實銀聯是DB2的使用大戶,那么我們怎么樣把這個服務擴展到這個平臺這是非常關鍵的,也是一個比較難做的事情。另外一個就是縱向的,就是平臺智能化這一塊,我們正在做的一個事情就是說我怎么樣做好這個智能分析調優。最后是增值服務方面,我們做數據的轉移、風險監控、大數據分析之類的。

以上就是關于銀聯的pos機內存已滿,中國銀聯—基于容器的金融數據庫云平臺DBaaS設計實踐分享的知識,后面我們會繼續為大家整理關于銀聯的pos機內存已滿的知識,希望能夠幫助到大家!

轉發請帶上網址:http://www.tonybus.com/newsone/53180.html

你可能會喜歡:

版權聲明:本文內容由互聯網用戶自發貢獻,該文觀點僅代表作者本人。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如發現本站有涉嫌抄襲侵權/違法違規的內容, 請發送郵件至 babsan@163.com 舉報,一經查實,本站將立刻刪除。