作為資料庫服務商, PingCAP 肩負著一項重要使命:找到一條深耕行業場景,構建多元生態的路徑。9 月 22 日的使用者峰會上,PingCAP 副總裁陳煜琦發表了以“深耕行業場景,構建多元生態”為主題的演講,工商銀行、杭州銀行、中國人壽財險、平安科技分享了在他們的關鍵業務中如何藉助 TiDB 深挖行業場景,來自神州數碼、中電金信、天翼雲、東軟集團、雲徙科技、嘉和美康的生態夥伴分享了他們與 TiDB 的共建經驗。以下為分享回顧。
在傳統的體系下, 原廠商和渠道商往往處於供應鏈上下游的位置, 彼此之間是透過商業利益進行連線的。在這種體系下,原廠商往往處於主導地位, 如果用太陽系來比喻這套合作體系, 那麼處於太陽系中心的就是原廠商, 各個渠道商就像一顆顆行星, 被吸引著圍繞原廠商轉動、 產生連線、創造商業價值。但是這樣的引力是不可持續的,並且黏性是不夠的。
PingCAP 副總裁陳煜琦
PingCAP 副總裁陳煜琦介紹,我們有非常好的社群文化、開源基因,以及散佈在各行各業中的開發者、使用者、原始碼貢獻者。透過開源模式,PingCAP 打造出一套“友鄰式”的生態體系,任何個人、公司、資料平臺、雲基礎設施都可以透過 TiDB 開源社群連線在一起,持續挖掘和創造商業價值。
在過去這些年中,基於這樣的“友鄰式”生態,PingCAP 從研發、產品到服務,積累了非常多體系化的能力,在金融、保險、物流、網際網路等行業的深度客戶中積累了非常多的場景和經驗,與眾多生態夥伴共同挖掘 TiDB 的行業場景能力。
與深度使用者共同挖掘行業場景
金融機構尤其是銀行,資訊化開始都比較早,資訊科技已經成為銀行經營的主要支柱。銀行業務的特殊性是和錢打交道,因此對系統可靠性要求比較高。TiDB 的分散式架構、金融級資料強一致性都為金融使用者提供了堅實的資料底座能力。
杭州銀行:關鍵業務類系統資料庫的選擇
杭州銀行作為金融企業,為保證系統執行的可靠性、安全性和穩定性,以往比較偏愛國外廠商的高階成熟系統。
隨著數字經濟發展和新一代技術崛起,以網際網路廠商為代表,透過分散式、微服務、雲計算等技術也構建出了可以滿足業務發展的技術架構,並且在人才體系、業務模式和使用者習慣上能夠實現多個維度不斷破圈。銀行也從自身的金融科技發展角度看到了新技術在效能、彈性和成本管理上的優勢。在架構轉變過程中,金融科技的自主發展已經成為銀行業的發展共識,越來越多的銀行同業開始應用分散式技術,在業務發展變革中透過場景實踐來帶動發展。
杭州銀行堅持自主研發、自主建設、自主可控的系統建設思路。在基礎軟體領域,杭州銀行從 2015 年開始使用 MySQL 等開源軟體;2018 年引入私有云建設,在雲上所有的業務系統資料庫都使用了 RDS ;2020 年,採購單獨的分散式資料庫產品也投入了生產環節;2021 年隨著雲原生技術的發展,杭州銀行進一步在生產環境引入了容器雲平臺,在客戶關係管理、辦公自動化系統等金融分析系統中引入了 TiDB,並在多種業務場景對 HTAP 架構進行驗證,瞭解掌握它的技術特點。
劉崢 杭州銀行 資訊科技部副總經理
銀行業務交易類系統尤其是關鍵業務系統,是金融行業中要求最為苛刻的系統。“錢不能錯,服務不能停”,這是監管基本要求。作為交易系統的資料承載、服務底座,這種系統的資料庫必須滿足四個基本要求,杭州銀行資訊科技部副總經理劉崢把它總結為“SAPE”:一是 Safe (安全),資料安全是要絕對保證的,在任何情況下資料不能丟,資料不能錯;二是 Availability (高可用),保證業務連續性不僅要符合監管要求底線,也要完善整個體系的可用性;三是 Performance (效能),使用分散式資料庫替代傳統資料庫後,除了自然而然帶來的橫向擴充套件能力外,系統性能不能因此而產生降級;四是 Ecology (生態),這是當前背景下的一個特定要求,當前資料庫產品眾多,產品技術生態一定要有多方支援,由多方共建,對開發者和開發商要有強大吸引力,產品才能持續發展。
杭州銀行組織多方參照監管單位釋出的關於分散式資料庫的技術架構、災難恢復、安全技術的行業標準,共同設計了產品的測試場景,結合 TiDB 的產品特性在關鍵業務系統的模擬場景下進行更為詳細的測試驗證。TiDB 在開發應用、雙中心多活、HTAP 等場景下體現出了較大優勢,對測試過程中新增的一些產品需求也能及時改進和反饋。從開放性上來講,TiDB 在人才培養、開發平臺的適配、開源生態都有比較明顯的優勢,下一步杭州銀行將在更多重要業務系統應用 TiDB,進行持續探索和磨合。
工商銀行:國產分散式資料庫的探索實踐
工商銀行從 2017 年就開始關注、研究和使用 TiDB。工商銀行技術專家王君軼依稀還記得做第一個 TiDB 變更時的情景,那時還是 TiDB 2.0 版本,做一個伺服器的置換一做就到第二天天亮。上個月工商銀行把所有機型升到 TiDB 5.4 版本,所有升級動作僅在一個小時內就能全部搞定。近幾年 TiDB 的更新迭代非常快,使用者體驗已經不可同日而語了。
王君軼 工商銀行 基礎技術實驗室 技術專家
王君軼介紹使用 TiDB 的契機是自主可控,當時人行和工信部都提出銀行核心系統的國產化替代,工行也積極響應,直到現在也是重點工作之一。同時工行也提出了在分散式資料庫技術領域要提前進行技術儲備和佈局。雖然 TiDB 是當時一款比較火的產品,但是當時業界也不乏其他一些優秀產品,為什麼最終工行還是選用了 TiDB?最主要的一個原因就是開源,開源為工行深入研究一款產品提供了可能。同時,跨行業的豐富使用案例,也給工行提供了很多借鑑。社群化的開發模式、版本的快速迭代,可以更快地完善所需功能。後續多家國產資料庫陸續開源,也從側面印證了 TiDB 堅持的開源戰略受到了行業的認可。最後一點原因是工行對分散式資料庫技術的研究需要。工行在分散式資料庫技術領域也是多駕馬車並行的,TiDB 可以作為這個技術領域的有益補充。
工行從 2017 年開始對 TiDB 進行研究論證,2018 年開始落地。剛開始上線的時候 TiDB 效能並不是太好,在進行了一系列最佳化,包括物理機置換,搬遷到萬兆網路機房以後,效能肉眼可見地獲得了很大提升。在高可用方面,工行進行了負載均衡以及同城雙活的改造。整個過程並不是一蹴而就,其實是一個慢慢摸索的發展狀態。直到 2020 年後 TiDB 開始慢慢走向成熟,4.0 版本也具備了 HTAP 的能力,工行隨之開始尋找合適的試驗場景。同時工行也在不斷完善叢集的一些配套功能,包括報警監控、安全審計等。再之後,工行開始研究 TiDB 上容器,這也順應了基礎設施雲化的發展趨勢。今年,工行會繼續透過 TiDB 國產開源的特性,助力運維資料庫的自主可控建設。
TiDB 在工行前後共投入了四五套叢集,主要分為兩類:一種是傳統的部署架構,另一種是雲上多租戶,也就是容器叢集架構。傳統的部署架構可以支援更大負載的應用,而且具備穩定性和效能兩方面的優勢,比較適合應用等級比較高,資料規模比較大的應用;容器叢集可以透過容器來提高租戶間的安全隔離,藉助開發的排程編排,實現資源投入和人力成本的降低,比較適合應用等級稍低,資料規模沒那麼大的應用。兩種架構正好形成互補。
上圖是一個同城兩中心部署架構,具備同城雙活高可用能力,透過 F5 實現園區間的流量轉發。同時根據伺服器的資源配置,將 DB 節點和 KV 節點進行多例項部署,兼具效能、穩定性以及資源利用率兩方面的均衡。
工行去年開始試點容器叢集,現在還處於摸索階段。容器叢集最大的優勢除了能夠降低資源投入外,還能節約人力成本。出現故障災難恢復時,不需要人工干預,能夠實現自愈,透過 TiDB Operator 能夠實現叢集的全生命週期管理。
TiDB 在工行最初是以運維領域作為研究的切入點。運維應用所使用的資料庫也在面臨很多挑戰,像業務應用基本每個應用都會單獨設一套資料庫,資源投入多不說還比較難管理。但絕大部分運維應用都不會太大,屬於中小型的應用,不過也有極個別的比較複雜,加上人工智慧、模型訓練等,如果隨便找一個業務資料庫來跑的話,在分析計算方面還不一定能夠搞得定,同時隨著業務應用的不斷擴張,與之相對應的運維資料呈幾何增長,擴容也是一個問題。此外,在多資料中心的情況下如何高可用部署?其實行內的業務系統高可用已經比較成熟,但運維應用的高可用相對比較薄弱,近幾年行內對運維應用容災能力越來越重視。
因此,工行基於分散式資料庫 TiDB 構建了一個多租戶 DBaaS 雲,能夠為多個運維應用提供資料庫服務,根據業務的需求進行彈性伸縮。同時工行進行了同城高可用的部署,在應用上進行試點驗證。以工行的智慧演算法門戶應用為例,這個應用是面向運維的,能夠提供資料的加工處理,以及運維整合的端到端的運維服務。它一方面會對資料庫撈取大量的資料做模型訓練,而且實時性要求還不低。另外一方面,它會將運維資料異常檢測的一些結果資料對資料庫進行高頻的讀寫更新,這比較貼合 HTAP 場景,因此工行以 Spark 作為分散式計算引擎,以 TiDB 作為底層資料儲存引擎,來構建高效的流批一體處理框架。
資料庫也是保險公司資訊系統中關鍵的基礎設施,因此,產品優秀,服務到位是保險資訊系統穩定執行的前提, PingCAP 與中國人壽財險建立了良好合作,一起打造出分散式資料庫在財險行業核心應用的典範。
中國人壽財險:“核心系統分散式資料庫”改造實踐
中國人壽財險是中國人壽集團重要成員單位,成立 16 年以來成果頗豐,目前在中國財險行業排名第四,累計服務了 1.1 億個人使用者,470 萬個組織客戶。該公司高度重視科技投入,科技應用在公司發展歷程上起到了至關重要作用,從最初的技術支撐到逐步引領業務的方向,科技創新成為中國人壽財險最重要的核心競爭力之一。
陳彬 中國人壽財險 金融科技中心繫統執行部負責人
中國人壽財險充分利用兩條科技途徑推進科技創新,一是利用大資料、雲計算、人工智慧等新一代技術來改造傳統保險業務,二是直接面向網際網路、移動化構建新的服務架構和運營模式。在數字化轉型道路上,資料庫是最重要的核心基礎設施,支援大規模資料、高併發、敏捷響應成為其關鍵能力,也是保險業務高質量發展的技術保障。
近幾年來,中國人壽財險主動應對車險綜合改革,業務規模持續上升,盈利能力水平穩步提高,2021 年實現保費收入約 915 億元。歷時三年,中國人壽財險在 2020 年完成了新一代核心業務系統的建設,為深入推進數字化轉型打下堅實基礎。但是,隨著業務規模的不斷擴大及保單件數的激增,仍面臨一些在應用層面解決不了的痛點,例如,投保業務激增導致高併發,實時資料寫入、時效性、可靠性得不到保障。擔心業務高峰期出現單點故障,基礎軟體做不到完全掌控,而這些痛點正好是分散式資料庫善於解決的問題。
分散式資料庫支援橫向擴充套件,滿足金融應用系統海量資料儲存和百萬級 TPS 高併發要求,提高了吞吐能力,降低了響應時間,實現小機向 X86 遷移,擺脫對專有硬體依賴,分散式資料庫是解決以上問題的最佳方案。
鑑於分散式資料庫金融行業的應用案例相對較少,中國人壽財險採用四步走策略,包括公開招標、PoC 測試、上線試用、外部評審,盡最大可能選擇最適合業務發展的資料庫產品。2020 年,中國人壽財險透過對市場上主流分散式資料庫進行深入考察和評估,最後選擇 TiDB 4.0 作為核心業務系統分散式資料庫的試點。
2020 年 11 月,經過詳細的技術驗證,應用最佳化和投產保障規劃,中國人壽財險資料庫及中介軟體團隊成功上線了單證系統。2021 年,陸續實現了承保輔助決策系統、天財車險、特殊車險承保系統的上線。今年,中國人壽財險已經完成了報價中心的切換上線,後續還會完成非車險承保系統的切換上線。TiDB 大幅提升海量資料和高併發下的效能問題,提供靈活的彈性擴容能力,並符合未來雲架構的趨勢。目前,TiDB 叢集穩定支撐非車險及電子投保系統的客戶身份認證、投保、對接銀行保單處理、電子發票開具等業務,提供了異構資料庫的災備能力,實現了 RPO=0,RTO<30 秒的金融生產級高等級執行保障要求。
在整個實踐過程中,中國人壽財險和 PingCAP 密切合作,初步形成了分散式資料庫自主創新的能力,驗證了分散式資料庫在核心業務系統的可行性。中國人壽財險基於 TiDB 實現了核心業務系統的分散式改造,第一次在保險行業聯機交易和批次業務場景引入 NewSQL 分散式資料庫架構,推動中國人壽財險核心業務系統實現了進一步技術演進迭代和整體降本增效的目標。
TiDB 分散式資料庫在中國人壽財險核心業務的成功應用,首先節省了成本,透過 X86 通用伺服器代替 IBM 小型機,硬體投入成本降低了 75%;其次,用先進的分散式資料庫替換集中式資料庫,改造完成之後,OLTP 和 OLAP 效能較原來的 Oracle 資料庫均有了明顯上升,其中全量狀態統計報表的處理時效提升 80 多倍,並具備了更強的資料匯聚和查詢能力;最後,透過開放架構實現了安全可控,初步打造了中國人壽財險的自主創新體系,並不斷演進,為後續異地雙活改造奠定了堅實的技術基礎。
與行業科技公司共創新型合作模式
PingCAP 在拓展場景時常常會碰到多種多樣的各類需求,而這些需求來自於各個企業所屬的競爭環境,這些挑戰無論是業務還是技術上,都不是一家企業能夠獨自完成的,要想深耕行業,就需要各種行業的垂直解決方案、服務能力, PingCAP 在與平安科技的合作中嘗試出一種新的生態合作模式,為行業領域使用者提供更深入的行業解決方案。
平安科技 - 攜手共建的發行版戰略
平安科技總工程師汪洋分享了 TiDB 發行版 UbiSQL 的前世今生。UbiSQL 是平安基於 TiDB 基礎的資料庫引擎自研的資料庫發行版,定位是金融級分散式資料庫,能夠覆蓋金融全場景,並滿足國家資訊自主可控和一行兩會對於資料庫技術的要求。
汪洋 平安科技 總工程師
UbiSQL 前三個字母 Ubi 是英語 ubiquitous (無處不在)的縮寫。在發音上,汪洋稱 UbiSQL 為“無比 SQL”,希望這個資料庫具有良好的擴充套件性,非常強的高可用性,能夠做到無與倫比,無處不在。
過去一年來,平安科技與 PingCAP 進一步加強了合作關係,探索出了從產研到交付到服務的全新合作模式。在該模式轉變前,雙方各自有一個內迴圈,圍繞著平安、PingCAP 自己的核心場景轉動。平安作為一個綜合性金融集團,涵蓋了全牌照的金融服務,包括銀行、基金、保險、投資,甚至包括一些網際網路金融,非常豐富。圍繞這些核心場景,平安有自己的 UbiSQL 產研團隊、解決方案團隊、運維團隊,這些之間形成了一個內迴圈。當產品釋出之後,平安可以透過自己的資料庫架構師或者產品解決方案師,給應用系統做出一些建議,提出一些架構選型方面的建議,還有一些系統的使用性建議。在系統上線後,還可以根據線上問題提供一些售後的運維支援,包括整體系統的最佳化,定期 review ,健康檢查,在這個過程中平安能夠發現產品所需要提升的地方,形成了一個閉環。
PingCAP 同樣有三種角色,但是唯一不同的是缺少這樣的金融場景。所以之前這兩個環是相對獨立的。
在這種模式執行一段時間後,雙方發現在很多方面還沒有打通,沒有產生 1+1>2 的效果,而是 1+1=2,甚至於可能是小於等於 2 。現在,透過雙方合作的進一步加強,平安和 PingCAP 形成了內迴圈 + 外迴圈模式,內迴圈與外迴圈是打通的:雙方的產研團隊打通,形成產研方面的聯合團隊;在交付方面打通,形成了解決方案師的聯合團隊;在售後方面打通,形成了技術服務的聯合團隊。透過將這些團隊角色打通後,雙方發現在問題的解決效率、產品新特性的釋出、產品問題的修復等方面,都得到了非常大的提升。
這種新模式就是開放合作和共贏。當線上 UbiSQL 的一個應用系統發現問題後,雙方組建的運維團隊可以迅速介入分析問題,診斷問題。一方面能夠快速解決問題,恢復生產,恢復服務;另一方面可以繼續去尋找產品產生問題的根本原因,並制定對應的解決方案,讓問題不再發生。在查詢問題原因、制定解決方案的同時,也會看到一些對產品方面的提升建議,平安會提交給產研聯合團隊,進一步瞭解產品的實現機制。
PingCAP 的產研團隊則更聚焦在 TiDB 最新的版本或者未來的版本上,能夠進行產品特性方面的增強或者 bug 修復,而平安的團隊也能夠把這些方案在產品方面的一些實現,快速應用到現網執行上的一些系統中,快速進行現網產品的提升,這是雙方合作的意義所在。透過組建這些聯合團隊,可以看到覆蓋的應用系統從設計到開發到上線到售後到銷售整個生命週期,覆蓋了駐場運維服務、問題諮詢、功能申請、技術支援、系統最佳化、故障上報等端到端服務能力。透過這種全新的合作模式,平安與 PingCAP 形成了共贏的基礎。
共贏還使得雙方無論在研發能力、運維能力,還是解決方案能力方面,都得以提升。可能連 PingCAP 的研發也沒有意識到,在某些特定場景和負載下產品會出現的問題,透過雙方合作可以發現和修正。這種模式不僅可以極大程度上幫助 TiDB 打磨金融場景的基礎能力,同時還能幫助平安 UbiSQL 的研發團隊加深對程式碼的理解,能夠更迅速地從程式碼級定位問題,修復問題。當產品發生問題後,雙方團隊可以對問題診斷分析,能夠發現一些以前包括研發、運維團隊所不知道的特性與機制。從這些方面來看,合作不光使平安科技的交付團隊、運維團隊能力得以提升,就連 PingCAP 的售後工程師技能也得以提升。
PingCAP 與平安就是透過這樣更加開放的態度進行更加深入的合作,從而達到雙方共贏,實現能力、產品的提升,進一步適配金融場景需要,實現 1+1>2 的效果。相信透過這種全新的合作模式,PingCAP 和平安,包括 UbiSQL,都可以走得更遠,越做越好。
加乘創新 智簡未來,構建友鄰多元生態
除平安科技外,PingCAP 的整個生態體系也會涉及到各行各業非常核心的場景,除了前面講到的社群、技術、人才、共贏生態,還需要有更多傳統企業級解決方案加進生態中,融合開源、多源和行業解決方案,將 PingCAP 的整個生態體系進化為“友鄰式”的多元生態。
使用者峰會上,陳煜琦與神州數碼、中電金信、天翼雲、東軟集團、雲徙科技、嘉和美康等生態合作伙伴共同啟動了“加乘創新 智簡未來”的共創儀式,將合力為銀行、保險、證券、電信、政企、零售餐飲、製造、醫療等數字轉型企業,以及 SaaS、金融科技、遊戲、電商等數字原生企業,提供更加豐富的企業級解決方案及服務。
趙琳 神州數碼企業業務集團軟體本部總經理
“神州數碼與 PingCAP 在面向資料庫企業服務市場、面向技術人才及開源運營生態、面向雙方戰略合作共贏上一直有著深入合作,神州數碼的數雲融合技術戰略致力於為企業形成資料洞見及敏捷應對變化和創新的能力,擁抱雲和開源,與TiDB 等開源廠商就雲原生的分散式架構、Dataops、定製化通用聚合平臺等進行解決方案整合,為企業提供一站式企業數字化轉型解決方案。”
邵建軍 中電金信副總裁
“中電金信和 PingCAP 在杭州銀行等越來越多的金融機構領域成功合作,我們認為未來與 TiDB 的合作層級會越來越廣闊,不斷加強合作的深度和廣度。”
侯聖文 天翼雲大資料 AI 首席專家
“天翼雲在 2018 年開始參與了 TiDB 開源專案,我們有很多開發者一起探索在雲原生當中的 HTAP 場景,在多個行業領域落地,都取得了非常良好的效果。天翼雲團隊一直在踐行著中國人真正的擔當,走向了一個自主可控的路徑,未來和 TiDB 一起,希望我們能把自研資料庫做得越來越好。”
郭曉龍 東軟集團股份有限公司醫療保障事業部開發中心主任
“東軟集團成立於 1991 年,在汽車互聯,軟體國際化服務都屬於領先領域。我們和 PingCAP 是在醫療保障行業裡深度合作,透過產品選型和技術認證,我們選擇了 PingCAP 的 TiDB,並打造了山東臨沂千萬級別人口城市標杆的醫保專案,這個專案解決了傳統的分散式資料庫的適配成本高,管理成本大,效能最佳化難的問題,受到了醫保,山東醫保的高度肯定。接下來我們想和 PingCAP 公司攜手共進,開展更加全面深入多元化的合作。”
江威 雲徙科技副總裁
“雲徙科技主要在企業服務裡做基於中臺的營銷數字化服務,幫企業構建一體化的數字增長服務。我們和 TiDB 面向大資料的營銷場景、業務中臺應用落地,未來希望在越來越多企業應用中與 TiDB 一起共同提供更好的服務。”
潘狀 嘉和美康平臺數據中心產品總監
“嘉和美康是國內比較早從事醫療軟體研發和產業化的公司,公司主營業務是醫療軟體,在這個行業內深耕了 11 年,目前已經形成具有自主智慧財產權,包括臨床醫療,醫患互動,醫養一體,醫療大資料相關產業鏈。我們與 TiDB 合作的主要方向是在醫療大資料方向,看重 TiDB 優秀的線上資料分析能力,資料處理能力,未來我們希望與 PingCAP 一起在醫療行業內秉承合作共贏、開放的理念,加速我國醫療資訊化數字化轉型。”
未來,相信將有更多的企業使用者和合作夥伴加入 PingCAP 這個“友鄰式的多元生態”,共同助力數字轉型企業和數字原生企業的業務敏捷創新。