開發(fā)者關(guān)心的十個數(shù)據(jù)庫技術(shù)問題

時間：2021-11-09 13:51:16

關(guān)鍵字：開發(fā)者數(shù)據(jù)庫技術(shù)

手機(jī)看文章

掃描二維碼
隨時隨地手機(jī)看文章

[導(dǎo)讀]作者|雷海林????責(zé)編|?田瑋靖出品|?《新程序員》如今，數(shù)據(jù)庫越來越受到業(yè)界的廣泛關(guān)注，許多高校畢業(yè)生及資深技術(shù)人也逐漸投身于數(shù)據(jù)庫產(chǎn)業(yè)。《新程序員002》經(jīng)過用戶、專家調(diào)研，收集匯總了十個開發(fā)者關(guān)心的數(shù)據(jù)庫技術(shù)問題，并邀請騰訊云TDSQL技術(shù)負(fù)責(zé)人、首席架構(gòu)師雷海林作出解答...

作者 | 雷海林責(zé)編 | 田瑋靖
出品 | 《新程序員》如今，數(shù)據(jù)庫越來越受到業(yè)界的廣泛關(guān)注，許多高校畢業(yè)生及資深技術(shù)人也逐漸投身于數(shù)據(jù)庫產(chǎn)業(yè)?！缎鲁绦騿T002》經(jīng)過用戶、專家調(diào)研，收集匯總了十個開發(fā)者關(guān)心的數(shù)據(jù)庫技術(shù)問題，并邀請騰訊云TDSQL技術(shù)負(fù)責(zé)人、首席架構(gòu)師雷海林作出解答，希望為越來越多投身數(shù)據(jù)庫的技術(shù)人才提供參考。

數(shù)據(jù)技術(shù)應(yīng)用與創(chuàng)新1. 數(shù)據(jù)庫產(chǎn)品在面向企業(yè)時（涉及負(fù)載均衡、數(shù)據(jù)傳輸、運(yùn)營平臺、故障發(fā)現(xiàn)分析和治愈、發(fā)布系統(tǒng)、冷備系統(tǒng)等等），核心服務(wù)有哪些？數(shù)據(jù)庫是一個復(fù)雜的技術(shù)系統(tǒng)，真正在業(yè)務(wù)中投產(chǎn)，要求同時滿足穩(wěn)定、高性能、一致、高可靠、易運(yùn)維等特性，缺一不可。也就是說，從數(shù)據(jù)庫設(shè)計到數(shù)據(jù)庫引擎的運(yùn)營、遷移，再到數(shù)據(jù)安全等，包含數(shù)據(jù)全生命周期在內(nèi)的每一環(huán)都需要考慮。例如，計算和存儲都需要實(shí)現(xiàn)獨(dú)立彈性擴(kuò)展，保障系統(tǒng)的事務(wù)處理與分析查詢能夠穩(wěn)定、高效地完成。而在云時代，保障跨城、跨中心大型集群的高可用比以往集中式數(shù)據(jù)庫更復(fù)雜，因此自動化運(yùn)營以及智能運(yùn)維、智能監(jiān)控等能力，是提升日常運(yùn)營效率的關(guān)鍵，也是故障識別、全局仲裁、自動資源配置和調(diào)度，以及保障系統(tǒng)穩(wěn)定、高可用的關(guān)鍵支撐。2. 數(shù)據(jù)庫遷移怎么做？通常數(shù)據(jù)庫遷移包含兩個層面：全量遷移和增量同步。針對增量可以通過數(shù)據(jù)日志同步、數(shù)據(jù)訂閱等手段進(jìn)行，但問題在于，數(shù)據(jù)庫遷移涉及業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫的遷移替換，這類數(shù)據(jù)庫一般都服務(wù)于關(guān)鍵業(yè)務(wù)場景，因此“快”和“穩(wěn)”缺一不可。快速遷移數(shù)據(jù)和保證數(shù)據(jù)持續(xù)準(zhǔn)實(shí)時同步，是數(shù)據(jù)庫遷移過程的兩個關(guān)鍵要素。這就要求，遷移方案需要包含數(shù)據(jù)校驗、回滾、安全風(fēng)險控制機(jī)制等，實(shí)現(xiàn)遷移過程中的系統(tǒng)高性能、數(shù)據(jù)一致、服務(wù)高可用。針對高性能的優(yōu)化可通過并發(fā)控制機(jī)制、有序消息并發(fā)重放、并發(fā)解析機(jī)制等方案來實(shí)現(xiàn)。數(shù)據(jù)一致性可通過消息異常檢測、自動化切換、自動化沖突檢測與恢復(fù)等技術(shù)機(jī)制來保障。服務(wù)高可用可以基于自動化擴(kuò)容感知、多機(jī)容災(zāi)保護(hù)等能力實(shí)現(xiàn)。如果涉及遷移的源端與目標(biāo)端異構(gòu)，還需要自動化遷移評估平臺，進(jìn)行庫表結(jié)構(gòu)、數(shù)據(jù)庫對象、數(shù)據(jù)類型自動轉(zhuǎn)換等等。3. 如何在低配服務(wù)器中，實(shí)現(xiàn)數(shù)據(jù)庫高性能、高可用運(yùn)行？首先，云上數(shù)據(jù)庫應(yīng)用，可以通過云原生、多租戶能力很好地控制資源，做到按需使用，不用擔(dān)心資源瓶頸問題，也不會使資源過度消耗。同時，設(shè)置一套自動化資源配置規(guī)則，當(dāng)系統(tǒng)識別到資源即將打滿時，可以有效地進(jìn)行資源分配與調(diào)度，管理資源開銷，保障系統(tǒng)穩(wěn)定。這就要求開發(fā)階段盡量避免使用動態(tài)分配的方式，而是采用內(nèi)存池等優(yōu)化手段來管理內(nèi)存，提升應(yīng)急能力。當(dāng)然，也有一些場景，需要將數(shù)據(jù)庫部署在配置很低的服務(wù)器上（如低規(guī)格的虛擬機(jī)），這個時候?qū)?shù)據(jù)庫的穩(wěn)定運(yùn)行確實(shí)是一個考驗。所以我們在設(shè)計時要注意盡量控制配套的輔助模塊，降低對資源（如CPU、IO等）的利用率，讓資源真正為業(yè)務(wù)所用。低配服務(wù)器，當(dāng)SQL請求增加時，更容易觸發(fā)資源閾值告警，這時DBA人員需要根據(jù)情況考慮是否擴(kuò)容。另一種方式，是從DB設(shè)計側(cè)支持自動限流，通過對請求進(jìn)行流控，以保證整體的高可用。4. 大數(shù)據(jù)量的并行處理如何應(yīng)對？大數(shù)據(jù)量的并行處理意味著數(shù)據(jù)庫計算框架要具備并行化處理能力，比如能夠把SQL拆解成一個并行的執(zhí)行計劃，采用多線程的方式去執(zhí)行，需要時能夠?qū)⑦@些子查詢計劃推到對應(yīng)的數(shù)據(jù)節(jié)點(diǎn)上并行執(zhí)行。而在并行處理中，也有很多問題要解決，比如當(dāng)海量流量涌入，我們需要針對用戶或者某類SQL控制總的資源消耗度（如并行的連接數(shù)，線程數(shù)，總的資源利用率等），另外也需要對在線SQL和離線分析SQL進(jìn)行區(qū)分，在資源不夠的時候要優(yōu)先保障在線SQL的執(zhí)行，這都是設(shè)計數(shù)據(jù)庫時需要考慮的問題。

數(shù)據(jù)技術(shù)融合發(fā)展洞見5. 實(shí)時計算大行其道，數(shù)據(jù)庫如何應(yīng)對？隨著技術(shù)的發(fā)展，物聯(lián)網(wǎng)、大數(shù)據(jù)和互聯(lián)網(wǎng)監(jiān)控等擁有海量時序數(shù)據(jù)、需要實(shí)時數(shù)據(jù)作決策的場景越來越廣泛，這些新興的場景都是云計算、“產(chǎn)業(yè)互聯(lián)網(wǎng) ”深化發(fā)展的必然結(jié)果，也是數(shù)據(jù)庫等基礎(chǔ)數(shù)據(jù)技術(shù)需要提前應(yīng)對布局的技術(shù)場景。針對實(shí)時計算場景提出的要求（比如大量數(shù)據(jù)輸入、秒級別計算響應(yīng)），數(shù)據(jù)庫技術(shù)需要具備高性能服務(wù)、低成本存儲、超強(qiáng)聚合分析能力等基本特性。而這些要求，時序數(shù)據(jù)庫產(chǎn)品能夠很好地滿足。隨著未來場景特征的融合，實(shí)時計算的需求也將可能出現(xiàn)在各行各業(yè)的實(shí)際場景中。因此作為底層技術(shù)，數(shù)據(jù)庫也將走向滿足多種計算能力要求的多引擎融合發(fā)展，用強(qiáng)大的底層能力支撐通用場景應(yīng)用。這也是我們應(yīng)該探索的方向。6. 數(shù)據(jù)庫與大數(shù)據(jù)是什么關(guān)系？從宏觀層面來看，數(shù)據(jù)庫是一個非常寬泛的概念，大數(shù)據(jù)應(yīng)該也屬于數(shù)據(jù)庫的一種形態(tài)。當(dāng)然從更細(xì)粒度的角度來看，數(shù)據(jù)庫主要用來處理聯(lián)機(jī)交易和中等規(guī)模的數(shù)據(jù)分析，強(qiáng)調(diào)高性能低延時的數(shù)據(jù)存取。而大數(shù)據(jù)一般面向海量數(shù)據(jù)以及基于這些數(shù)據(jù)從產(chǎn)生、收集、存儲到計算的分布式計算框架，如Hadoop、Spark生態(tài)下的各種軟件和框架。7. 數(shù)據(jù)庫基礎(chǔ)研究創(chuàng)新有哪些值得考慮的方向？基礎(chǔ)研究創(chuàng)新的方向要從未來行業(yè)對數(shù)據(jù)庫的需求角度來分析。第一，數(shù)據(jù)庫的主流方向是分布式架構(gòu)，同時在數(shù)據(jù)規(guī)模不斷增長、對數(shù)據(jù)價值分析效率要求不斷提升的背景下，滿足HTAP場景是一個重要的發(fā)展方向。而數(shù)據(jù)庫需要很好支持HTAP的能力，系統(tǒng)需要真正實(shí)現(xiàn)計算層高擴(kuò)容能力，以及支持不同的計算和存儲引擎，還要做到資源良好地隔離等等。目前從整個行業(yè)來看，這一方面的能力還有待完善和探索。第二，執(zhí)行器、優(yōu)化器等技術(shù)模塊也將是數(shù)據(jù)庫發(fā)展中值得關(guān)注的技術(shù)。第三，“數(shù)據(jù)庫 AI”等多技術(shù)生態(tài)底層融合將帶來新的發(fā)展機(jī)會，如通過“AI for DB”實(shí)現(xiàn)數(shù)據(jù)庫自治是當(dāng)前廣受關(guān)注的方向。第四，“數(shù)據(jù)庫新硬件”結(jié)合也是值得關(guān)注的發(fā)展方向，如今，新硬件層出不窮，我們?nèi)绾位谛掠布?shí)現(xiàn)創(chuàng)新式應(yīng)用、釋放創(chuàng)新源動能，同時保持?jǐn)?shù)據(jù)庫ACID能力？如何實(shí)現(xiàn)數(shù)據(jù)庫面向新硬件的技術(shù)遷移？這些都是值得探索的方向。8. “AI 智能運(yùn)維”是否會取代DBA？智能化運(yùn)維能力，更多的作用是覆蓋云時代大規(guī)模實(shí)例運(yùn)維中基礎(chǔ)、重復(fù)的工作，以及提升診斷、資源配置的效率，也就是說，它最終能夠釋放DBA煩瑣的日常工作、提高DBA處理問題的效率、減少故障對企業(yè)帶來的損失（也降低了DBA的精神壓力），讓DBA有更多時間和精力去做一些有助于個人成長和業(yè)務(wù)發(fā)展的事，包括但不限于業(yè)務(wù)整體數(shù)據(jù)架構(gòu)的梳理、內(nèi)核源碼的研究等。9. 未來數(shù)據(jù)庫的核心是什么？關(guān)于未來數(shù)據(jù)庫發(fā)展的核心，我個人認(rèn)為，一方面是面向未來的高精尖技術(shù)發(fā)展與技術(shù)基礎(chǔ)設(shè)施升級，另一方面是國產(chǎn)分布式數(shù)據(jù)庫生態(tài)的培育建設(shè)。而數(shù)據(jù)庫的發(fā)展仍將以云原生、HTAP等多模態(tài)融合、智能自治為主要核心：

云原生與Serverless

云數(shù)據(jù)庫時代，我們將探索極致的彈性伸縮架構(gòu)，來解決性能、效率和成本問題。云原生數(shù)據(jù)庫具有高性能和高度兼容的優(yōu)勢，敏捷、靈活的部署能力，可以讓企業(yè)像使用水、電、煤一樣使用云數(shù)據(jù)庫，從而降低企業(yè)上云門檻，提升上云進(jìn)程，更好地應(yīng)對智慧時代復(fù)雜的業(yè)務(wù)場景。針對不同的場景，云原生分布式數(shù)據(jù)庫可分為兩種架構(gòu)：Shared Nothing與Shared Storage，兩者都可以通過實(shí)現(xiàn)計算與存儲分離架構(gòu)來整體獲得更優(yōu)秀的彈性伸縮能力，克服傳統(tǒng)架構(gòu)下的存儲量受限、擴(kuò)展難、主從延遲高等缺點(diǎn)，同時也能夠?qū)⒊杀究刂频酶停浞轴尫蓬I(lǐng)先技術(shù)的成本效益。而計算與存儲全Serverless架構(gòu)的數(shù)據(jù)庫服務(wù)也是未來可以重點(diǎn)關(guān)注的方向，它在可自動無感擴(kuò)縮容的基礎(chǔ)上，按實(shí)際使用計費(fèi)，不用不付費(fèi)，提升云數(shù)據(jù)庫效用。

多模態(tài)融合

在信息化建設(shè)和數(shù)字化轉(zhuǎn)型的浪潮之下，涌現(xiàn)出大量的新興場景。數(shù)據(jù)庫作為支撐各類 IT 系統(tǒng)架構(gòu)的基礎(chǔ)軟件技術(shù)，也隨之出現(xiàn)在各類新的應(yīng)用實(shí)現(xiàn)中，包括大量的NoSQL實(shí)踐和存儲領(lǐng)域的B 樹、 LSM樹以及行存、列存等架構(gòu)形態(tài)產(chǎn)品，還有OLTP、OLAP，HTAP數(shù)據(jù)庫等。多種多樣的引擎產(chǎn)品，在大多數(shù)情況下不會獨(dú)立存在，服務(wù)于一個企業(yè)或系統(tǒng)，即“One size fits none”。從技術(shù)角度看，極致的性能成本與通用性有著天然的矛盾。因此，在多樣化場景下，一定會是多引擎共存，充分發(fā)揮各種引擎的特點(diǎn)與優(yōu)勢，才能實(shí)現(xiàn)極致與通用的兼得。

標(biāo)準(zhǔn)化服務(wù)與智能自治

多模態(tài)技術(shù)引擎的現(xiàn)狀必然給開發(fā)者帶來選型、開發(fā)應(yīng)用的困難，即如何能夠適應(yīng)不同場景，還有足夠高的性能表現(xiàn)，這也是當(dāng)前數(shù)據(jù)庫發(fā)展面臨的困境。為了解決這個問題，一個辦法是無需用戶進(jìn)行復(fù)雜選擇，而是由系統(tǒng)基于AI智能調(diào)度、Serverless等解決方案，徹底實(shí)現(xiàn)多引擎的統(tǒng)一標(biāo)準(zhǔn)化服務(wù)。從底層的角度看，未來開發(fā)者無需感知具體的產(chǎn)品選型，比如在做數(shù)據(jù)分析時，系統(tǒng)會自動調(diào)度性能最好、事務(wù)交易一致性的方案。與此同時，面對云數(shù)據(jù)庫時代數(shù)十萬的數(shù)據(jù)庫實(shí)例，人力運(yùn)維是不現(xiàn)實(shí)的，智能化技術(shù)與數(shù)據(jù)庫底層的融合，可以智慧管理數(shù)據(jù)庫全生命周期，也是未來數(shù)據(jù)庫的關(guān)鍵特征。

程序員職業(yè)發(fā)展建議10. 如何將程序員做成具有長久生命力的職業(yè)？程序員從來不是一個只吃青春飯的職業(yè)。當(dāng)你經(jīng)歷的東西越多，見過的架構(gòu)越多，你的經(jīng)驗肯定會更豐富，看問題更能迅速看到本質(zhì)。所以，做技術(shù)沒有天花板，而技術(shù)人員的職業(yè)生涯，也沒有瓶頸期。但是，最好在某些方面有比較深入的鉆研，追求精度與深度。同時，不能放棄廣度，廣度意味著更多的機(jī)會，幫助你由點(diǎn)及面地開展工作。例如，一些通用的底層技術(shù)，就值得鉆研。只要你從事計算機(jī)系統(tǒng)工作，那你在大多數(shù)時候都離不開它們，包括內(nèi)核、網(wǎng)絡(luò)、數(shù)據(jù)結(jié)構(gòu)、算法等等。對底層技術(shù)的研究相當(dāng)于不斷發(fā)現(xiàn)水面下的冰山，它具有持久延續(xù)性、廣泛延展性。不管你做什么工作，你依賴的這些基礎(chǔ)都是相通的，所以我相信，提高基礎(chǔ)能力，你的前景肯定會越來越光明。雷海林：騰訊云數(shù)據(jù)庫專家工程師，騰訊云TDSQL技術(shù)負(fù)責(zé)人、首席架構(gòu)師。2007年加入騰訊，持續(xù)專注于金融級分布式數(shù)據(jù)庫研發(fā)，帶領(lǐng)團(tuán)隊實(shí)現(xiàn)多次業(yè)界領(lǐng)先的分布式數(shù)據(jù)庫技術(shù)突破，在分布式事務(wù)、SQL兼容性、內(nèi)核安全、智能運(yùn)維方面持續(xù)創(chuàng)新，產(chǎn)品獲得大量金融客戶的認(rèn)可，市場規(guī)模大幅領(lǐng)先同業(yè)。

本文出自《新程序員002：新數(shù)據(jù)庫時代