開發(fā)者關心的十個數(shù)據庫技術問題
[導讀]作者|雷海林????責編|?田瑋靖出品|?《新程序員》如今，數(shù)據庫越來越受到業(yè)界的廣泛關注，許多高校畢業(yè)生及資深技術人也逐漸投身于數(shù)據庫產業(yè)?！缎鲁绦騿T002》經過用戶、專家調研，收集匯總了十個開發(fā)者關心的數(shù)據庫技術問題，并邀請騰訊云TDSQL技術負責人、首席架構師雷海林作出解答...
作者 | 雷海林 責編 | 田瑋靖
出品 | 《新程序員》如今，數(shù)據庫越來越受到業(yè)界的廣泛關注，許多高校畢業(yè)生及資深技術人也逐漸投身于數(shù)據庫產業(yè)。《新程序員002》經過用戶、專家調研，收集匯總了十個開發(fā)者關心的數(shù)據庫技術問題，并邀請騰訊云TDSQL技術負責人、首席架構師雷海林作出解答，希望為越來越多投身數(shù)據庫的技術人才提供參考。
數(shù)據技術應用與創(chuàng)新1. 數(shù)據庫產品在面向企業(yè)時（涉及負載均衡、數(shù)據傳輸、運營平臺、故障發(fā)現(xiàn)分析和治愈、發(fā)布系統(tǒng)、冷備系統(tǒng)等等），核心服務有哪些？數(shù)據庫是一個復雜的技術系統(tǒng)，真正在業(yè)務中投產，要求同時滿足穩(wěn)定、高性能、一致、高可靠、易運維等特性，缺一不可。也就是說，從數(shù)據庫設計到數(shù)據庫引擎的運營、遷移，再到數(shù)據安全等，包含數(shù)據全生命周期在內的每一環(huán)都需要考慮。例如，計算和存儲都需要實現(xiàn)獨立彈性擴展，保障系統(tǒng)的事務處理與分析查詢能夠穩(wěn)定、高效地完成。而在云時代，保障跨城、跨中心大型集群的高可用比以往集中式數(shù)據庫更復雜，因此自動化運營以及智能運維、智能監(jiān)控等能力，是提升日常運營效率的關鍵，也是故障識別、全局仲裁、自動資源配置和調度，以及保障系統(tǒng)穩(wěn)定、高可用的關鍵支撐。2. 數(shù)據庫遷移怎么做？通常數(shù)據庫遷移包含兩個層面：全量遷移和增量同步。針對增量可以通過數(shù)據日志同步、數(shù)據訂閱等手段進行，但問題在于，數(shù)據庫遷移涉及業(yè)務系統(tǒng)數(shù)據庫的遷移替換，這類數(shù)據庫一般都服務于關鍵業(yè)務場景，因此“快”和“穩(wěn)”缺一不可。快速遷移數(shù)據和保證數(shù)據持續(xù)準實時同步，是數(shù)據庫遷移過程的兩個關鍵要素。這就要求，遷移方案需要包含數(shù)據校驗、回滾、安全風險控制機制等，實現(xiàn)遷移過程中的系統(tǒng)高性能、數(shù)據一致、服務高可用。針對高性能的優(yōu)化可通過并發(fā)控制機制、有序消息并發(fā)重放、并發(fā)解析機制等方案來實現(xiàn)。數(shù)據一致性可通過消息異常檢測、自動化切換、自動化沖突檢測與恢復等技術機制來保障。服務高可用可以基于自動化擴容感知、多機容災保護等能力實現(xiàn)。如果涉及遷移的源端與目標端異構，還需要自動化遷移評估平臺，進行庫表結構、數(shù)據庫對象、數(shù)據類型自動轉換等等。3. 如何在低配服務器中，實現(xiàn)數(shù)據庫高性能、高可用運行？首先，云上數(shù)據庫應用，可以通過云原生、多租戶能力很好地控制資源，做到按需使用，不用擔心資源瓶頸問題，也不會使資源過度消耗。同時，設置一套自動化資源配置規(guī)則，當系統(tǒng)識別到資源即將打滿時，可以有效地進行資源分配與調度，管理資源開銷，保障系統(tǒng)穩(wěn)定。這就要求開發(fā)階段盡量避免使用動態(tài)分配的方式，而是采用內存池等優(yōu)化手段來管理內存，提升應急能力。當然，也有一些場景，需要將數(shù)據庫部署在配置很低的服務器上（如低規(guī)格的虛擬機），這個時候對數(shù)據庫的穩(wěn)定運行確實是一個考驗。所以我們在設計時要注意盡量控制配套的輔助模塊，降低對資源（如CPU、IO等）的利用率，讓資源真正為業(yè)務所用。低配服務器，當SQL請求增加時，更容易觸發(fā)資源閾值告警，這時DBA人員需要根據情況考慮是否擴容。另一種方式，是從DB設計側支持自動限流，通過對請求進行流控，以保證整體的高可用。4. 大數(shù)據量的并行處理如何應對？ 大數(shù)據量的并行處理意味著數(shù)據庫計算框架要具備并行化處理能力，比如能夠把SQL拆解成一個并行的執(zhí)行計劃，采用多線程的方式去執(zhí)行，需要時能夠將這些子查詢計劃推到對應的數(shù)據節(jié)點上并行執(zhí)行。而在并行處理中，也有很多問題要解決，比如當海量流量涌入，我們需要針對用戶或者某類SQL控制總的資源消耗度（如并行的連接數(shù)，線程數(shù)，總的資源利用率等），另外也需要對在線SQL和離線分析SQL進行區(qū)分，在資源不夠的時候要優(yōu)先保障在線SQL的執(zhí)行，這都是設計數(shù)據庫時需要考慮的問題。
數(shù)據技術融合發(fā)展洞見5. 實時計算大行其道，數(shù)據庫如何應對？隨著技術的發(fā)展，物聯(lián)網、大數(shù)據和互聯(lián)網監(jiān)控等擁有海量時序數(shù)據、需要實時數(shù)據作決策的場景越來越廣泛，這些新興的場景都是云計算、“產業(yè)互聯(lián)網 ”深化發(fā)展的必然結果，也是數(shù)據庫等基礎數(shù)據技術需要提前應對布局的技術場景。針對實時計算場景提出的要求（比如大量數(shù)據輸入、秒級別計算響應），數(shù)據庫技術需要具備高性能服務、低成本存儲、超強聚合分析能力等基本特性。而這些要求，時序數(shù)據庫產品能夠很好地滿足。隨著未來場景特征的融合，實時計算的需求也將可能出現(xiàn)在各行各業(yè)的實際場景中。因此作為底層技術，數(shù)據庫也將走向滿足多種計算能力要求的多引擎融合發(fā)展，用強大的底層能力支撐通用場景應用。這也是我們應該探索的方向。6. 數(shù)據庫與大數(shù)據是什么關系？ 從宏觀層面來看，數(shù)據庫是一個非常寬泛的概念，大數(shù)據應該也屬于數(shù)據庫的一種形態(tài)。當然從更細粒度的角度來看，數(shù)據庫主要用來處理聯(lián)機交易和中等規(guī)模的數(shù)據分析，強調高性能低延時的數(shù)據存取。而大數(shù)據一般面向海量數(shù)據以及基于這些數(shù)據從產生、收集、存儲到計算的分布式計算框架，如Hadoop、Spark生態(tài)下的各種軟件和框架。7. 數(shù)據庫基礎研究創(chuàng)新有哪些值得考慮的方向？基礎研究創(chuàng)新的方向要從未來行業(yè)對數(shù)據庫的需求角度來分析。第一，數(shù)據庫的主流方向是分布式架構，同時在數(shù)據規(guī)模不斷增長、對數(shù)據價值分析效率要求不斷提升的背景下，滿足HTAP場景是一個重要的發(fā)展方向。而數(shù)據庫需要很好支持HTAP的能力，系統(tǒng)需要真正實現(xiàn)計算層高擴容能力，以及支持不同的計算和存儲引擎，還要做到資源良好地隔離等等。目前從整個行業(yè)來看，這一方面的能力還有待完善和探索。第二，執(zhí)行器、優(yōu)化器等技術模塊也將是數(shù)據庫發(fā)展中值得關注的技術。第三，“數(shù)據庫 AI”等多技術生態(tài)底層融合將帶來新的發(fā)展機會，如通過“AI for DB”實現(xiàn)數(shù)據庫自治是當前廣受關注的方向。第四，“數(shù)據庫 新硬件”結合也是值得關注的發(fā)展方向，如今，新硬件層出不窮，我們如何基于新硬件實現(xiàn)創(chuàng)新式應用、釋放創(chuàng)新源動能，同時保持數(shù)據庫ACID能力？如何實現(xiàn)數(shù)據庫面向新硬件的技術遷移？這些都是值得探索的方向。8. “AI 智能運維”是否會取代DBA？智能化運維能力，更多的作用是覆蓋云時代大規(guī)模實例運維中基礎、重復的工作，以及提升診斷、資源配置的效率，也就是說，它最終能夠釋放DBA煩瑣的日常工作、提高DBA處理問題的效率、減少故障對企業(yè)帶來的損失（也降低了DBA的精神壓力），讓DBA有更多時間和精力去做一些有助于個人成長和業(yè)務發(fā)展的事，包括但不限于業(yè)務整體數(shù)據架構的梳理、內核源碼的研究等。9. 未來數(shù)據庫的核心是什么？關于未來數(shù)據庫發(fā)展的核心，我個人認為，一方面是面向未來的高精尖技術發(fā)展與技術基礎設施升級，另一方面是國產分布式數(shù)據庫生態(tài)的培育建設。而數(shù)據庫的發(fā)展仍將以云原生、HTAP等多模態(tài)融合、智能自治為主要核心：
程序員職業(yè)發(fā)展建議10. 如何將程序員做成具有長久生命力的職業(yè)？程序員從來不是一個只吃青春飯的職業(yè)。當你經歷的東西越多，見過的架構越多，你的經驗肯定會更豐富，看問題更能迅速看到本質。所以，做技術沒有天花板，而技術人員的職業(yè)生涯，也沒有瓶頸期。但是，最好在某些方面有比較深入的鉆研，追求精度與深度。同時，不能放棄廣度，廣度意味著更多的機會，幫助你由點及面地開展工作。例如，一些通用的底層技術，就值得鉆研。只要你從事計算機系統(tǒng)工作，那你在大多數(shù)時候都離不開它們，包括內核、網絡、數(shù)據結構、算法等等。對底層技術的研究相當于不斷發(fā)現(xiàn)水面下的冰山，它具有持久延續(xù)性、廣泛延展性。不管你做什么工作，你依賴的這些基礎都是相通的，所以我相信，提高基礎能力，你的前景肯定會越來越光明。雷海林：騰訊云數(shù)據庫專家工程師，騰訊云TDSQL技術負責人、首席架構師。2007年加入騰訊，持續(xù)專注于金融級分布式數(shù)據庫研發(fā)，帶領團隊實現(xiàn)多次業(yè)界領先的分布式數(shù)據庫技術突破，在分布式事務、SQL兼容性、內核安全、智能運維方面持續(xù)創(chuàng)新，產品獲得大量金融客戶的認可，市場規(guī)模大幅領先同業(yè)。
出品 | 《新程序員》如今，數(shù)據庫越來越受到業(yè)界的廣泛關注，許多高校畢業(yè)生及資深技術人也逐漸投身于數(shù)據庫產業(yè)。《新程序員002》經過用戶、專家調研，收集匯總了十個開發(fā)者關心的數(shù)據庫技術問題，并邀請騰訊云TDSQL技術負責人、首席架構師雷海林作出解答，希望為越來越多投身數(shù)據庫的技術人才提供參考。
數(shù)據技術應用與創(chuàng)新1. 數(shù)據庫產品在面向企業(yè)時（涉及負載均衡、數(shù)據傳輸、運營平臺、故障發(fā)現(xiàn)分析和治愈、發(fā)布系統(tǒng)、冷備系統(tǒng)等等），核心服務有哪些？數(shù)據庫是一個復雜的技術系統(tǒng)，真正在業(yè)務中投產，要求同時滿足穩(wěn)定、高性能、一致、高可靠、易運維等特性，缺一不可。也就是說，從數(shù)據庫設計到數(shù)據庫引擎的運營、遷移，再到數(shù)據安全等，包含數(shù)據全生命周期在內的每一環(huán)都需要考慮。例如，計算和存儲都需要實現(xiàn)獨立彈性擴展，保障系統(tǒng)的事務處理與分析查詢能夠穩(wěn)定、高效地完成。而在云時代，保障跨城、跨中心大型集群的高可用比以往集中式數(shù)據庫更復雜，因此自動化運營以及智能運維、智能監(jiān)控等能力，是提升日常運營效率的關鍵，也是故障識別、全局仲裁、自動資源配置和調度，以及保障系統(tǒng)穩(wěn)定、高可用的關鍵支撐。2. 數(shù)據庫遷移怎么做？通常數(shù)據庫遷移包含兩個層面：全量遷移和增量同步。針對增量可以通過數(shù)據日志同步、數(shù)據訂閱等手段進行，但問題在于，數(shù)據庫遷移涉及業(yè)務系統(tǒng)數(shù)據庫的遷移替換，這類數(shù)據庫一般都服務于關鍵業(yè)務場景，因此“快”和“穩(wěn)”缺一不可。快速遷移數(shù)據和保證數(shù)據持續(xù)準實時同步，是數(shù)據庫遷移過程的兩個關鍵要素。這就要求，遷移方案需要包含數(shù)據校驗、回滾、安全風險控制機制等，實現(xiàn)遷移過程中的系統(tǒng)高性能、數(shù)據一致、服務高可用。針對高性能的優(yōu)化可通過并發(fā)控制機制、有序消息并發(fā)重放、并發(fā)解析機制等方案來實現(xiàn)。數(shù)據一致性可通過消息異常檢測、自動化切換、自動化沖突檢測與恢復等技術機制來保障。服務高可用可以基于自動化擴容感知、多機容災保護等能力實現(xiàn)。如果涉及遷移的源端與目標端異構，還需要自動化遷移評估平臺，進行庫表結構、數(shù)據庫對象、數(shù)據類型自動轉換等等。3. 如何在低配服務器中，實現(xiàn)數(shù)據庫高性能、高可用運行？首先，云上數(shù)據庫應用，可以通過云原生、多租戶能力很好地控制資源，做到按需使用，不用擔心資源瓶頸問題，也不會使資源過度消耗。同時，設置一套自動化資源配置規(guī)則，當系統(tǒng)識別到資源即將打滿時，可以有效地進行資源分配與調度，管理資源開銷，保障系統(tǒng)穩(wěn)定。這就要求開發(fā)階段盡量避免使用動態(tài)分配的方式，而是采用內存池等優(yōu)化手段來管理內存，提升應急能力。當然，也有一些場景，需要將數(shù)據庫部署在配置很低的服務器上（如低規(guī)格的虛擬機），這個時候對數(shù)據庫的穩(wěn)定運行確實是一個考驗。所以我們在設計時要注意盡量控制配套的輔助模塊，降低對資源（如CPU、IO等）的利用率，讓資源真正為業(yè)務所用。低配服務器，當SQL請求增加時，更容易觸發(fā)資源閾值告警，這時DBA人員需要根據情況考慮是否擴容。另一種方式，是從DB設計側支持自動限流，通過對請求進行流控，以保證整體的高可用。4. 大數(shù)據量的并行處理如何應對？ 大數(shù)據量的并行處理意味著數(shù)據庫計算框架要具備并行化處理能力，比如能夠把SQL拆解成一個并行的執(zhí)行計劃，采用多線程的方式去執(zhí)行，需要時能夠將這些子查詢計劃推到對應的數(shù)據節(jié)點上并行執(zhí)行。而在并行處理中，也有很多問題要解決，比如當海量流量涌入，我們需要針對用戶或者某類SQL控制總的資源消耗度（如并行的連接數(shù)，線程數(shù)，總的資源利用率等），另外也需要對在線SQL和離線分析SQL進行區(qū)分，在資源不夠的時候要優(yōu)先保障在線SQL的執(zhí)行，這都是設計數(shù)據庫時需要考慮的問題。數(shù)據技術融合發(fā)展洞見5. 實時計算大行其道，數(shù)據庫如何應對？隨著技術的發(fā)展，物聯(lián)網、大數(shù)據和互聯(lián)網監(jiān)控等擁有海量時序數(shù)據、需要實時數(shù)據作決策的場景越來越廣泛，這些新興的場景都是云計算、“產業(yè)互聯(lián)網 ”深化發(fā)展的必然結果，也是數(shù)據庫等基礎數(shù)據技術需要提前應對布局的技術場景。針對實時計算場景提出的要求（比如大量數(shù)據輸入、秒級別計算響應），數(shù)據庫技術需要具備高性能服務、低成本存儲、超強聚合分析能力等基本特性。而這些要求，時序數(shù)據庫產品能夠很好地滿足。隨著未來場景特征的融合，實時計算的需求也將可能出現(xiàn)在各行各業(yè)的實際場景中。因此作為底層技術，數(shù)據庫也將走向滿足多種計算能力要求的多引擎融合發(fā)展，用強大的底層能力支撐通用場景應用。這也是我們應該探索的方向。6. 數(shù)據庫與大數(shù)據是什么關系？ 從宏觀層面來看，數(shù)據庫是一個非常寬泛的概念，大數(shù)據應該也屬于數(shù)據庫的一種形態(tài)。當然從更細粒度的角度來看，數(shù)據庫主要用來處理聯(lián)機交易和中等規(guī)模的數(shù)據分析，強調高性能低延時的數(shù)據存取。而大數(shù)據一般面向海量數(shù)據以及基于這些數(shù)據從產生、收集、存儲到計算的分布式計算框架，如Hadoop、Spark生態(tài)下的各種軟件和框架。7. 數(shù)據庫基礎研究創(chuàng)新有哪些值得考慮的方向？基礎研究創(chuàng)新的方向要從未來行業(yè)對數(shù)據庫的需求角度來分析。第一，數(shù)據庫的主流方向是分布式架構，同時在數(shù)據規(guī)模不斷增長、對數(shù)據價值分析效率要求不斷提升的背景下，滿足HTAP場景是一個重要的發(fā)展方向。而數(shù)據庫需要很好支持HTAP的能力，系統(tǒng)需要真正實現(xiàn)計算層高擴容能力，以及支持不同的計算和存儲引擎，還要做到資源良好地隔離等等。目前從整個行業(yè)來看，這一方面的能力還有待完善和探索。第二，執(zhí)行器、優(yōu)化器等技術模塊也將是數(shù)據庫發(fā)展中值得關注的技術。第三，“數(shù)據庫 AI”等多技術生態(tài)底層融合將帶來新的發(fā)展機會，如通過“AI for DB”實現(xiàn)數(shù)據庫自治是當前廣受關注的方向。第四，“數(shù)據庫 新硬件”結合也是值得關注的發(fā)展方向，如今，新硬件層出不窮，我們如何基于新硬件實現(xiàn)創(chuàng)新式應用、釋放創(chuàng)新源動能，同時保持數(shù)據庫ACID能力？如何實現(xiàn)數(shù)據庫面向新硬件的技術遷移？這些都是值得探索的方向。8. “AI 智能運維”是否會取代DBA？智能化運維能力，更多的作用是覆蓋云時代大規(guī)模實例運維中基礎、重復的工作，以及提升診斷、資源配置的效率，也就是說，它最終能夠釋放DBA煩瑣的日常工作、提高DBA處理問題的效率、減少故障對企業(yè)帶來的損失（也降低了DBA的精神壓力），讓DBA有更多時間和精力去做一些有助于個人成長和業(yè)務發(fā)展的事，包括但不限于業(yè)務整體數(shù)據架構的梳理、內核源碼的研究等。9. 未來數(shù)據庫的核心是什么？關于未來數(shù)據庫發(fā)展的核心，我個人認為，一方面是面向未來的高精尖技術發(fā)展與技術基礎設施升級，另一方面是國產分布式數(shù)據庫生態(tài)的培育建設。而數(shù)據庫的發(fā)展仍將以云原生、HTAP等多模態(tài)融合、智能自治為主要核心：
-
云原生與Serverless
-
多模態(tài)融合
-
標準化服務與智能自治
程序員職業(yè)發(fā)展建議10. 如何將程序員做成具有長久生命力的職業(yè)？程序員從來不是一個只吃青春飯的職業(yè)。當你經歷的東西越多，見過的架構越多，你的經驗肯定會更豐富，看問題更能迅速看到本質。所以，做技術沒有天花板，而技術人員的職業(yè)生涯，也沒有瓶頸期。但是，最好在某些方面有比較深入的鉆研，追求精度與深度。同時，不能放棄廣度，廣度意味著更多的機會，幫助你由點及面地開展工作。例如，一些通用的底層技術，就值得鉆研。只要你從事計算機系統(tǒng)工作，那你在大多數(shù)時候都離不開它們，包括內核、網絡、數(shù)據結構、算法等等。對底層技術的研究相當于不斷發(fā)現(xiàn)水面下的冰山，它具有持久延續(xù)性、廣泛延展性。不管你做什么工作，你依賴的這些基礎都是相通的，所以我相信，提高基礎能力，你的前景肯定會越來越光明。雷海林：騰訊云數(shù)據庫專家工程師，騰訊云TDSQL技術負責人、首席架構師。2007年加入騰訊，持續(xù)專注于金融級分布式數(shù)據庫研發(fā)，帶領團隊實現(xiàn)多次業(yè)界領先的分布式數(shù)據庫技術突破，在分布式事務、SQL兼容性、內核安全、智能運維方面持續(xù)創(chuàng)新，產品獲得大量金融客戶的認可，市場規(guī)模大幅領先同業(yè)。
下載文檔本站聲明： 本文章由作者或相關機構授權發(fā)布，目的在于傳遞更多信息，并不代表本站贊同其觀點，本站亦不保證或承諾內容真實性等。需要轉載請聯(lián)系該專欄作者，如若文章內容侵犯您的權益，請及時聯(lián)系本站刪除。
換一批
延伸閱讀
為期兩天的英特爾On技術創(chuàng)新峰會正式開幕，英特爾宣布將推出第13代英特爾?酷睿?處理器、擴展的英特爾開發(fā)者云平臺、英特爾Geti計算機視覺平臺、更多的GPU新品。
關鍵字： 英特爾 On技術創(chuàng)新 開發(fā)者擴展了其針對Matter、Wi-SUN、AmazonSidewalk和Wi-Fi 6等協(xié)議的產品系列
關鍵字： Silicon Labs 開發(fā)者 物聯(lián)網杭州2022年9月9日 /美通社/ -- 9月3日下午，2022世界人工智能大會"圖數(shù)據庫技術與AI應用"論壇在上海世博中心順利召開。本次論壇由世界人工智能大會組委會辦公室指導，中國圖數(shù)據庫...
關鍵字： 人工智能 數(shù)據庫技術 AI SE（全球TMT2022年8月15日訊）為全面和深入地了解中國開發(fā)者群體整體現(xiàn)狀、應用開發(fā)技術以及開發(fā)工具、平臺的狀況和發(fā)展趨勢，CSDN發(fā)布《2021-2022 中國開發(fā)者調查報告》，調研萬名開發(fā)者，圍繞開源開發(fā)者畫像、...
關鍵字： 開發(fā)者 BSP 操作系統(tǒng) 程序員（全球TMT2022年8月1日訊）近日，以"贏戰(zhàn)全球，IAA出海進階全攻略"為主題的出海?ing?系列廈門站活動正式舉辦。會上，全球移動營銷專家 Nativex產品負責人唐子丹就?"IAA?高效出海"主題分享了未來出海...
關鍵字： NATIVE 開發(fā)者 移動互聯(lián)網 MT
