科學的進步與高效使用高性能計算基礎架構以及從大量數據中有效提取知識緊密相關。此類數據來自不同來源，這些來源遵循一個周期，該周期由用于數據管理的預處理步驟和為后續(xù)計算步驟準備以及隨后應用于結果的后續(xù)分析和分析步驟組成。

1592186506453

但是，科學工作流目前分散在多個組件中，具有用于計算和數據管理的不同過程，并且在所涉及的用戶配置文件的觀點上存在差距。我們的愿景是，未來的工作流程環(huán)境和用于開發(fā)科學工作流程的工具應遵循整體方法，其中數據和計算都集成在基于簡單，高級界面的單一流程中。我們提出的研究主題涉及新穎的方式來表達集成了不同數據和計算過程的工作流，動態(tài)運行時以有效的方式在性能和能源方面支持復雜和異構計算基礎架構中工作流的執(zhí)行。

。這些基礎設施包括高度分散的資源，從傳感器和儀器以及邊緣設備到高性能計算和云計算資源。本文介紹了我們開發(fā)這些工作流環(huán)境的愿景，以及我們目前正在實現(xiàn)該愿景的步驟。動態(tài)運行時，以高效和高效的方式支持復雜和異構計算基礎架構中工作流的執(zhí)行。這些基礎設施包括高度分散的資源，從傳感器和儀器以及邊緣設備到高性能計算和云計算資源。

本文介紹了我們開發(fā)這些工作流環(huán)境的愿景，以及我們目前正在實現(xiàn)該愿景的步驟。動態(tài)運行時，以高效和高效的方式支持復雜和異構計算基礎架構中工作流的執(zhí)行。這些基礎設施包括高度分散的資源，從傳感器和儀器以及邊緣設備到高性能計算和云計算資源。本文介紹了我們開發(fā)這些工作流環(huán)境的愿景，以及我們目前正在實現(xiàn)該愿景的步驟。

本文提出了我們的愿景和路線圖，以開發(fā)新的環(huán)境和工具來支持科學社區(qū)，并使科學工作流程的生產力大幅提高。需要考慮的變量有很多：科學應用越來越復雜；數據量巨大且性質多樣，這一問題也越來越復雜；科學家可以使用的軟件組件和工具數量龐大且難以使用；計算、存儲和其他基礎設施資源的復雜性和多樣性也在增加。

所有這些都阻礙了科學家把注意力集中在需要解決的實際問題上，造成了與之抗爭的科學界浪費的時間和資源，延緩了科學的發(fā)展。更好的科學工作流程開發(fā)方法將產生影響，首先是通過加快可能的新發(fā)現(xiàn)，而現(xiàn)在不可能的新科學應用將成為事實。由于這些科學進步，這有可能產生直接的社會影響。此外，不可忽視的是，科學界正在以不科學的方式使用大型計算和存儲基礎設施，這會帶來經濟和能源成本。

有了這種新穎的工作流環(huán)境和工具，科學家們將能夠同時處理涉及高性能計算機應用、機器學習和大數據組件的工作流。該項目開發(fā)的新方法將有助于更有效地利用基礎設施，降低所需成本和能源，從而減少碳足跡，因為高性能混凝土和其他基礎設施消耗的能源是不可忽視的。

一、 介紹和運動

大規(guī)模計算是一種使研究和

不同領域的進展，例如個性化醫(yī)學、氣候預測或基因組學，其結果可能會產生社會影響。這些研究學科中的大多數都有一個共同因素，即不同類型的來源（遙感器、主要科學儀器、衛(wèi)星、來自智能城市項目的無數分布式傳感器等）產生的大量輸入數據，其性質是異構的，需要大量存儲。所有這些輸入數據都經過不同的預處理步驟，以將原始數據轉換為可用的輸入數據，如同質化為單一格式、縮減、過濾等。

這些數據用作復雜模擬或建模過程的輸入數據，傳統(tǒng)上，這些模擬或建模過程是在大型高性能計算（HPC）基礎設施中執(zhí)行的，其目的是生成預測或對實際過程進行模擬（如預測明天的天氣或對給定藥物的行為進行建模）一種特殊的疾?。＿@些高性能計算過程產生了大量的輸出數據，在某些情況下也是異質性的，這些數據后來被分析和簡化，用于用實驗數據驗證預測和推論，是獲得新的科學發(fā)現(xiàn)的來源。例如，氣候變化試驗耦合模式相互比較項目第6階段（CMIP6）將在31個中心之間進行，將涉及52個天氣和氣候模式。本實驗輸出數據所需的存儲量估計為60pbytes[1]。

上面描述的內容與計算社區(qū)聯(lián)盟（Computing Community Consortium）最近的一份白皮書中描述的內容相匹配，該白皮書提供了科學過程的一般視圖[2]。本出版物支持科學方法的經典觀點，認為科學方法是一個復雜的推理過程，它試圖通過一個徹底的、可控的觀察來理解自然。根據這一觀點，科學過程由三個推理步驟組成：推斷（即猜測一個解釋）、推斷（即確定一組命題的必要結果）和歸納（即進行基于抽樣的概括）。

圖1展示了大數據和極端規(guī)模計算（BDEC）在最近發(fā)表的白皮書[3]中看到的該模型的這些關鍵邏輯元素的版本，BDEC是我們參與的一項國際倡議，其重點是如何實現(xiàn)高端數據分析（HDA）和高性能計算（HPC）的融合。雖然誘拐和歸納階段意味著分析和分析過程（HDA技術）的使用，但演繹階段通常是HPC過程。然而，到目前為止，科學過程的三個不同步驟都是通過分離的方法和工具實現(xiàn)的，缺乏集成，對整個過程缺乏共同的看法。BDEC的主要建議是解決這兩種模式之間分裂的基本問題：HPC/HDA軟件生態(tài)系統(tǒng)分裂。

雖然HPC和HDA是科學進步所必需的，但傳統(tǒng)的科學計算工作流程被分割成不同的部分，HPC和HDA階段使用不同的編程模型和不同的環(huán)境，導致缺乏全局視角。此外，海量數據及其格式的異構性，阻礙了科學結論的產生。

此外，過程中涉及的不同技術和科學成果的重點可能不同。雖然從計算機科學的角度來看，重點一直放在用于進行預測/模擬的編程模型和應用程序上，但科學應用程序的開發(fā)人員更重視問題的數據方面：元數據和可追溯性對他們至關重要。

所有這些差異和關注點都因當前計算基礎設施的復雜性而增加：在大型高性能計算機系統(tǒng)中發(fā)現(xiàn)運行非常不合理的科學工作流是很常見的（使用的可能性能百分比很低）。我們面臨著新的處理器架構和不同類型的處理器（通用處理器、圖形處理器、可編程設備）、新的持久性存儲技術以及將這些復雜系統(tǒng)的所有元素互連的新方法。HPC系統(tǒng)將與公共和私有云基礎設施相結合，更重要的是，未來科學工作流程將要執(zhí)行的系統(tǒng)還將包括邊緣設備，如傳感器或科學儀器，這些設備將流式傳輸連續(xù)的數據流，同樣地，科學家們希望將結果流式輸出，以便對科學結果進行監(jiān)控、流式傳輸和可視化，以實現(xiàn)互動性。此外，信息和通信技術進程的碳足跡也是一個令人擔憂的問題，減少碳足跡將是晚上9點“地平線歐洲”的目標之一?？茖W應用程序開發(fā)人員正努力解決所有這些問題，這使得整體科學工作的開發(fā)變得非常復雜。

本文提出了我們在工作流程環(huán)境和工具方面的研究建議，以便按照一種整體方法開發(fā)科學工作流程，這種方法將數據和計算過程放在同一個層面上，并基于簡單和高級的接口集成在一個單一的流程中，同時，智能運行時能夠以節(jié)能的方式利用底層計算連續(xù)體基礎設施的性能。

論文結構如下：第二節(jié)介紹了國內外研究現(xiàn)狀及相關工作中涉及的課題。第三節(jié)介紹了BDEC倡議和本研究中考慮的基礎設施，而第四節(jié)則介紹了我們對這些基礎設施的工作流環(huán)境開發(fā)的愿景。第五節(jié)提出了一些關于工作流程環(huán)境中現(xiàn)有多學科用戶產品的想法，以及匹配這些不同產品所需的必要抽象級別。第六節(jié)介紹了本集團為實現(xiàn)上述愿景而正在進行的工作，以及我們計劃如何實現(xiàn)這一愿景。最后，第七節(jié)對論文進行了總結。

全文請點擊下載pdf版：https://arxiv.org/pdf/2006.07066.pdf