微軟、英偉達(dá)聯(lián)手推出語(yǔ)言模型?MT-NLP，5300億參數(shù)，現(xiàn)存最大
[導(dǎo)讀]編譯|禾木木出品|?AI科技大本營(yíng)（ID:rgznai100）微軟和英偉達(dá)聯(lián)手推出最大、最強(qiáng)的人工智能語(yǔ)言模型：Megatron-Turing自然語(yǔ)言生成模型(MT-NLG)。微軟和英偉達(dá)宣布，他們聯(lián)合推出迄今為止最大和最強(qiáng)的人工智能驅(qū)動(dòng)的語(yǔ)言模型：Megatron-Turing...
微軟和英偉達(dá)聯(lián)手推出最大、最強(qiáng)的人工智能語(yǔ)言模型：Megatron-Turing自然語(yǔ)言生成模型(MT-NLG)。
微軟和英偉達(dá)宣布，他們聯(lián)合推出迄今為止最大和最強(qiáng)的人工智能驅(qū)動(dòng)的語(yǔ)言模型：Megatron-Turing（MT-NLP）。從公開披露的角度來(lái)看，MT-NLP 應(yīng)該是現(xiàn)存最大的公共模型。在訓(xùn)練過(guò)程一共使用了 4480 塊英偉達(dá) A100 GPU ，作為兩家公司 Turing NLG 17B 和 Megatron-LM 模型的繼承者，MT-NLP 包含5300億個(gè)參數(shù)，在一系列廣泛的自然語(yǔ)言任務(wù)中實(shí)現(xiàn)了無(wú)與倫比的準(zhǔn)確性，例如：
- 完成預(yù)測(cè)
- 閱讀理解
- 常識(shí)論證
- 自然語(yǔ)言推理
- 詞義消歧
大規(guī)模語(yǔ)言模型
近年來(lái)，自然語(yǔ)言處理 (NLP) 中基于 Transformer 的語(yǔ)言模型在大規(guī)模計(jì)算、大型數(shù)據(jù)集以及用于訓(xùn)練這些模型的高級(jí)算法和軟件的推動(dòng)下推動(dòng)了快速發(fā)展。具有大量參數(shù)、更多數(shù)據(jù)和更多訓(xùn)練時(shí)間的語(yǔ)言模型可以獲得更豐富、更細(xì)致的語(yǔ)言理解。因此，它們可以很好地概括為有效的零樣本（zero-shot）或少樣本（few-shot）學(xué)習(xí)器，在許多 NLP 任務(wù)和數(shù)據(jù)集上具有很高的準(zhǔn)確性。NLP 領(lǐng)域的任務(wù)包括摘要、自動(dòng)對(duì)話生成、翻譯、語(yǔ)義搜索以及代碼自動(dòng)生成等。當(dāng)前，SOTA NLP 模型中的參數(shù)數(shù)量呈指數(shù)增長(zhǎng)，如下圖 1 所示。圖 1. SOTA NLP 模型大小隨時(shí)間變化的趨勢(shì)然而，訓(xùn)練此類模型具有挑戰(zhàn)性，主要是以下兩個(gè)原因：
- 即使是最大的 GPU，也不再可能在內(nèi)存中擬合這些模型的參數(shù)。
- 如果不特別注意優(yōu)化算法、軟件和硬件堆棧，則所需的大量計(jì)算操作可能會(huì)導(dǎo)致不切實(shí)際的長(zhǎng)訓(xùn)練時(shí)間。
大規(guī)模培訓(xùn)基礎(chǔ)設(shè)施
在 英偉達(dá) A100 Tensor Core GPU 和 HDR InfiniBand 網(wǎng)絡(luò)的支持下，NVIDIA Selene 和 Microsoft Azure NDv4 等最先進(jìn)的超級(jí)計(jì)算集群具有足夠的計(jì)算能力，可以在合理的時(shí)間范圍內(nèi)訓(xùn)練具有數(shù)萬(wàn)億個(gè)參數(shù)的模型。然而，要充分發(fā)揮這些超級(jí)計(jì)算機(jī)的潛力，需要在數(shù)千個(gè) GPU 之間實(shí)現(xiàn)并行性，在內(nèi)存和計(jì)算上都高效且可擴(kuò)展。然而，現(xiàn)有的并行策略（例如數(shù)據(jù)、pipeline 或 tensor-slicing）在內(nèi)存和計(jì)算效率方面存在以下權(quán)衡，無(wú)法用于訓(xùn)練這種規(guī)模的模型：- 數(shù)據(jù)并行實(shí)現(xiàn)了良好的計(jì)算效率，但它復(fù)制了模型狀態(tài)并且無(wú)法利用聚合分布式內(nèi)存。
- tensor-slicing 需要 GPU 之間的大量通信，所以單個(gè)節(jié)點(diǎn)以外的計(jì)算效率受限，使得高帶寬 NVLink 不可用。
- pipeline 并行性可以跨節(jié)點(diǎn)有效擴(kuò)展。然而，為了提高計(jì)算效率，它需要大批量、粗粒度的并行和完美的負(fù)載平衡，這在規(guī)模上是不可能的。
軟件設(shè)計(jì)
通過(guò)英偉達(dá) Megatron-LM 和微軟 DeepSpeed 之間的合作，創(chuàng)建了一個(gè)高效且可擴(kuò)展的 3D 并行系統(tǒng)，能夠?qū)?shù)據(jù)、pipeline 和 tensor-slicing 的并行性結(jié)合在一起來(lái)應(yīng)對(duì)這些挑戰(zhàn)。通過(guò)結(jié)合 pipeline 和 tensor-slicing 并行性，研究者們可以在它們最有效的范圍內(nèi)操作它們。更具體地說(shuō)，該系統(tǒng)使用來(lái)自 Megatron-LM 的 tensor-slicing 來(lái)擴(kuò)展節(jié)點(diǎn)內(nèi)的模型，并使用來(lái)自 DeepSpeed 的 pipeline 并行性來(lái)跨節(jié)點(diǎn)擴(kuò)展模型。例如，對(duì)于 5300 億模型，每個(gè)模型副本（replica）跨越 280 個(gè)英偉達(dá) A100 GPU，具有節(jié)點(diǎn)內(nèi)的 8 路 tensor-slicing 和跨節(jié)點(diǎn)的 35 路 pipeline 并行性。然后，我們使用 DeepSpeed 的數(shù)據(jù)并行性進(jìn)一步擴(kuò)展到數(shù)千個(gè) GPU。
硬件系統(tǒng)
模型訓(xùn)練是在基于英偉達(dá) DGX SuperPOD 的 Selene 超級(jí)計(jì)算機(jī)上以混合精度完成的，該超級(jí)計(jì)算機(jī)由 560 個(gè) DGX A100 服務(wù)器提供支持，這些服務(wù)器以完整的胖樹配置與 HDR InfiniBand 聯(lián)網(wǎng)。每個(gè) DGX A100 有 8 個(gè)英偉達(dá) A100 80GB Tensor Core GPU，并通過(guò) NVLink 和 NVSwitch 相互完全連接。微軟為 Azure NDv4 云超級(jí)計(jì)算機(jī)使用了類似的參考架構(gòu)。
系統(tǒng)吞吐量
我們考慮了我們的系統(tǒng)在 Selene 上的 280、350 和 420 DGX A100 服務(wù)器上，批量大小為 1920 的 5300 億參數(shù)模型的端到端吞吐量。研究者們觀察到的迭代時(shí)間分別為 60.1、50.2 和 44.4 秒。這些分別對(duì)應(yīng)于每個(gè) GPU 126、121 和 113 teraFLOP/s。訓(xùn)練數(shù)據(jù)集和模型配置
研究者們使用了 Transformer 解碼器的架構(gòu)，它是一個(gè)從左到右生成的基于 Transformer 的語(yǔ)言模型，由 5300 億個(gè)參數(shù)組成。層數(shù)、隱藏維度和注意力頭分別為 105、20480 和 128。基于開源數(shù)據(jù)集集合 The Pile，研究者構(gòu)建了訓(xùn)練數(shù)據(jù)集。首先，從 The Pile 中選擇了相對(duì)質(zhì)量最高的數(shù)據(jù)集子集（圖 2 中的前 11 行）。然后，按照與用于生成 Pile-CC 的方法類似的方法，下載并過(guò)濾了兩個(gè)最近的 Common Crawl (CC) 快照。并對(duì) CC 數(shù)據(jù)采取的步驟包括從原始 HTML 文件中提取文本、使用在高質(zhì)量數(shù)據(jù)上訓(xùn)練的分類器對(duì)提取的文檔進(jìn)行評(píng)分，以及根據(jù)評(píng)分過(guò)濾文檔。在構(gòu)建訓(xùn)練數(shù)據(jù)集時(shí)，文檔去重是必要的，因?yàn)橄嗤膬?nèi)容可以存在于不同數(shù)據(jù)集的多個(gè)文檔中。研究者們使用 min-hash LSH 在文檔級(jí)別使用模糊重復(fù)數(shù)據(jù)刪除過(guò)程來(lái)計(jì)算稀疏文檔圖和其中的連接組件以識(shí)別重復(fù)文檔。然后，在從每個(gè)連接組件的重復(fù)文檔中選擇代表性文檔時(shí)，根據(jù)數(shù)據(jù)集的質(zhì)量使用優(yōu)先級(jí)順序。最后，使用基于 n-gram 的過(guò)濾從訓(xùn)練數(shù)據(jù)集中刪除下游任務(wù)數(shù)據(jù)以避免污染。最終的訓(xùn)練集包括 15 個(gè)數(shù)據(jù)集，總共包含 3390 億個(gè) token。在訓(xùn)練期間，研究者根據(jù)圖 2 中給出的可變采樣權(quán)重將數(shù)據(jù)集混合到異構(gòu)批次中，重點(diǎn)放在更高質(zhì)量的數(shù)據(jù)集上，我在 2700 億個(gè) token 上訓(xùn)練了模型。| Dataset | Tokens (billions) | Weights (%) | Epochs |
| Books3 | 25.7 | 14.3 | 1.5 |
| OpenWebText2 | 14.8 | 19.3 | 3.6 |
| Stack Exchange | 11.6 | 5.7 | 1.4 |
| PubMed Abstracts | 4.4 | 2.9 | 1.8 |
| Wikipedia | 4.2 | 4.8 | 3.2 |
| Gutenberg (PG-19) | 2.7 | 0.9 | 0.9 |
| BookCorpus2 | 1.5 | 1.0 | 1.8 |
| NIH ExPorter | 0.3 | 0.2 | 1.8 |
| Pile-CC | 49.8 | 9.4 | 0.5 |
| ArXiv | 20.8 | 1.4 | 0.2 |
| GitHub | 24.3 | 1.6 | 0.2 |
| CC-2020-50 | 68.7 | 13.0 | 0.5 |
| CC-2021-04 | 82.6 | 15.7 | 0.5 |
| RealNews | 21.9 | 9.0 | 1.1 |
| CC-Stories | 5.3 | 0.9 | 0.5 |
訓(xùn)練結(jié)果和成就
近期語(yǔ)言模型 (LM) 方面的工作表明，強(qiáng)大的預(yù)訓(xùn)練模型通常可以在不進(jìn)行微調(diào)的情況下，在廣泛的 NLP 任務(wù)中具有競(jìng)爭(zhēng)力。為了了解擴(kuò)大 LM 如何增強(qiáng)其零樣本或少樣本學(xué)習(xí)能力，研究者評(píng)估了 MT-NLG，并證明它在多個(gè)類別的 NLP 任務(wù)中建立了新的 SOTA。為確保評(píng)估的全面性，我們選擇了跨越五個(gè)不同領(lǐng)域的八項(xiàng)任務(wù)：- 在文本預(yù)測(cè)任務(wù) LAMBADA 中，模型預(yù)測(cè)給定段落的最后一個(gè)詞。
- 在閱讀理解任務(wù) RACE-h 和 BoolQ 中，模型根據(jù)給定的段落生成問題的答案。
- 在常識(shí)推理任務(wù) PiQA、HellaSwag 和 Winogrande 中，每個(gè)任務(wù)都需要一定程度的常識(shí)知識(shí)，超出語(yǔ)言的統(tǒng)計(jì)模式才能解決。
- 對(duì)于自然語(yǔ)言推理，兩個(gè)硬基準(zhǔn)（ANLI-R2 和 HANS），針對(duì)過(guò)去模型的典型失敗案例。
- 詞義消歧任務(wù) WiC 從上下文評(píng)估多義詞的理解。
| Tasks | Zero-shot | One-shot | Few-shot |
| Lambada | 0.766* | 0.731* | 0.872* |
| BoolQ | 0.782 | 0.825 | 0.848 |
| RACE-h | 0.479 | 0.484 | 0.479 |
| PiQA | 0.820* | 0.810* | 0.832* |
| HellaSwag | 0.802 | 0.802 | 0.824 |
| WinoGrande | 0.730 | 0.737 | 0.789 |
| ANLI-R2 | 0.366 | 0.397 | 0.396 |
| HANS | 0.607 | 0.649 | 0.702 |
| WiC | 0.486 | 0.513 | 0.585 |
| Tasks | Sample 1 | Sample 2 |
| Inferring mathematical operations | Prompt:Q: 11 # 2 = ?A: 5.5Q: 18 # 9 = ?A: 2Q: 35 # 4 = ?A: 8.75Q: 27 # 9 = ?A: 3Q: 75 # 6 = ?A: MT-NLG:12.5Q: 45 # 5 = ?A: 9Q: 18 # 6 = ?A: 3 | Prompt:Q: 11 $^% 2 = ?A: 22 Q: 3 $^% 9 = ?A: 27 Q: 12 $^% 4 = ?A: 48 Q: 7 $^% 7 = ?A: 49 Q: 8 $^% 5 = ?A: MT-NLG:40Q: 9 $^% 6 = ?A: 54Q: 10 $^% 5 = ?A: 50 |
| Natural language inference on different syntactic structures | Prompt:The banker forgot that the judge advised the professors.Question: The judge advised the professors. True or False?Answer: MT-NLG:True. The banker forgot that the judge advised the professors. | Prompt:Famous professors supported the secretary.Question: Professors supported the secretary. True or False?Answer: MT-NLG:True. The secretary was supported by famous professors. |
結(jié)語(yǔ)
今天，人工智能技術(shù)的進(jìn)步正在超越摩爾定律的極限。新一代的 GPU 以閃電般的速度互連，不斷升級(jí)算力。與此同時(shí)，AI 模型的擴(kuò)展帶來(lái)了更好的性能，而且似乎前景無(wú)限。MT-NLG 就是一個(gè)例子，當(dāng)像英偉達(dá) Selene 或微軟 Azure NDv4 這樣的超級(jí)計(jì)算機(jī)與 Megatron-LM 和 DeepSpeed 的軟件創(chuàng)新一起用來(lái)訓(xùn)練大型語(yǔ)言 AI 模型時(shí)，可能會(huì)發(fā)生什么？DeepSpeed 和 Megatron-LM 的創(chuàng)新將助力未來(lái)更多的 AI 模型開發(fā)，并使大型 AI 模型的訓(xùn)練成本更低、速度更快。在成本方面也是不可忽視的問題。比如說(shuō) MT-NLP、AI21 Labs 的 Jurassic-1、華為的盤古-Alpha、Naver 的 HyperCLOVA 和北京人工智能研究院的五道 2.0 等項(xiàng)目。例如 OpenAI 的 GPT-3 的訓(xùn)練數(shù)據(jù)集大小為 45 TB，一個(gè) GPT-3 模型可能需要要 700G 的硬盤空間來(lái)存儲(chǔ)。通常認(rèn)為，模型的參數(shù)越多，它可以完成的任務(wù)就越復(fù)雜，性能也越好。但是越來(lái)越多的研究對(duì)這個(gè)概念提出了質(zhì)疑。今年9月 Google 發(fā)布 FLAN ，與 GPT-3 的 1750 億個(gè)參數(shù)相比，F(xiàn)LAN 擁有 1370 億個(gè)參數(shù)，在研究人員對(duì)其進(jìn)行測(cè)試的 25 項(xiàng)任務(wù)中，有19項(xiàng)超過(guò)了 zero-shot 175B GPT-3。康奈爾大學(xué)的自然語(yǔ)言處理研究員 Maria Antoniak 也曾公開表示，是否一定需要更大的模型才能處理好自然語(yǔ)言，目前來(lái)說(shuō)這個(gè)問題還沒有答案。即便說(shuō)基準(zhǔn)測(cè)試的排行榜被這些大模型刷了個(gè)遍，但把更多的數(shù)據(jù)輸入到模型中，是否能繼續(xù)帶來(lái)性能提升，還是不確定的。雖然大規(guī)模語(yǔ)言模型推動(dòng)了語(yǔ)言生成技術(shù)的發(fā)展，但它們也存在偏見和有害性等問題。人工智能社區(qū)正在積極研究、理解和消除語(yǔ)言模型中的這些問題。英偉達(dá)和微軟的研究者表示， MT-NLG 模型從它所訓(xùn)練的數(shù)據(jù)中提取了刻板印象和偏見。他們正在致力于解決這個(gè)問題，并鼓勵(lì)幫助量化模型偏差的后續(xù)相關(guān)研究。參考鏈接：https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/https://venturebeat.com/2021/10/11/microsoft-and-nvidia-team-up-to-train-one-of-the-worlds-largest-language-models/https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/本文由AI科技大本營(yíng)翻譯，轉(zhuǎn)載請(qǐng)注明出處。
下載文檔
