循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)是一類以序列(sequence)數(shù)據(jù)為輸入,在序列的演進方向進行遞歸(recursion)且所有節(jié)點(循環(huán)單元)按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)(recursive neural network)。對循環(huán)神經(jīng)網(wǎng)絡(luò)的研究始于二十世紀(jì)80-90年代,并在二十一世紀(jì)初發(fā)展為深度學(xué)習(xí)(deep learning)算法之一,其中雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(Bidirectional RNN, Bi-RNN)和長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory networks,LSTM)是常見的循環(huán)神經(jīng)網(wǎng)絡(luò)。
AutoEncoder的基本思想是利用神經(jīng)網(wǎng)絡(luò)來做無監(jiān)督學(xué)習(xí),就是把樣本的輸入同時作為神經(jīng)網(wǎng)絡(luò)的輸入和輸出。本質(zhì)上是希望學(xué)習(xí)到輸入樣本的表示(encoding)。早期AutoEncoder的研究主要是數(shù)據(jù)過于稀疏、數(shù)據(jù)高維導(dǎo)致計算復(fù)雜度高。比較早用神經(jīng)網(wǎng)絡(luò)做AutoEncoder的可以追溯到80年代的BPNN和MLP以及當(dāng)時Hinton推崇的RBM。后來到了2000年以后還堅持在做的只剩下Hinton的RBM了。從2000年以后,隨著神經(jīng)網(wǎng)絡(luò)的快速興起,AutoEncoder也得到快速發(fā)展,基本上有幾條線:稀疏AutoEncoder、噪音容忍AutoEncoder、卷積AutoEncoder、變分AutoEncoder。最新的進展是結(jié)合對抗思想的對抗AutoEncoder。
卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展,最早可以追溯到1962年,Hubel和Wiesel對貓大腦中的視覺系統(tǒng)的研究。1980年,一個日本科學(xué)家福島邦彥(Kunihiko Fukushima)提出了一個包含卷積層、池化層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在這個基礎(chǔ)上,Yann Lecun將BP算法應(yīng)用到這個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練上,就形成了當(dāng)代卷積神經(jīng)網(wǎng)絡(luò)的雛形。
深度學(xué)習(xí)是近10年機器學(xué)習(xí)領(lǐng)域發(fā)展最快的一個分支,由于其重要性,三位教授(Geoffrey Hinton、Yann Lecun、Yoshua Bengio)因此同獲圖靈獎。深度學(xué)習(xí)模型的發(fā)展可以追溯到1958年的感知機(Perceptron)。1943年神經(jīng)網(wǎng)絡(luò)就已經(jīng)出現(xiàn)雛形(源自NeuroScience),1958年研究認(rèn)知的心理學(xué)家Frank發(fā)明了感知機,當(dāng)時掀起一股熱潮。后來Marvin Minsky(人工智能大師)和Seymour Papert發(fā)現(xiàn)感知機的缺陷:不能處理異或回路等非線性問題,以及當(dāng)時存在計算能力不足以處理大型神經(jīng)網(wǎng)絡(luò)的問題。于是整個神經(jīng)網(wǎng)絡(luò)的研究進入停滯期。
有一些特定的標(biāo)準(zhǔn)可用于分類模型解釋方法。Christoph Molnar在2018年“可解釋的機器學(xué)習(xí),制作黑箱模型可解釋指南”中提到了一個很好的指南。
對抗機器學(xué)習(xí)是一個機器學(xué)習(xí)與計算機安全的交叉領(lǐng)域。對抗機器學(xué)習(xí)旨在給惡意環(huán)境下的機器學(xué)習(xí)技術(shù)提供安全保障。由于機器學(xué)習(xí)技術(shù)一般研究的是同一個或較為穩(wěn)定的數(shù)據(jù)分布,當(dāng)部署到現(xiàn)實中的時候,由于惡意用戶的存在,這種假設(shè)并不一定成立。比如研究人員發(fā)現(xiàn),一些精心設(shè)計的對抗樣本(adversarial example)可以使機器學(xué)習(xí)模型不能成功地輸出正確的結(jié)果。針對模型的攻擊問題,我們主要分為兩大類,就是從訓(xùn)練階段和推理(inference)階段來進行討論。
生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)是用于無監(jiān)督學(xué)習(xí)的機器學(xué)習(xí)模型,由Ian Goodfellow等人在2014年提出。由神經(jīng)網(wǎng)絡(luò)構(gòu)成判別器和生成器構(gòu)成,通過一種互相競爭的機制組成的一種學(xué)習(xí)框架,GAN在深度學(xué)習(xí)領(lǐng)域掀起了一場革命,這場革命產(chǎn)生了一些重大的技術(shù)突破,學(xué)術(shù)界和工業(yè)界都開始接受并歡迎GAN的到來。GAN最厲害的地方是它的學(xué)習(xí)性質(zhì)是無監(jiān)督的,GAN也不需要標(biāo)記數(shù)據(jù),這使得GAN功能強大,因為數(shù)據(jù)標(biāo)記的工作非常枯燥。
從1990到2012年,機器學(xué)習(xí)逐漸走向成熟和應(yīng)用,在這20多年里機器學(xué)習(xí)的理論和方法得到了完善和充實,可謂是百花齊放的年代。代表性的重要成果有:支持向量機(SVM,1995)、AdaBoost算法(1997)、循環(huán)神經(jīng)網(wǎng)絡(luò)和LSTM(1997)、流形學(xué)習(xí)(2000)、隨機森林(2001)。
1980年機器學(xué)習(xí)作為一支獨立的力量登上了歷史舞臺。在這之后的10年里出現(xiàn)了一些重要的方法和理論,典型的代表是:分類與回歸樹(CART,1984)、反向傳播算法(1986)、卷積神經(jīng)網(wǎng)絡(luò)(1989)。
機器學(xué)習(xí)算法可以按照不同的標(biāo)準(zhǔn)來進行分類。按照訓(xùn)練樣本提供的信息以及反饋方式的不同,將機器學(xué)習(xí)算法分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)。
機器學(xué)習(xí)已經(jīng)成為了當(dāng)今的熱門話題,但是從機器學(xué)習(xí)這個概念的誕生到機器學(xué)習(xí)技術(shù)的普遍應(yīng)用經(jīng)過了漫長的過程。在機器學(xué)習(xí)發(fā)展的歷史長河中,眾多優(yōu)秀的學(xué)者為推動機器學(xué)習(xí)的發(fā)展做出了巨大的貢獻(xiàn)。
近幾年,人工智能一直是學(xué)術(shù)界和產(chǎn)業(yè)界研究的熱點,對于人工智能將如何改變我們的生活,人們充滿想象與期待。人工智能概念的提出,最早可以追溯到1956年的達(dá)特茅斯會議,然而,在那之后,人工智能又是如何一步步發(fā)展起來的呢?
這話有些偏激,但似乎有點道理。奈何今天題目里的“聯(lián)姻”不是指人與人,而是圈內(nèi)的公司與公司。每每想到半導(dǎo)體公司的聯(lián)姻,我都覺得好苦。自由戀愛?不存在的!愛情不是你想買,想買就能買。有時甚至讓你覺得這是一場浩大工程的取經(jīng)行為,需經(jīng)歷九九八十一難才能修成正果。
在這篇文章中,小編將為大家?guī)砣斯ぶ悄艿南嚓P(guān)報道。如果你對本文即將要講解的內(nèi)容存在一定興趣,不妨繼續(xù)往下閱讀哦。
物聯(lián)網(wǎng)(IoT)是日常生活的重要組成部分,其存在于手機、電腦、可穿戴設(shè)備、智能汽車、燈泡、路燈、家用電器、心臟監(jiān)測器等中。 物聯(lián)網(wǎng)給予我們更多的控制權(quán)、自動化以及提高效率。同樣,物聯(lián)網(wǎng)技術(shù)為企業(yè)提供了許多提高效率的機會。
人工智能 (AI) 應(yīng)用程序在我們的日常生活中無處不在。隨著傳感器、5G通信、邊緣計算等技術(shù)的不斷演進,包括汽車、工廠自動化設(shè)備、醫(yī)療保健設(shè)備、各種消費電子產(chǎn)品和小型電池供電的物聯(lián)網(wǎng)(IoT)在內(nèi)的大型數(shù)據(jù)中心)節(jié)點,從數(shù)字化、網(wǎng)絡(luò)化功能的增加,逐漸演變?yōu)閾碛胁煌瑢哟蔚摹爸悄堋薄?/p>
北京2022年12月20日 /美通社/ -- 亞馬遜云科技在2022 re:Invent全球大會上發(fā)布了一系列涵蓋底層基礎(chǔ)架構(gòu)、計算、數(shù)據(jù)庫、數(shù)據(jù)分析、AI/ML、安全、行業(yè)應(yīng)用等新的服務(wù)及功能,通過不斷創(chuàng)新幫助全球客戶重塑未來。亞馬遜云科技持續(xù)加速底層技術(shù)創(chuàng)新,推出...
AI無處不在,所帶來的顛覆性沖擊遠(yuǎn)超過想象,作為科技創(chuàng)新和經(jīng)濟發(fā)展的重要驅(qū)動力,AI正在進入高速發(fā)展期。工業(yè)和信息化部公布的測算數(shù)據(jù)顯示,我國人工智能核心產(chǎn)業(yè)規(guī)模已超過4000億元,企業(yè)數(shù)量超過3000家。2021年全球人工智能產(chǎn)業(yè)規(guī)模達(dá)3619億美元,其中中國占576億美元。從投融資規(guī)模來看,2021年全球人工智能產(chǎn)業(yè)投融資金額為714.7億美元,同比增加90.2%,中國人工智能產(chǎn)業(yè)投融資金額為201.2億美元,同比增加40.4%。
隨著人工智能帶來的好處,例如提高生產(chǎn)力、降低運營成本和加快產(chǎn)品上市速度等,越來越多企業(yè)正在廣泛應(yīng)用人工智能。
研究人員已經(jīng)提出了許多量子算法來增強各種人工智能任務(wù)。隨著量子增強人工智能的迅速建立,一個緊迫的基本問題自然出現(xiàn)了:量子人工智能技術(shù)在各種攻擊下是否值得信賴?