如果現(xiàn)在一個面試官讓你從零推導(dǎo)SVM的Dual、從零實現(xiàn)CRF、推導(dǎo)LDA、設(shè)計一個QP問題、從零編寫XLNet、編寫GCN/GNN、改造SkipGram模型、用一天時間復(fù)現(xiàn)一篇頂級會議.... 

這些要求一點都不過分。相反，連這些基本內(nèi)容都有些吃力，就需要重新審視一下自己的核心技術(shù)壁壘了。 

貪心學(xué)院（國內(nèi)唯一體系化AI學(xué)院）目前推出了兩門高端的AI訓(xùn)練營，分別是《機(jī)器學(xué)習(xí)高階訓(xùn)練營》和《自然語言處理高階訓(xùn)練營》。

訓(xùn)練營全程直播授課模式，近距離接觸頂級講師，下面像大家介紹一下《機(jī)器學(xué)習(xí)高階訓(xùn)練營》：

《機(jī)器學(xué)習(xí)高階訓(xùn)練營》

全球前沿AI科研成果教學(xué)

添加課程顧問小姐姐，備注【機(jī)器學(xué)習(xí)】

領(lǐng)取課程優(yōu)惠名額

課程大綱

第一階段 機(jī)器學(xué)習(xí)基礎(chǔ)與凸優(yōu)化

本階段主要目的是講解必要的算法理論以及凸優(yōu)化技術(shù)，為后續(xù)的課程打下基礎(chǔ)。凸優(yōu)化的重要性不言而喻，如果想具備改造模型的能力，對于凸優(yōu)化的理解是必不可少的！ 

【核心知識點】

- KNN，Weighted KNN、近似KNN

- KD樹，近似KD樹、哈希算法、LSH

- 嶺回歸、LASSO、ElasticNet

- 正則：L1, L2, L-inifity Norm

- LR、GD、SGD、小批量SGD

- 凸集，凸函數(shù)、判定凸函數(shù)

- LP、QP、ILP、SDP問題

- Duality，Strong Duality、KKT條件

- 帶條件/無條件優(yōu)化問題、Projected GD

- 平滑函數(shù)、Convergence Analysis

【部分案例講解】

- 基于QP的股票投資組合策略設(shè)計

- 基于LP的短文本相似度計算

- 基于KNN的圖像識別

第二階段 SVM與集成模型

本階段主要目的是深入理解SVM以及核函數(shù)部分的知識點。為了理解清楚SVM的Dual轉(zhuǎn)換，需要掌握第一部分里的Duality理論。另外，重點介紹Bagging和Boosting模型，以及所涉及到的幾項有趣的理論。

【核心知識點】

- Max-Margin與線性SVM構(gòu)建

- Slack Variable以及條件的松弛

- SVM的Dual、Kernelized SVM

- Kernel Functions, Mercer'定理

- Kernelized LR/KNN/K-Means/PCA

- Bagging, Boosting, Stacking

- 信息論與決策樹

- 隨機(jī)森林，完全隨機(jī)森林

- 基于殘差的提升樹訓(xùn)練思想

- GBDT與XGBoost

- 集成不同類型的模型

- VC理論， PAC Learning

【部分案例講解】

- 基于XGBoost的金融風(fēng)控模型

- 基于PCA和Kernel SVM的人臉識別. 

- 基于Kernal PCA和Linear SVM的人臉識別

第三階段 無監(jiān)督學(xué)習(xí)與序列模型

本階段主要目的是學(xué)習(xí)無監(jiān)督算法和經(jīng)典的序列模型。重點講解EM算法以及GMM，K-means的關(guān)系，同時花幾次課程時間來仔細(xì)講解CRF的細(xì)節(jié)：從無向圖模型、Potential函數(shù)、Log-Linear Model、邏輯回歸、HMM、MEMM、Label Bias、Linear CRF、Inference，最后到Non-Linear CRF。

【核心知識點】

- K-means、GMM以及EM

- 層次聚類，DCSCAN，Spectral聚類算法

- 隱變量與隱變量模型、Partition函數(shù)

- 條件獨立、D-Separation、Markov性質(zhì)

- HMM以及基于Viterbi的Decoding

- Forward/Backward算法

- 基于EM算法的參數(shù)估計

- 有向圖與無向圖模型區(qū)別

- Log-Linear Model，邏輯回歸，特征函數(shù)

- MEMM與Label Bias問題

- Linear CRF以及參數(shù)估計

【部分案例講解】

- 基于HMM和GMM的語音識別

- 基于聚類分析的用戶群體分析

- 基于CRF的命名實體識別

第四階段 深度學(xué)習(xí)

本階段主要講解深度學(xué)習(xí)理論以及常見的模型。這里包括BP算法、卷積神經(jīng)網(wǎng)絡(luò)、RNN/LSTM、BERT、XLNet、ALBERT以及各類深度學(xué)習(xí)圖模型。另外，也會涉及到深度相關(guān)的優(yōu)化以及調(diào)參技術(shù)。 

【核心知識點】

- 神經(jīng)網(wǎng)絡(luò)與激活函數(shù)

- BP算法、卷積層、Pooling層、全連接層

- 卷積神經(jīng)網(wǎng)絡(luò)、常用的CNN結(jié)構(gòu)

- Dropout與Batch Normalization

- SGD、Adam、Adagrad算法

- RNN與梯度消失、LSTM與GRU

- Seq2Seq模型與注意力機(jī)制

- Word2Vec, Elmo, Bert, XLNet

- 深度學(xué)習(xí)中的調(diào)參技術(shù)

- 深度學(xué)習(xí)與圖嵌入（Graph Embedding）

- Translating Embedding (TransE)

- Node2Vec- Graph Convolutional Network

- Graph Neural Network

- Dynamic Graph Embedding

【部分案例講解】

- 基于Seq2Seq和注意力機(jī)制的機(jī)器翻譯

- 基于TransE和GCN的知識圖譜推理

- 基于CNN的人臉關(guān)鍵點檢測

第五階段 推薦系統(tǒng)與在線學(xué)習(xí)

推薦系統(tǒng)一直是機(jī)器學(xué)習(xí)領(lǐng)域的核心，所以在本階段重點來學(xué)習(xí)推薦系統(tǒng)領(lǐng)域主流的算法以及在線學(xué)習(xí)的技術(shù)、包括如何使用增強(qiáng)學(xué)習(xí)來做推薦系統(tǒng)。 在線學(xué)習(xí)算法很深具有很漂亮的理論基礎(chǔ)，在本階段你都會一一體會到！

【核心知識點】

- 基于內(nèi)容和協(xié)同過濾的推薦算法

- 矩陣分解，帶條件的矩陣分解

- 基于內(nèi)容的Gradient Tree

- 基于深度學(xué)習(xí)的推薦算法

- 冷啟動問題的處理

- Exploration vs Exploitation

- Multi-armed Bandit

- UCB1 algorithm，EXP3 algorithm

- Adversarial Bandit model

- Contexulalized Bandit、LinUCB

【部分案例講解】

- 使用GB Tree做基于 interaction 與 content的廣告推薦

- 使用深度神經(jīng)網(wǎng)絡(luò)做基于interaction 與 content的推薦

- LinUCB做新聞推薦, 最大化rewards

第六階段 貝葉斯模型

本階段重點講解貝葉斯模型。貝葉斯派區(qū)別于頻率派，主要的任務(wù)是估計后驗概率的方式來做預(yù)測。我們重點講解主題模型以及不同的算法包括吉布采樣、變分法、SGLD等，以及如何把貝葉斯的框架結(jié)合在深度學(xué)習(xí)模型里使用，這就會衍生出Bayesian LSTM的模型。貝葉斯部分的學(xué)習(xí)需要一定的門檻，但我們會讓每個人聽懂所有細(xì)節(jié)！ 

【核心知識點】

- 主題模型（LDA) 以及生成過程

- Dirichlet/Multinomial Distribution

- 蒙特卡洛與MCMC

- Metropolis Hasting與Gibbs Sampling

- 使用Collapsed Gibbs Sampler求解LDA

- Mean-field variational Inference

- 使用VI求解LDA

- Stochastic Optimization與貝葉斯估計

- 利用SLGD和SVI求解LDA

- 基于分布式計算的貝葉斯模型求解

- 隨機(jī)過程與無參模型（non-parametric)

- Chinese Retarant Process

- Stick Breaking Process

- Stochastic Block Model與MMSB

- 基于SGLD與SVI的MMSB求解

- Bayesian Deep Learning模型

- Deep Generative Model

【部分案例講解】

- 基于Bayesian LSTM的文本分析

- 使用無參主題模型做文本分類

- 基于貝葉斯模型實現(xiàn)小數(shù)量的圖像識別

第七階段 增強(qiáng)學(xué)習(xí)與其他前沿主題

本階段重點講解增強(qiáng)學(xué)習(xí)以及前沿的內(nèi)容，包括增強(qiáng)學(xué)習(xí)在文本領(lǐng)域的應(yīng)用，GAN, VAE，圖片和文本的Disentangling，深度學(xué)習(xí)領(lǐng)域可解釋性問題、Adversial Learning, Fair Learning等最前沿的主題。 這一階段的安排也會根據(jù)學(xué)員的興趣點做局部的調(diào)整。

【核心知識點】

- Policy Learning、Deep RL

- Variational Autoencoder(VAE)與求解

- 隱變量的Disentangling

- 圖像的生成以及Disentangling

- 文本的生成以及Disentangling

- Generative Adversial Network(GAN)

- CycleGan

- 深度學(xué)習(xí)的可解釋性

- Deconvolution與圖像特征的解釋

- Layer-wise Propagation

- Adversial Machine Learning

- Purturbation Analysis

- Fair Learning

【部分案例講解】

- 基于GAN的圖像生成

- 基于VAE的文本Style Transfer

- 可視化機(jī)器翻譯系統(tǒng)

《機(jī)器學(xué)習(xí)高階訓(xùn)練營》

全球前沿AI科研成果教學(xué)

添加課程顧問小姐姐，備注【機(jī)器學(xué)習(xí)】

領(lǐng)取課程優(yōu)惠名額

02 課程研發(fā)導(dǎo)師

03直播授課，現(xiàn)場推導(dǎo)演示

區(qū)別于劣質(zhì)的PPT講解，導(dǎo)師全程現(xiàn)場推導(dǎo)， 讓你在學(xué)習(xí)中有清晰的思路，深刻的理解算法模型背后推導(dǎo)的每個細(xì)節(jié)。更重要的是可以清晰地看到各種模型之間的關(guān)系！幫助你打通六脈！

▲源自：CRF與Log-Linear模型講解

▲源自：CRF與Log-Linear模型講解

▲源自：Convex Optimization 講解

▲源自：Convergence Analysis 講解

不管你在學(xué)習(xí)過程中遇到多少阻礙，你都可以通過以下4種方式解決：

1、直接在線問導(dǎo)師；

2、記錄到共享文檔中，每日固定時間的直播答疑；

3、學(xué)習(xí)社群中全職助教，隨時提問答疑

4、共同的問題在Review Session里面做講解

注：每次答疑，班主任都會進(jìn)行記錄，以便學(xué)員實時查閱。

04課程適合誰？

05每周課程安排

采用直播的授課方式，每周3-4次直播教學(xué)，包含核心理論課、實戰(zhàn)課、復(fù)習(xí)鞏固課以及論文講解課。教學(xué)模式上也參考了美國頂級院校的教學(xué)體系。以下為其中一周的課程安排，供參考。 

《機(jī)器學(xué)習(xí)高階訓(xùn)練營》

全球前沿AI科研成果教學(xué)

添加課程顧問小姐姐，備注【機(jī)器學(xué)習(xí)】

領(lǐng)取課程優(yōu)惠名額

06你的必備挑戰(zhàn)

1.編寫一些技術(shù)類文章

通過在知乎上發(fā)表相關(guān)技術(shù)文章進(jìn)行自我成果檢驗，同時也是一種思想碰撞的方式，導(dǎo)師會對發(fā)表的每一篇文章寫一個詳細(xì)的評語。萬一不小心成為一個大V了呢？雖然寫文章的過程萬分痛苦，學(xué)習(xí)群里半夜哀嚎遍野，但看一看抓著頭發(fā)寫出來的文章結(jié)果還是非常喜人的！看著自己收獲的點贊數(shù)，大家都默默地感謝起導(dǎo)師們的無情！

這種滿滿的成就感，讓大家一篇接一篇寫了下去！

個個都立刻變身成了知乎大牛~

2.Project項目

除了文章，算法工程師的立命根本--項目代碼， 導(dǎo)師更是不會放過的。每次在Gitlab上布置的作業(yè)，導(dǎo)師們都會帶領(lǐng)助教團(tuán)隊會予以詳細(xì)的批改和反饋。并逼著你不斷的優(yōu)化！

《機(jī)器學(xué)習(xí)高階訓(xùn)練營》

全球前沿AI科研成果教學(xué)

添加課程顧問小姐姐，備注【機(jī)器學(xué)習(xí)】

領(lǐng)取課程優(yōu)惠名額