機器學習理論與實戰培訓大綱
1 緒論:ML與AI的回顧和簡介
務實的AI與機器學習發展歷史回顧(課程內容總體介紹)
AI的潮起潮落:弱人工智能和強人工智能
機器學習模型的構成:目標函數、優化、推理預測
機器學習模型的分類:監督學習與非監督學習
機器學習研究的新趨勢:從標簽學習到結構體學習模型
2 標簽學習 介紹的機器學習模型包括:決策樹、回歸樹、GBRT、Logistic Regression、集成方法
2.1 以分類、回歸的思想建模(小化回歸誤差和小化信息熵) 決策樹:信息熵
回歸樹
Gradient Boosting Regression Tree:在工業界的廣發應用與特征工程
核心講授思想:從優化的觀點出發,講解樹生成的貪心算法
2.2 以概率的框架建模(大化數據似然) 復習概率論基本知識:sum rule, product rule
Logistic Regression:從二分類到多分類的Softmax
樸素貝葉斯
核心講授思想:講授大化似然的優化目標、梯度下降的優化方法、和模型預測方法
2.3 集成學習方法 Bagging、Random Forest、Adaboost
核心講授思想:集成學習核心思想,特別介紹Adaboost算法在理論上的性能保障
3 結構體建模 主要講授:概率圖模型與EM算法
3.1 有向的概率圖模型 有向概率圖模型:基本知識(全概率公式的表達與模型條件獨立假設的等價關系)
經典有向概率圖的具體模型:
樸素貝葉斯的概率圖模型
矩陣分解的協同過濾方法:Probabilistic Matrix Factorization(順帶講解協同過濾的其它方法)
概率圖模型設計的方法論
引入隱變量的有向圖概率圖模型
主題模型:PLSA
混合高斯模型(無監督聚類)
EM算法細節:對引入隱向量的結構體的建模
核心講授思想:講授有向的概率圖模型的基本知識和經典模型實例;講授引入隱變量到概率圖模型的目的,和該情況下的優化方法(EM算法)
3.2 無向概率圖模型 無向的概率圖模型:基本知識(全概率公式的表達與模型條件獨立假設的等價關系)
經典無向概率圖的具體模型:條件隨機場(Viterbi算法)
核心講授思想:講授無向的概率圖模型的基本知識和經典模型實例
4 結構體預測 主要講授:深度學習神經網絡方法
4.1 神經網絡基礎 神經網絡概述
全連接前饋神經網絡:模型優化的BP算法(隨機梯度下降、梯度消失)
PLSA的神經網絡實現方法
核心講授思想:神經網絡是對從輸入到輸出的計算流程可視化,同時便于反向求導等運算
4.2 Theano編程 編程介紹、調試、Theano背后的設計思想
核心講授思想:以Theano下的全連接前饋神經網絡的實現為例,講解Theano的神經網絡編程
4.3 卷積神經網絡 卷積神經網絡原理:BP算法在卷積神經網絡下的推導
卷積神經網絡應用:基本應用、圖像虛幻化的應用
4.4 循環神經網絡 循環神經網絡原理:BP算法在循環神經網絡下的推導
循環神經網絡基本應用:序列標注、語言建模
循環神經網絡高級應用:機器翻譯、對話生成
核心講授思想:機器學習從特征工程邁向網絡設計
5 前沿研究與實際案例
5.1 機器學習案例實戰一 閑聊機器人構建:生成式模型的研究前沿
對話的多機理建模
自頂向下的樹結構神經網絡生成
結構體預測的Adaboost方法(與對抗神經網絡的結合) |