關于舉辦“基于Python的Spark大數據挖掘技術”培訓的通知
各有關單位：
中國科學院計算技術研究所是國家專門的計算技術研究機構，同時也是中國信息化建設的重要支撐單位，中科院計算所培訓中心是致力于高端IT類人才培養及企業內訓的專業培訓機構。中心憑借科學院的強大師資力量，在總結多年大型軟件開發和組織經驗的基礎上，自主研發出一整套課程體系，其目的是希望能夠切實幫助中國軟件企業培養高級軟件技術人才，提升整體研發能力，迄今為止已先后為國家培養了數萬名計算機專業人員，并先后為數千家大型國內外企業進行過專門的定制培訓服務。
Python是數據分析最常用的語言之一，而Apache
Spark是一個開源的強大的分布式查詢和處理引擎。本培訓用詳盡的案例介紹如何使用Python來調用Spark的新特性，如何處理結構化和非結構化的數據，如何使用PySpark中一些基本的可用數據類型，如何生成機器學習模型、操作圖像、閱讀串流數據以及在云上部署模型。
本培訓結合實例來介紹PySpark大數據挖掘。內容包括對Apache
Spark基礎知識介紹，彈性分布式數據集RDD的內部運行方式講解，分析利用DataFrame加速PySpark，準備數據建模，檢查重復數據及異常數據，分析描述性統計、數據相關性，介紹MLlib數據挖掘工具應用，講解ML機器學習包功能，使用Blaze實現持久化，講解Tensorflow基礎，分析結構化流Streaming，以及打包Spark應用程序，提交作業和監控執行等。
本培訓將合實例，對Python和Spark進行講解，通過實際操作，了解云環境下，大數據處理、數據探索的基本方法。
一、培訓對象
1，對大數據的前沿技術非常感興趣的人。
2，有志于成為一名數據科學家的從業人員。
3，有一定算法和編程基礎的技術愛好者。
二、學員基礎
1，對IT系統設計有一定的理論與實踐經驗。
2，對數據挖掘和數據處理方法有一定的基礎知識。
3，對Hadoop/Spark等大數據技術有一定的了解。
三、師資
由業界知名大數據專家親自授課：
楊老師
主要研究網絡信息分析以及云計算相關技術，長期從事通信網管系統、網絡信息處理、商務智能(BI)以及電信決策支持系統的研究開發工作，主持和參與了多個國家和省部級基金項目，具有豐富的工程實踐及軟件研發經驗。
四、培訓內容
第一講 Spark基礎知識
1)什么是Apache Spark
2)Spark作業和API
3)DataFrame和Dataset
4)Spark 2.0的架構
5)SparkSession介紹
6)Tungsten Phase 2
7)結構化流
第二講 彈性分布式數據集
1)RDD的內部運行方式
2)創建RDD
3)全局作用域和局部作用域
4)RDD轉換
5)RDD操作
第三講 利用DataFrame加速PySpark
1)Python到RDD之間的通信
2)Catalyst優化器刷新
3)創建DataFrame
4)RDD的交互操作
5)利用DataFrame API查詢
6)利用SQL查詢
7)DataFrame應用實例
第四講 準備數據建模
1)檢查重復數據及異常數據
2)描述性統計
3)數據相關性
4)數據可視化
5)直方圖
第五講 MLlib數據挖掘工具
1)MLlib包概述
2)加載和轉換數據
3)數據相關性和描述性統計
4)創建最終數據集
5)MLlib應用實例-預測嬰兒生存機會
第六講 ML機器學習包
1)ML包的概述
2)分類、回歸和聚類
3)使用ML預測嬰兒生存率
4)ML超參調優
5)ML的特征提取
6)ML的其他功能
第七講 使用Blaze實現持久化
1)安裝Blaze
2)混合持久化
3)使用NumPy和pandas數據
4)與關系型數據庫進行交互
5)數據操作和訪問
6)數據連接
第八講 Tensorflow基礎
1)神經網絡和深度學習
2)TensorFlow介紹和安裝
3)配置和設置TensorFlow
4)使用TensorFlow進行矩陣分析
5)TensorFlow操作示例
第九講 結構化流Streaming
1)Streaming介紹
2)Streaming的基本組件
3)Streaming應用程序數據流
4)用DStream簡化Streaming應用程序
5)全局聚合
6)結構化流介紹
第十講 打包Spark應用程序
1)spark-submit命令
2)以編程方式部署應用程序
3)配置你的SparkSession
4)創建SparkSession
5)模塊化代碼
6)提交作業和監控執行
五、培訓目標
1, 學習Python和Spark的相關基礎知識。
2，學習Python和Spark的核心技術方法及應用。
3，了解Python和Spark在數據分析中的使用。
六、時間、地點
時間： 2018年6月12日-6月14日 地點：北京
七、證書
培訓結束，頒發中科院計算所職業培訓中心“基于Python的Spark大數據挖掘技術”結業證書。
八、費用
培訓費：5800元/人（含教材、證書、午餐、學習用具）。住宿協助安排，費用自理。
魯公網安備37061302000010號
在線客服