<pre id="lnnn7"><strike id="lnnn7"></strike></pre>

          <track id="lnnn7"></track><pre id="lnnn7"></pre>
          <track id="lnnn7"></track>

          <p id="lnnn7"></p>
          <track id="lnnn7"></track>
            <track id="lnnn7"></track>

            選擇Python+大數據開發培訓校區Python+大數據

            選擇Python+大數據開發培訓校區Python+大數據開發

            選擇校區

            北京昌平

              • 高級
                軟件工程師課程

              • 12
                “大廠級”實戰項目

              • 80+
                解決方案和技術專題

              • 50
                專職教研團隊

              • 65%
                項目課程占比

              • 終身
                職業生態圈

              Python+大數據開發 高薪崗位的代名詞

              Python培訓班哪個靠譜?
              • 國家實施大數據戰略
                大數據專業人才緊缺

              • 一線城市薪資高
                二三線緊隨其后

              • 數字經濟引領全球
                經濟社會發生變革

              • Python+大數據培訓就業前景怎么樣?
              • Pyhton+大數據培訓平均月薪
              • Python+大數據培訓后薪資多少錢?

              Python+大數據開發
              就業起點高,職業發展好

              適合人群

              • 0基礎轉行人員數據課程從Python入手
                簡單高效入門快
                適宜零基礎人員學習

              • 應屆畢業生缺乏工作經驗技能
                未來沒有明確規劃
                通過學習本課入行IT

              • 互聯網轉行人員目前工作待遇不理想
                市場上升空間有限
                需要突破現狀轉行

              • 有基礎尋求系統提升者具有一定的數據理論或基礎
                需要掌握系統數據技術
                在實際業務中如何應用

              6大課程優勢 造就數字化人才

              • 適合零基礎學員課程由淺入深/數據量由小到大
                逐步掌握各業務場景下的數據處理

              • 熱門技術周更新一線大廠行業專家/年億元級研發投入
                以“周”為單位更新前沿技術

              • 項目驅動式教學多行業多項目實戰
                提升實戰能力 入職即能快速上手

              • 課程貼合市場需求課程與時俱進不斷融入熱門技術棧
                打造學完即上崗人才

              • 還原真實工作場景參與真實項目開發流程
                鍛煉獨立分析、解決問題的能力

              • 積累實際工作經驗真實數據業務需求轉化
                企業級真項目涵蓋14大主流行業

              漸進式課程內容 助你從小白蛻變為數字精英

              Python+大數據開發課程大綱

              • Python編程基礎

              • Python編程進階

              • SQL基礎

              • ETL實戰

              • Hadoop技術棧

              • 千億級離線數倉項目

              • 千億級離線數倉項目實戰

              • Spark技術棧

              • 用戶畫像解決方案

              • PB級內存計算項目實戰

              • 就業指導&就業加強

              • Flink技術棧

              • 亞秒級實時計算項目

              查看詳細課程大綱>Python編程基礎課時:8天

              主要內容

              · Python基礎語法· Python數據處理· 函數· 文件讀寫· 異常處理· 模塊和包

              可解決的現實問題

              熟練掌握Python語言,建立編程思維,使學員能夠熟練使用Python技術完成程序編寫。

              可掌握的核心能力

              1.掌握Python開發環境基本配置;
              2.掌握運算符、表達式、流程控制語句、數組等的使用;
              3.掌握字符串的基本操作;
              4.初步建立面向對象的編程思維;
              5.熟悉異常捕獲的基本流程及使用方式;
              6.掌握類和對象的基本使用方式。

              查看詳細課程大綱>Python編程進階課時:8天

              主要內容

              · 面向對象· 網絡編程· 多任務編程· 高級語法· Python編程綜合項目

              可解決的現實問題

              熟練使用Python面向對象程序設計思想,掌握數據開發必備Python高級語法,解決常見Python開發問題。

              可掌握的核心能力

              1.掌握網絡編程技術,能夠實現網絡通訊;
              2.知道通訊協議原理;
              3.掌握開發中的多任務編程實現方式;
              4. 知道多進程多線程的原理。

              查看詳細課程大綱>SQL基礎課時:4天

              主要內容

              · MySQL與SQL· Kettle與BI工具· Pymysql

              可解決的現實問題

              熟練掌握MySQL\SQL、Kettle以及BI工具使用,能夠解決傳統數倉業務開發任務。

              可掌握的核心能力

              1. 掌握MySQL數據庫的使用;
              2. 掌握SQL語法;
              3. 掌握Kettle數據遷移工具的使用;
              4. 熟練使用BI可視化工具;
              5. 對數據開發有一定認知,掌握BI工程師所具備的基本技能。

              查看詳細課程大綱>ETL實戰課時:6天

              主要內容

              · ETL概念與工具· Python ETL實戰· BI

              可解決的現實問題

              掌握Python完成數據ETL實戰,能夠解決中小型數據量數據處理相關任務。

              可掌握的核心能力

              1. 掌握ETL的相關概念;
              2. 掌握基于Python語言完成ETL任務開發實戰;
              3. 基于ETL實戰鍛煉Python編程能力,包括(元數據管理、數據模型、項目配置、單元測試、工具方法抽取等);
              4. 掌握BI數據分析實戰。

              查看詳細課程大綱>Hadoop技術棧課時:11天

              主要內容

              · Linux· 大數據基礎和硬件介紹· Zookeeper· HDFS· MapReduce· YARN· Hive基礎· Hive高階

              可解決的現實問題

              熟悉Linux操作系統,以及各種Linux命令,能夠解決企業級大數據集群搭建問題,為進階大數據開發奠定基礎。

              可掌握的核心能力

              1.掌握Linux常用命令,為數據開發后續學習打下的良好基礎;
              2.掌握大數據的核心框架Hadoop以及其生態體系,完成HDFS、MapReduce及Yarn機制基本理解與使用;能顧搭建Hadoop高可用HA集群;
              3.掌握Hive的使用和調優;
              4.具備Hadoop開發能力、離線數據倉庫開發能力;
              5.能夠完成基本構建企業級數倉。

              查看詳細課程大綱>千億級離線數倉項目課時:11天

              主要內容

              · 大數據部署運維:Cloudera Manager· 分析決策需求:數據倉庫· 數據采集:sqoop· 數據分析:Hive· 歷史數據快照:拉鏈表· 數據更新后的統計分析:拉鏈表· 數據調度:oozie+shell· OLAP系統存儲:MySQL· FineBI數據展示

              可解決的現實問題

              能夠解決企業級常見數據倉庫搭建,從項目的需求、技術架構、業務架構、部署平臺、ETL設計、作業調度等整套pipeline,完成大數據體系下的企業級數據倉庫構建。

              可掌握的核心能力

              1.掌握零售行業離線數倉的分層與建模,從需求、設計、研發、測試到落地上線的完整項目流程;
              2.行業內首個深度使用Presto的項目;
              3.包括海量數據場景下如何優化配置;
              4.拉鏈表的具體應用;
              5.新增數據和更新數據的抽取和分析;
              6.提供新零售大型商超集團的數據存儲分析以及服務監控方案。

              查看詳細課程大綱>千億級離線數倉項目實戰課時:5天

              主要內容

              · 大數據部署運維:Cloudera Manager· 分析決策需求:數據倉庫· 數據采集:sqoop· 數據分析:Hive+presto· 歷史數據快照:拉鏈表· 數據更新后的統計分析:拉鏈表· 數據調度:ds· OLAP系統存儲:MySQL· FineBI數據展示

              可解決的現實問題

              按照企業級大數據開發流程,獨立完成項目開發,掌握企業級多場景大數據離線數倉開發能力,從數倉分層,數倉建模,指標統計,指標展示完成完整的大數據項目。

              可掌握的核心能力

              1.掌握教育行業離線數倉的分層與建模,從需求、設計、研發、測試到落地上線的完整項目流程;
              2.真實業務邏輯,共涉及20多個主題,100多個指標,提升學員在教育行業中的核心競爭力;
              3.包括海量數據場景下如何優化配置;
              4.拉鏈表的具體應用;
              5.新增數據和更新數據的抽取和分析;
              6.Hive函數的具體應用;
              7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能。

              查看詳細課程大綱>Spark技術棧課時:15天

              主要內容

              · Pandas基礎· Pandas數據處理實戰· Spark基礎· Spark Core· Spark SQL· SparkSQL案例· Kafka· Elasticsearch

              可解決的現實問題

              掌握全球最熱門的Spark技術棧,通過SparkCore和SparkSQL解決數據處理與統計分析工作,進階高級大數據開發工程師。

              可掌握的核心能力

              1.掌握Spark的RDD、DAG、CheckPoint等設計思想;
              2.掌握SparkSQL結構化數據處理,Spark On Hive;
              3.掌握Structured Streaming整合多數據源完成實時數據處理;
              4.具備Spark全棧開發能力,滿足大數據行業多場景統一技術棧的數據開發,提供就業核心競爭力。

              查看詳細課程大綱>用戶畫像解決方案課時:8天

              主要內容

              · 1SparkSQL整合ES自定義數據源· DS任務界面化調度· 用戶畫像標簽構建規則· 用戶畫像規則類標簽構建· 用戶畫像統計類標簽構建

              可解決的現實問題

              項目提供了全行業用戶畫像解決方案, 使用SparkSQL+ES+DS構建企業級用戶畫像,通過SparkSQL+MySQL構建通用行業用戶畫像標簽體系。

              可掌握的核心能力

              1. SparkSQL整合ES自定義數據源;
              2. DS任務界面化調度;
              3. 用戶畫像標簽構建規則;
              4. 用戶畫像規則類標簽構建;
              5. 用戶畫像統計類標簽構建。

              查看詳細課程大綱>PB級內存計算項目實戰課時:5天

              主要內容

              項目核心架構和業務流程、Hive數倉建模 、Sqoop數據同步開發 DolphinScheduler任務調度、使用lag,sum等窗口函數 、使用UDAF函數計算有效保單數字段、計算現金價值、計算和準備金、分區表的使用 、指標匯總計算 、Shuffle優化。

              可解決的現實問題

              基于Spark全棧技術構建企業級大數據開發平臺,學生分組獨立完成項目實戰,能夠勝任常見大數據平臺開發工作,助力企業實現數字化轉型

              可掌握的核心能力

              1.快速搭建保險行業大數據平臺;
              2.基于Hive+Spark SQL搭建離線數據倉庫;
              3.基于SparkSQL應對輕松應對復雜的迭代計算;
              4.完成基于國內頭部保險公司大數據項目開發;
              5.掌握基于Spark分析12億報單表和8千萬客戶等數據;
              6.對保單匯總計算(業務發展類指標,成本費用類指標等),并向業務人員做數據展示。

              查看詳細課程大綱>就業指導&就業加強課時:5天

              主要內容

              · SQL實戰· Hive數據分析與面試題加強· Spark數據分析與面試題加強· NoSQL數據分析與面試題加強· 大數據多行業架構剖析

              可解決的現實問題

              對學習的內容進行整體回顧,并分析經典面試題,指導簡歷,面試和溝通技巧助力高薪offer。

              可掌握的核心能力

              1.強化面試就業核心面試題;
              2.梳理大數據架構及解決方案;
              3.剖析多行業大數據架構。

              查看詳細課程大綱>Flink技術棧課時:6天

              主要內容

              · Flink Core· Flink DataStream· Flink SQL· Flink Runtime· Flink高級· Flink電商案例實戰

              可解決的現實問題

              掌握當下熱門的流批一體化分布式計算框架Flink及其生態,解決實時計算經典場景問題,適應市場對Flink越發增長的需求。

              可掌握的核心能力

              1.掌握基于Flink進行實時和離線數據處理、分析;
              2.掌握基于Flink的多流并行處理技術;
              3.掌握千萬級高速實時采集技術。

              查看詳細課程大綱>亞秒級實時計算項目課時:8天

              主要內容

              · Flink· FlinkSQL· FlinkCDC· Doris· Hudi· Hudi on Hive FIneBI

              可解決的現實問題

              采集超過千萬條在線視頻的數據,實時高性能海量數據分析與存儲業務數據實時大屏場景實現。

              可掌握的核心能力

              1.湖倉一體化解決方案基于Flink+Hudi湖倉一體技術架構;
              2.基于FlinkCDC完成MySQL等數據源的數據采集;
              3.FlinkSQL流批一體架構實現實時數據計算;
              4.使用Apache Doris進行海量多維分析;
              5.掌握數據報表分析;
              6.掌握業務數據實時大屏場景實現。

              企業級真項目課程 快速提升實戰能力

              【金融保險】富華陽光保險【工業物聯網】一站制造【新零售】億品新零售大數據平臺

              • 富華陽光保險

                110指標數量

                40數據量

                10解決方案

                6課程天數

                保險精算項目需要計算海量明細保單數據,以便生成財務報表。項目使用SparkSQL來計算,時效大大提高,增強保險公司的商業信譽。項目將多部門的業務數據庫同步到hive數據集市,使用SparkSQL加載源數據表(保單表12億保單,客戶表8千萬客戶等),計算保單的保費、現金價值、準備金等明細,提供給財務部門收費或支出,最后對保單匯總計算(業務發展類指標,成本費用類指標等),并向業務人員做數據展示。立即體驗

              • 一站制造

                300+指標數量

                30數據量

                11解決方案

                8課程天數

                通過大數據技術架構,解決工業物聯網石油制造行業的數據存儲和分析、可視化、個性化推薦問題。一站制造項目主要基于hive數倉分層來存儲各個業務指標數據,基于sparksql做數據分析。核心業務涉及運營商、呼叫中心、工單、油站、倉儲物料。立即體驗

              • 億品新零售

                300+指標數量

                1095數據量

                20解決方案

                8課程天數

                本項目基于一家大型連鎖超市研發的大數據分析平臺。是第一個深度使用Presto的項目,為后續Presto相關課程的研發打下了堅實的基礎,也為學員的就業拓寬了道路;真實的數據結構,復雜的SQL實現過程,學生學習以后可以達到離線數倉的高級開發水平。立即體驗

              百萬級課程環境配置 大規模真數據體驗

              學習大數據,你見過真的海量數據嗎?你操作過真的【大規模集群】嗎?你接觸過真的【云服務】嗎?這一切,在黑馬程序員都將實現真接觸!

              黑馬程序員與知名云平臺廠商—UCloud達成深度合作。為學生提供大規模服務器
              集群進行實戰,硬件規模達到:

              *以上資源,年成本近百萬,但黑馬完全免費提供給每位學生使用
              真正讓每個學生都能接觸【真·大規模集群】和【真·大規模數據】

              數據開發技術解決方案 快速搞定工作難題

              解決方案是什么?

              相同的工作場景,開發不必從零開始,解決方案可以拿來即用。黑馬整合緊跟市場趨勢,建立“Python+大數據開發解決方案庫”,80+技術解決方案,覆蓋職場常見技術難題,讓學員成為團隊技術問題解決最高效的人。

              • 大數據存儲解決方案【車聯網行業】

                涵蓋完整車聯網業務場景,包含駕駛行程、電子圍欄、遠程診斷等真實業務通過 QBOX 車輛終端數據收集,并解析為 QSP 數據、QCS 數據、充電數據、HU 數據提供實時計算服務與離線計算服務,并通過 API 接口以報表和大屏展示分析結果數據

              • 大數據離線分析解決方案【知行教育行業】

                建立集團數據倉庫,統一集團數據中心,把分散的業務數據集中存儲和處理 項目從需求調研、設計、版本控制、研發、測試到落地上線,涵蓋了項目的完整工序挖掘分析海量用戶行為數據,定制多維數據集合,形成數據集市,供各個場景主題使用

              • 大數據實時分析解決方案【今日指數行業】

                實時監控證券市場的市場每日的業務交易,實現對證券市場交易數據的統計分析搭建監察預警體系,包括:預警規則管理,實時預警,歷史預警,監察歷史數據分析等股市行情交易數據實時采集、實時數據分析、多維分析,即席查詢,實時大屏監控展示高性能處理,流處理計算引擎采用的是 Flink,實時處理 100 萬筆/s 的交易數據

              • 大數據調度解決方案【車聯網行業】

                涵蓋完整車聯網業務場景,包含駕駛行程、電子圍欄、遠程診斷等真實業務通過 QBOX 車輛終端數據收集,并解析為 QSP 數據、QCS 數據、充電數據、HU 數據提供實時計算服務與離線計算服務,并通過 API 接口以報表和大屏展示分析結果數據

              • 大數據BI解決方案【物流行業】

                基于一家大型物流公司研發的智慧物流大數據平臺,日訂單上千萬,圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等 ,提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求,并針對數據分析結果,提出具有中觀指導意義的解決方案

              • 大數據OLAP解決方案【物流行業】

                基于一家大型物流公司研發的智慧物流大數據平臺,日訂單上千萬,圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等 ,提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求,并針對數據分析結果,提出具有中觀指導意義的解決方案

              • 大數據數據采集解決方案【物流行業】

                基于一家大型物流公司研發的智慧物流大數據平臺,日訂單上千萬,圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等 ,提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求,并針對數據分析結果,提出具有中觀指導意義的解決方案

              • 大數據用戶畫像解決方案【電商行業】

                基于垂直電商平臺構建的用戶全方位畫像,完整抽取出一個用戶的信息全貌 ,業務圍繞商品、訂單、用戶基礎信息及行為信息等數據,實現用戶和商品基礎標簽、組合標簽、微觀畫像、標簽查詢等業務場景,提供了企業級多 方位業務決策分析。

              • 數據分析多場景解決方案【多個行業】

                數據分析不僅是(大)數據開發中重要流程,也是(大)數據開發的最終目的;越來越多的企業要求(大)數據工程師承擔部分數據 分析的工作

              • 金融授信產品風控建模解決方案【金融行業】

                信用風險是金融監管機構重點關注的風險,關乎金融系統運行的穩定。在實際業務開展和模型構建過程中,面臨著高維稀疏特征以及樣本不平衡等各種問題,如何應用機器學習等數據挖掘方法提高信用風險的評估和預測能力,是各家金融機構積極探索的方向。

              項目實戰流程 還原真實職場氛圍

              • 1項目啟動

                確定項目方向目標需求調研

              • 2業務需求

                需求分析需求分解

              • 3設計階段

                架構設計技術選型數據生命周期數據來源數據分層

              • 4開發上線

                小組開發環境搭建數據采集數倉建設定時任務主題開發代碼提交文檔撰寫數據回測

              Python+大數據開發 免費教程資源分享

              Python+大數據開發
              學習路線圖

              自學必看零基礎最新版

              免費領取視頻教程、重難點技術解析、學習工具、學習筆記等

              立即前往學習 >

              Python+大數據課程體系V3.06項目制,助力年薪30w+

              聚集多位Apache?社區貢獻者及一線大廠技術講師,聯合推出行業重磅Python大數據V3.0課程,通過5-6個月學習進階數據開發工程師,獲取3-4年開發經驗,對標高級數據開發工程師,沖刺年薪30w

              Python+大數據V3.0學習路線概覽

              升級V3.0課程亮點:

              • 六項目制,40+天項目占比對標企業實際招聘需求,采用六個不同行業大數據項目,覆蓋從離線到實時計算場景,更好的匹配學員能力
              • 大廠級技術解決方案,Apache貢獻者領銜授課課程覆蓋了數字化轉型企業主流的技術和業務解決方案。
                6個技術解決方案:包括ETL、離線數倉、用戶畫像、Lambda架構、Kappa架構、湖倉一體等;
                多個業務解決方案:包括國內大型商超新零售、金融保險、金融證券、物流倉儲、航空、電商、出行、教育、物聯網等領域

              敢以班級為單位公開就業信息的機構,只有傳智教育!通過數千班級實施和就業結果顯示,傳智教育Python+大數據開發的課程,有效大幅提升就業薪資水平!

              課程大綱

              1. 基礎班

                1. Python編程基礎

              2. 高手班

                1. Python編程進階 2. SQL基礎 3. ETL實戰 4. Hadoop技術棧 5. 千億級離線數倉項目 6. 千億級離線數倉項目實戰 7. Spark技術棧 8. 用戶畫像解決方案 9. PB級內存計算項目 10. 就業指導&就業加強 11. Flink技術棧 12. 亞秒級實時計算項目

              3. 進階班

                1. 亞秒級實時進階課

              4. Python+大數據課程升級版本3.0

              • Python編程基礎基礎班 1

                課時:8天技術點:48項測驗:1次學習方式:線下面授

                學習目標

                1.掌握Python開發環境基本配置| 2.掌握運算符、表達式、流程控制語句、數組等的使用| 3.掌握字符串的基本操作| 4.初步建立面向對象的編程思維| 5.熟悉異常捕獲的基本流程及使用方式| 6.掌握類和對象的基本使用方式

                主講內容

                1. Python基礎語法零基礎學習Python的開始,包含了以下技術點:

                01_變量| 02_標識符和關鍵字| 03_輸入和輸出| 04_數據類型轉換| 05_PEP8編碼規范| 06_比較/關系運算符| 07_if判斷語句語法格式| 08_三目運算符| 09_while語句語法格式| 10_while 循環嵌套| 11_break 和 continue| 12_while 循環案例| 13_for循環

                2. Python數據處理掌握Python的數據類型,并對其進行操作處理,包含了以下技術點:

                01_字符串定義語法格式| 02_字符串遍歷| 03_下標和切片| 04_字符串常見操作| 05_列表語法格式| 06_列表的遍歷| 07_列表常見操作| 08_列表嵌套| 09_列表推導式| 10_元組語法格式| 11_元組操作| 12_字典語法格式| 13_字典常見操作| 14_字典的遍歷

                3. 函數能夠實現Python函數的編寫,包含了以下技術點:

                01_函數概念和作用、函數定義、調用| 02_函數的參數| 03_函數的返回值| 04_函數的注釋| 05_函數的嵌套調用| 06_可變和不可變類型| 07_局部變量| 08_全局變量| 09_組包和拆包、引用

                4. 文件讀寫能夠使用Python對文件進行操作,包含了以下技術點:

                01_文件的打開與關閉、文件的讀寫| 02_文件、目錄操作及案例| 03_os模塊文件與目錄相關操作

                5. 異常處理主要介紹了在Python編程中如何處理異常,包含了以下技術點:

                01_異常概念| 02_異常捕獲| 03_異常的傳遞

                6. 模塊和包主要介紹了Python中的模塊和包的體系,以及如何使用模塊和包,包含了以下技術點:

                01_模塊介紹| 02_模塊的導入| 03_包的概念| 04_包的導入| 05_模塊中的__all__| 06_模塊中__name__

              • Python編程進階高手班 1

                課時:8天技術點:108項測驗:1次學習方式:線下面授

                學習目標

                1.掌握網絡編程技術,能夠實現網絡通訊| 2.知道通訊協議原理 | 3.掌握開發中的多任務編程實現方式| 4. 知道多進程多線程的原理A

                主講內容

                1. 面向對象從逐步建立起面向對象編程思想,再到會使用對象,到創建對象,再到真正理解為什么封裝對象,包含了以下技術點:

                01_面向對象介紹| 02_類的定義和對象的創建| 03_添加和獲取對象屬性| 04_self 參數| 05_init方法| 06_繼承| 07_子類方法重寫| 08_類屬性和實例屬性| 09_類方法、實例方法、靜態方法

                2. 網絡編程主要學習通訊協議,以及Python實現TCP、HTTP通訊,包含了以下技術點:

                01_IP地址的介紹| 02_端口和端口號的介紹| 03_TCP的介紹| 04_Socket的介紹| 05_TCP網絡應用的開發流程| 06_基于TCP通信程序開發|

                3. 多任務編程主要學習Python中多線程、多進程,包含了以下技術點:

                01_多任務介紹| 02_多進程的使用| 03_多線程的使用| 04_線程同步

                4. 高級語法主要學習Python的高級語法,包含以下技術點:

                01_閉包| 02_裝飾器| 03_迭代器| 04_深淺拷貝| 05_正則

                5. Python編程綜合項目通過前邊所學知識,完成綜合案例,鍛煉編程能力、培養編程思維

                01_Python編程綜合項目

              • SQL基礎高手班 2

                課時:4天技術點:70項測驗:1次學習方式:線下面授

                學習目標

                1. 掌握MySQL數據庫的使用| 2. 掌握SQL語法| 3. 掌握Kettle數據遷移工具的使用| 4. 熟練使用BI可視化工具| 5. 對數據開發有一定認知,掌握BI工程師所具備的基本技能

                主講內容

                1. MySQL與SQL零基礎小白通過MySQL數據庫,掌握核心必備SQL,包含了以下技術點:

                01_數據庫概念和作用| 02_MySQL數據類型| 03_數據完整性和約束| 04_數據庫、表基本操作命令| 05_表數據操作命令| 06_where子句| 07_分組聚合| 08_連接查詢| 09_外鍵的使用

                2. Kettle與BI工具使用Kettle做數據遷移,通過BI工具展示excel、MySQL中的數據,包含了以下技術點:

                01_Kettle基本操作| 02_Kettle數據轉換| 03_Kettle使用SQL腳本組件| 04_kettle Job開發| 05_FineBI基本操作| 06_FineBI常用圖表| 07_FineBI儀表板| 08_綜合案例

                3. PymysqlPython與數據庫交互,主要學習PyMySQL包

                01. 環境搭建| 02. Python操作數據庫

              • ETL實戰高手班 3

                課時:6天技術點:48項測驗:0次學習方式:線下面授

                學習目標

                1. 掌握ETL的相關概念| 2. 掌握基于Python語言完成ETL任務開發實戰| 3. 基于ETL實戰鍛煉Python編程能力,包括(元數據管理、數據模型、項目配置、單元測試、工具方法抽取等)| 4. 掌握BI數據分析實戰

                ETL項目基于國內某大型零售企業旗下出品各類收銀機為基礎,在全國十多個省份有上50萬家店鋪使用,機器通過聯網每次將售賣商品數據上傳到公司后臺.利用ETL平臺完成數據抽取轉化加載工作,助力學生達到初中級ETL工程師目標。

                進入項目體驗
                主講解決方案

                完整PythonETL解決方案,Kettle數據采集解決方案。DS調度解決方案,基于FineBi的BI解決方案。

                主講知識點

                1.ETL概念與工具| 2.Python ETL實戰| 3.基于FineBI完成數據分析實戰| 4.將收銀機上傳到后臺的<訂單>數據采集到數倉中| 5.將后臺中的商品庫數據采集到數倉中| 6。將后臺的程序日志采集到數倉中

              • Hadoop技術棧高手班 4

                課時:11天技術點:120項測驗:1次學習方式:線下面授

                學習目標

                1.掌握Linux常用命令,為數據開發后續學習打下的良好基礎| 2.掌握大數據的核心框架Hadoop以及其生態體系,完成HDFS、MapReduce及Yarn機制基本理解與使用;能顧搭建Hadoop高可用HA集群| 3.掌握Hive的使用和調優| 4.具備Hadoop開發能力、離線數據倉庫開發能力| 5.能夠完成基本構建企業級數倉

                主講內容

                1. Linux掌握Linux操作系統常用命令和權限管理,包含了以下技術點:

                01_Linux命令使用| 02_Linux命令選項的使用| 03_遠程登錄和遠程拷貝| 04_Linux權限管理| 05_vi編輯器使用| 06_集群搭建準備

                2. 大數據基礎和硬件介紹進一步闡述大數據特點與分布式思想,知識點由淺入深,包含了以下技術點:

                01_大數據的特點| 02_分布式存儲概念| 03_分布式計算的概念| 04_服務器種類介紹、機架、交換機| 05_網絡拓撲、Raid、IDC數據中心

                3. Zookeeper分布式軟件管家,實現了集群管理與leader選舉,包含了以下技術點:

                01_Zookeeper的應用場景| 02_架構和原理| 03_存儲模型| 04_選舉機制| 05_客戶端操作| 06_ZK集群搭建

                4. HDFS分布式文件系統,解決了海量數據存儲與容錯,包含了以下技術點:

                01_HDFS設計的特點| 02_Master-Slave架構| 03_Block塊存儲、RF拷貝因子、機架感知| 04_Block拷貝策略、讀寫流程| 05_HDFS Federation、HDFS Snapshots、NameNode HA架構和原理| 06_HDFS管理員常用操作、HDFS權限控制| 07_HDFS普通集群以及HA集群搭建

                5. MapReduce分布式計算系統,解決海量數據的計算,包含了以下技術點:

                01_MapReduce架構和原理| 02_Split機制| 03_MapReduce并行度| 04_Combiner機制| 05_Partition機制、自定義Partition| 06_MapReduce序列化、自定義排序、數據壓縮

                6. YARN分布式資源調度管理器,管理服務器軟件資源,包含了以下技術點:

                01_Yarn原理和架構| 02_Yarn高可用| 03_Container資源的封裝(CPU、內存和IO)| 04_資源調度策略(FIFO、Fair和Capacity)| 05_YARN高可用模式搭建

                7. Hive基礎數據倉庫Hive,實現企業級數倉必備工具,包含以下知識點:

                01_HQL操作| 02_數據類型| 03_分區、分桶、臨時表| 04_explain執行計劃詳解

                8. Hive高階數據倉庫Hive高階原理和架構深入,實現企業級數倉優化,包含以下知識點:

                01_Hive原理和架構| 02_Meta Store服務| 03_HiveServer內置函數| 04_自定義UDF和UDAF| 05_數據壓縮、存儲格式、自動化腳本、常見性能優化

              • 千億級離線數倉項目高手班 5

                課時:11天技術點:105項測驗:0次學習方式:線下面授

                學習目標

                1.掌握零售行業離線數倉的分層與建模,從需求、設計、研發、測試到落地上線的完整項目流程| 2.行業內首個深度使用Presto的項目| 3.包括海量數據場景下如何優化配置| 4.拉鏈表的具體應用| 5.新增數據和更新數據的抽取和分析| 6.提供新零售大型商超集團的數據存儲分析以及服務監控方案

                本項目基于一家大型連鎖超市研發的大數據分析平臺。黑馬第一個深度使用Presto的項目,為后續Presto相關課程的研發打下了堅實的基礎,也為學員的就業拓寬了道路;真實的數據結構,復雜的SQL實現過程,學生學習以后可以達到離線數倉的高級開發水平。

                進入項目體驗
                主講解決方案

                掌握離線數倉的分層與建模、大數據量場景下如何優化配置,拉鏈表的具體應用,新增數據的抽取和分析,更新數據的抽取和分析,以及Hive函數的具體應用等。ClouderaManager可視化、自動部署和配置、Git的CodeReview功能保證項目高質量 離線數倉的分層與建模 項目涉及20多個主題,100多個指標場景 帆軟BI企業級報表展示

                主講知識點

                1.大數據部署運維:Cloudera Manager 2.分析決策需求:數據倉庫 3.數據采集:sqoop 4.數據分析:Hive 5.歷史數據快照:拉鏈表 6.數據更新后的統計分析:拉鏈表 7.數據調度:oozie+shell 8.OLAP系統存儲:MySQL 9.FineBI數據展示

              • 千億級離線數倉項目實戰高手班 6

                課時:5天技術點:40項測驗:0次學習方式:線下面授

                學習目標

                1.掌握教育行業離線數倉的分層與建模,從需求、設計、研發、測試到落地上線的完整項目流程| 2.真實業務邏輯,共涉及20多個主題,100多個指標,提升學員在教育行業中的核心競爭力| 3.包括海量數據場景下如何優化配置| 4.拉鏈表的具體應用| 5.新增數據和更新數據的抽取和分析| 6.Hive函數的具體應用| 7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能

                1、建立集團數據倉庫,統一集團數據中心,把分散的業務數據集中存儲和處理 2、項目從需求調研、設計、版本控制、研發、測試到落地上線,涵蓋了項目的完整工序 3、挖掘分析海量用戶行為數據,定制多維數據集合,形成數據集市,供各個場景主題使用。

                進入項目體驗
                主講解決方案

                項目介紹與環境準備、數據倉庫的建模和分層、OLTP、ODS、DWD實現、Presto、DWB實現、DWS實現、DM、RPT、導出實現、Oozie架構與部署及使用。使用Hive、Presto、Oozie、數倉技術棧,提供新零售大型商超集團的數據存儲分析以及服務監控方案

                主講知識點

                1.大數據部署運維:Cloudera Manager 2.分析決策需求:數據倉庫 3.數據采集:sqoop 4.數據分析:Hive+presto 5.歷史數據快照:拉鏈表 6.數據更新后的統計分析:拉鏈表 7.數據調度:ds 8.OLAP系統存儲:MySQL 9.FineBI數據展示

              • Spark技術棧高手班 7

                課時:15天技術點:108項測驗:1次學習方式:線下面授

                學習目標

                1.掌握Spark的RDD、DAG、CheckPoint等設計思想| 2.掌握SparkSQL結構化數據處理,Spark On Hive| 3.掌握Structured Streaming整合多數據源完成實時數據處理| 4.具備Spark全棧開發能力,滿足大數據行業多場景統一技術棧的數據開發,提供就業核心競爭力

                主講內容

                1. Pandas基礎Pandas數據處理及可視化技術,包含以下技術點:

                01_ Pandas數據結構| 02_ 索引操作| 03_列名操作| 04_Dataframe數據的增刪改查操作| 05_Pandas常用計算函數

                2. Pandas數據處理實戰利用所學的Python Pandas,以及可視化技術,完成數據處理項目實戰:

                01_缺失值處理| 02_Pandas數據類型| 03_分組與分箱操作| 04_DF合并與變形操作| 05_DF的讀取與保存

                3. Spark基礎本階段學習Spark環境搭建及以下知識點:

                01_Spark基礎環境搭建| 02_Spark的Standalone環境搭建| 03_Spark的StandaloneHA搭建| 04_SparkOnYarn環境搭建

                4. Spark Core整個spark框架核心部分,掌握框架內部設計思想,數據流轉步驟,是學習spark的基礎模塊,包含了以下技術點:

                01_Spark架構和原理(運行機制、Driver和Executor、spark任務提交流程)| 02_RDD開發和原理(Partition、Task、RDD的依賴關系、RDD的容錯機制、RDD的存儲級別、RDD的緩存機制)廣播變量 | 03_DAG原理(DAG思想、DAG的生成、DAG的處理過程)

                5. Spark SQL學習spark框架的SQL操作,spark與Hive等外部數據源的整合操作,包含了以下技術點:

                01_Spark SQL架構和原理| 02_DataFrame、DataSet DSL和SQL開發| 03_Spark多數據源整合(txt、CSV、Json、parquet、JDBC、Hive)| 04_Spark SQL執行計劃原理| 05_Spark SQL性能調優

                6. SparkSQL案例踐行場景式教學,運用了Spark階段知識點,使用lambda加解決數據分析的應用,包含了以下技術點:

                01_Spark多場景案例實戰

              • 用戶畫像解決方案高手班 8

                課時:8天技術點:80項測驗:0次學習方式:線下面授

                學習目標

                1.SparkSQL整合ES自定義數據源| 2.DS任務界面化調度| 3.用戶畫像標簽構建規則| 4.用戶畫像規則類標簽構建| 5.用戶畫像統計類標簽構建

                通過用戶畫像解決方案,完成數據存儲和分析、用戶標簽。

                進入項目體驗
                主講解決方案

                用戶畫像解決方案,主要針對于保險行業完成用戶標簽設計,提供了全行業解決方案,課程采用由淺入深,層層遞進的講解方式, 讓你輕松掌握企業級用戶畫像的使用, 使用SparkSQL+ES+DS構建企業級用戶畫像。

                主講知識點

                1. SparkSQL整合ES自定義數據源 2. DS任務界面化調度 3. 用戶畫像標簽構建規則 4. 用戶畫像規則類標簽構建 5. 用戶畫像統計類標簽構建

              • PB級內存計算項目高手班 9

                課時:5天技術點:88項測驗:0次學習方式:線下面授

                學習目標

                1.快速搭建保險行業大數據平臺| 2.基于Hive+Spark SQL搭建離線數據倉庫| 3.基于SparkSQL應對輕松應對復雜的迭代計算| 4.完成基于國內頭部保險公司大數據項目開發| 5.掌握基于Spark分析12億報單表和8千萬客戶等數據| 6.對保單匯總計算(業務發展類指標,成本費用類指標等),并向業務人員做數據展示| 7.離線數倉項目實戰| 8.用戶畫像項目實戰

                保險精算項目需要計算海量明細保單數據,以便生成財務報表。項目使用SparkSQL來計算,時效大大提高,增強保險公司的商業信譽。項目將多部門的業務數據庫同步到Hive數據集市,使用SparkSQL加載源數據表(保單表12億保單,客戶表8千萬客戶等),計算保單的保費、現金價值、準備金等明細,提供給財務部門收費或支出,最后對保單匯總計算(業務發展類指標,成本費用類指標等),并向業務人員做數據展示。

                進入項目體驗
                主講解決方案

                項目核心架構和業務流程、Hive數倉建模 、Sqoop數據同步開發 DolphinScheduler任務調度、使用lag,sum等窗口函數 、使用UDAF函數計算有效保單數字段、計算現金價值、計算和準備金、分區表的使用 、指標匯總計算 、Shuffle優化、用戶畫像解決方案。

                主講知識點

                基于Spark輕松應對保險復雜的迭代計算、基于SparkSQL完成用戶畫像實戰、基于ES完成標簽存儲與檢索。

              • 就業指導&就業加強高手班 10

                課時:5天技術點:40項測驗:0次學習方式:線下面授

                學習目標

                1.強化面試就業核心面試題 2.梳理大數據架構及解決方案| 3.剖析多行業大數據架構

                主講內容

                1. SQL實戰解決Python大數據常見的SQL面試題,包含了以下技術點:

                01_面試題必備SQL實戰| 02_SQL優化加強。

                2. Hive數據分析與面試題加強解決Hive數據分析開發必備面試題,包含了以下技術點:

                01_Hive基礎| 02_Hive拉鏈表| 03_Hive數據倉庫構建示例| 04_Hive面試題

                3. Spark數據分析與面試題加強解決Spark開發必備面試題,包含了以下技術點:

                01_Spark基礎| 02_Spark離線分析| 04_Spark面試題

                4. NoSQL數據分析與面試題加強解決NoSQL常見的面試題,從消息隊列到HBase掌握關鍵原理,包含了以下技術點:

                01_Kafka基礎| 02_HBase基礎| 03_HBase面試題

                5. 大數據多行業架構剖析解決多行業多場景大數據架構設計,具備舉一反三設計大數據架構體系能來,包含了以下技術點:

                01_數據分析流程| 02_大數據架構剖析| 03_多行業大數據架構設計| 04_大數據存儲,調度等解決方案

              • Flink技術棧高手班 11

                課時:6天技術點:88項測驗:1次學習方式:線下面授

                學習目標

                1.掌握基于Flink進行實時和離線數據處理、分析| 2.掌握基于Flink的多流并行處理技術| 3.掌握千萬級高速實時采集技術

                主講內容

                1. Flink Core新一代批流統一數據處理引擎,在計算效率和性能都有很大提升,包含了以下技術點:

                01_Flink基礎

                2. Flink DataStream構成了Flink解決實時數據處理部分,是掌握實時數據處理必備技能,包含了以下技術點:

                01_Flink DataStream的使用| 02_Kafka + Flink

                3. Flink SQL解決Flink中的SQL化開發,Flink-SQL開發必備技能,包含了以下技術點:

                01_Flink SQL開發| 02_Hive + Flink SQL

                4. Flink Runtime是對Flink任務進行調優,必須掌握的內容,包含了以下技術點:

                01_Watermark| 02_Checkpoint| 03_任務調度與負載均衡| 04_狀態管理

                5. Flink高級解決Flink性能監控等高階知識,具備實時數據分析必備技能,包含以下技術點:

                01_Flink性能監控| 02_Flink調優| 03_Flink SQL執行計劃

                6. Flink電商案例實戰踐行場景式教學,運用了Flink階段知識點,解決實時數據分析的應用,包含了以下技術點:

                01_Flume+Kafka+Flink+HBase+Sqoop+Canal+MySQL實戰

              • 亞秒級實時計算項目高手班 12

                課時:8天技術點:80項測驗:0次學習方式:線下面授

                學習目標

                1.湖倉一體化解決方案基于Flink+Hudi湖倉一體技術架構| 2.基于FlinkCDC完成MySQL等數據源的數據采集| 3.FlinkSQL流批一體架構實現實時數據計算| 4.使用Apache Doris進行海量多維分析| 5.掌握數據報表分析| 6.掌握業務數據實時大屏場景實現

                基于Flink+Hudi湖倉一體技術架構,實現了在線視頻行業實時數據處理和分析。項目采用流處理計算引擎Flink,實時處理千萬數據量的視頻流數據,基于FlinkCDC完成MySQL等數據源的數據采集,通過Hudi On Hive構建湖倉一體架構,結合數據湖和數據倉庫優勢,建立湖倉一體化。

                主講解決方案

                Flink,FlinkSQL,FlinkCDC,Doris,Hudi,Hudi,on Hive,FIneBI。

                主講知識點

                采集超過千萬條在線視頻的數據,實時高性能海量數據分析與存儲業務數據實時大屏場景實現。

              • 亞秒級實時進階課進階班 1

                課時:106天技術點:1000項測驗:0次學習方式:線上學習

                學習目標

                1.線上3個月進階大數據實時開發,多行業大數據項目助力企業數字人才精英| 2.皆在成就實時開發工程師,大數據架構師等,幫助學員成為站在金字塔頂端的實時工程師

                主講內容

                1. 大數據Java語言大數據生態多語言開發,為進階實時數據開發奠定基礎

                1_編程基礎| 2_面向對象| 3_常用類| 4_集合操作| 5_IO操作| 6_Java基礎增強| 7_JDBC| 8_Maven| 9_爬蟲案例

                2. 數據采集掌握實時計算中組件,數據開發工程師重要技能

                1_Flume| 2_DataX| 3_實時采集

                3. NoSQL&消息中心分布式存儲和消息隊列專項課,從原理到源碼,助力多場景存儲技術架構選型,升值加薪必備技能。

                1_分布式緩存Redis| 2_消息隊列Kafka| 3_Hbase| 4_ELK技術棧| 5_消息隊列Pulsar

                4. 實時OLAP框架掌握實時OLAP框架,數據開發工程師重要技能。

                1_實時OLAP框架ClickHouse| 2_實時OLAP框架Doris

                5. 數據湖開發數據湖技術專題課程,完成湖倉一體架構進階。

                1_Hudi 基礎入門篇| 2_Hudi 應用進階篇| 3_Hudi 實戰案例篇

                6. Flink技術棧Apache Flink作為當下最流行的實時技術,深度剖析底層原理,實現高級實時開發工程師進階。

                1_Flink基礎| 2_Flink DataStream的使用| 3_Kafka + Flink| 4_Flink SQL開發| 5_Hive + Flink SQL| 6_Flink CDC| 7_Flink CEP /Flink CEP SQL| 8_Watermark| 9_Checkpoint| 10_任務調度與負載均衡| 11_狀態管理| 12_Flink性能監控

                7. FlinkSQL原理到精通全網流批一體架構首選FlinkSQL,進階技術+業務專家。

                1_Flink SQL開發| 2_Hive + Flink SQL| 3_Flink性能監控| 4_Flink調優| 5_Flink SQL執行計劃| 6_FlinkSQL案例實戰

                8. 星途車聯網實時項目掌握車聯網大數據實時業務場景開發,助力物聯網行業高薪挑戰。

                1_Hive| 2_HBase| 3_HDFS數據存儲| 4_Kafka數據傳輸| 5_Flink全棧數據處理| 6_Nginx做反向代理| 7_LSV和Keepalived負載均衡和高可用

                9. 今日指數證券實時項目掌握金融業務數據實時場景實,助力金融行業高薪挑戰。

                1_創建原始數據hbase的二級索引| 2_Flink業務分析駕駛行程劃分| 3_flink駕駛行程業務分析| 4_將實時車輛中在圍欄中的車輛信息與mysql中已存在圍欄中的車輛信息合并| 5_TimeWindow流連接廣播狀態流結果流連接省、市廣播狀態流

                10. 基于DataWorks全鏈路數據開發掌握智慧出行實時項目業務數據實時場景,覆蓋全網所有DataWorks平臺大數據。

                1_智慧出行實時項目業務數據實時場景異構數據源采集| 2_基于DataWorks的大數據平臺設計| 3_出行行業可視化完整架構,涵蓋全生命周期項目

                11. 湖倉一體化解決方案掌握基于湖倉一體的在線視頻實時分析項目,助力大數據新技術企業應用。

                1_湖倉一體完整解決方案| 2_基于Flink的在線視頻數據處理與分析| 3_基于Hidi的在線視頻數據數據湖構建

                12. Flink源碼剖析全網最全Flink源碼課程,從原理到源碼,深挖技術底層,助力Flink性能調優,大數據架構師必備技能。

                1_Apache Flink設計理念與基本架構| 2_Flink DataStream的設計與實現源碼分析| 3_Flink 運行時的核心原理與實現| 4_Flink 任務提交與執行| 5_狀態管理與容錯| 6_網絡通信| 7_內存管理

                13. Flink二次開發掌握Flink二次開發流程,個性化解決企業大數據平臺技術選型,助力在職的你持續高薪,大數據架構師必備技能。

                1_基于PyFlink的PR提交| 2_Flink的源碼二次開發流程| 3_Flink的源碼二次開發需求分析| 4_Flink的源碼二次開發實現過程| 5_PyFlink相關功能二次開發

              • python+大數據開發 V版本課程說明

                課程名稱:主要針對:主要使用開發工具:

                課程介紹

              “周”更新日志
              課程大版本更新

              課程更新日志按周更新熱點/前沿技術

              • 新增2022-08-09

                · 核心業務流程· sparksql分析引擎· 數倉六層模型

              • 新增2022-08-01

                · 自動導入oracle數據· 自動創建文件目錄· 記錄自動化過程日志

              • 新增2022-07-25

                · 自動創建hive表· 自動創建hive分區· 自動關聯hdfs數據

              • 新增2022-07-18

                · 數倉建模方法論· 日期維度程序生成· 維度模型選型

              • 新增2022-07-11

                · docker虛擬網橋與網卡· 宿主機與docker容器 · 創建大數據組件容器

              • 新增2022-07-04

                · 行程地理區域維度· 組織機構維度· 服務網點維度

              • 新增2022-06-28

                · 加油站維度· 服務屬性維度· 物流公司維度 · 故障維度

              • 新增2022-06-21

                · 數倉整體設計圖· 技術選型設計圖· 項目原始數據庫結構圖

              • 新增2022-06-14

                · ODS建模后,使用SQOOP導入數據· DWD根據業務使用全量表、增量表、拉鏈表等不同的方式實現· DWB層的訂單明細表關聯了訂單表、訂單副表、訂單組表、店鋪表、地區表、訂單商品快照表等· 商品明細表關聯了商品表、商品分類表(三層分類)、商品品牌表等

              • 升級2022-06-07

                · 使用新版數據庫,包含完整的訂單、商品、用戶、配送及支付、退款等數據· 實戰提取訂單相關的指標和維度  · Flink多語言開發· Flink監控調優

              • 新增2022-05-31

                · Flink背壓機制· Flink內存管理· Python語言操作Flink

              • 新增2022-05-24

                · FlinkSink新特性· FlinkSQL整合Hive· 分層規范,通過對數據業務的分析,將數倉分為ODS, DWD, DWB, DM, APP五層

              • 新增2022-05-17

                · FlinkSQL&Table理論部分比重,移除過期API,使用新版API · FlinkSQL整合Kafka案例· 雙流Join知識點和案例分層規范,通過對數據業務的分析,將數倉分為ODS, DWD, DWB, DM, APP五層

              • 新增2022-05-10

                · Flink版本為1.14· 弱化DataSetAPI講解,加強DataStreamAPI-流批一體新特性的講解· 移除過期API,增加DataStream、Window、Watermaker新版API使用講解

              • 新增2022-05-03

                · 實時業務-實時統計Top10熱點題· 實時業務-實時統計答題最活躍的Top10年級· 實時業務-實時統計Top10熱點題及所屬科目

              • 新增2022-04-26

                · 數據模擬程序寫入到Kafka· 實時分析學生答題情況· StructuredStreaming實時分析入口程序· python完成電商行業ETL實戰· ETL基礎概念· ETL完成的Pipeline構建流程

              • 新增2022-04-19

                · 結構化流更新,刪除Rate數據源-文件數據源· 刪除企業不常用SparkStreaming

              • 新增2022-04-12

                · Spark中Continuous Processing· Spark3.2新特性· Spark性能調優九項原則、數據傾斜、shuffle優化· 新增Spark教育行業案例,方便學員掌握RDD和DataFrame的使用

              • 新增2022-04-05

                · StructuredStreaming 處理延遲數據和水印· StructuredStreaming 結構化流數據和靜態數據Join· StructuredStreaming 結構化流數據和結構化路數據Join

              • 新增2022-03-29

                · 離線業務分析-各科目熱點題分析· 離線業務分析-各科目推薦題分析

              • 新增2022-03-22

                · StructuredStreaming 物聯網設備數據分析案例· StructuredStreaming 基于事件時間的窗口

              • 新增2022-03-15

                · SparkSQL底層執行原理· StructedStream結構化流內容· Pandas的教育案例數倉實戰

              • 升級2022-03-08

                · 升級Spark版本到3.2· 升級Spark的主流開發語言為Python· 優化Spark的Standalone方式安裝,使用local和yarn模式· Spark3.2整合Hive3.1.2版本兼容問題

              • 新增2022-03-01

                · MySQL的教育案例數倉實戰· Pandas基礎使用,作為理解Spark數據類型的基礎· Pandas的Series數據結構· 增加在線教育案例

              • 新增2022-02-25

                · Python版本Hbase的API調用· Python的教育案例數倉實戰· StructuredStreaming Sink內容· StructuredStreaming 整合Kafka

              • 新增2022-02-18

                · Flume采集MoMo數據集場景· 實時和離線方式處理數據場景· Python版本Kafka的調用· NoSQL階段多場景項目實戰

              • 新增2022-02-11

                ·Flume1.9數據采集方式· Hbase2.x新特性

                升級

                · Hbase的BulkLoader全量數據加載方式

              • 新增2022-02-04

                ·Python版本MapReduce寫法

              • 新增2022-01-28

                · python腳本實現增量從oracle導入數據到hdfs中 · python腳本實現全量從oracle導入數據到hdfs中 · python腳本實現上傳avro文件到hdfs上

              • 新增2022-01-21

                · python腳本實現壓縮表的avro文件為tar.gz文件 · python腳本實現avro壓縮文件上傳hdfs · python實現讀取oracle表原始數據 · python實現創建hive表

              • 新增2022-01-14

                · python實現自定義記錄日志 · python實現讀取一行行文本文件工具類 · python讀取表信息轉對象方法 · python實現sparksql創建數據庫和表 · python實現sparksql創建分區關聯表對應的hdfs數據方法

              • 新增2022-01-07

                · python實現sparksql查詢ods層明細數據并加載到dwd層方法 · python實現sparksql查詢ods層明細數據并加載到dwd層方法 · 造數據平臺 · 新特殊字段類型

              • 新增2021-12-24

                · 字段類型 · flink源碼前置基礎 · 源碼的編譯和部署 · flink啟動腳本的解讀 · yarn-per-job模式解析

              • 新增2021-12-17

                · flink任務調度機制 · flink內存模型 · HIve3新特性 · Hive3數據壓縮,存儲格式等內容 · Hadoop3新特性

              • 新增2021-12-10

                · 概念和通用api介紹 · sqlclient工具的使用 · catalogs知識點的學習 · 流處理中的概念介紹

              • 新增2021-12-03

                · flinksql中的窗口使用 · FlinkSQL函數操作 · Flinksql連接到外部系統 · flinksql的原理和調優 · sql操作參考

              • 新增2021-11-26

                · flink on yarn的第三種部署方式(Application Mode) · 自定義source · transformation算子minby和maxby · transformation的八大物理分區的原理和實現 · flink的global window的操作

              • 新增2021-11-19

                · flink內置水印函數的操作 · flink的window的ReduceFunction · flink的state的數據結構的api升級 · flink的window的ProcessWindowFunction · flink的window的具有增量聚合的ProcessWindowFunction

              • 新增2021-11-12

                · flink的window的在 ProcessWindowFunction 中使用每個窗口狀態 · flink的state的ttl機制 · flink的state的數據結構的api升級 · flink的Queryable State知識點 · 異步io的vertx框架實現

              • 新增2021-11-05

                · flink的join操作 · Streaming File Sink連接器的小文件操作 · 數據類型及序列化的原理和實現案例 · 熱門銷售排行TopN的使用案例 · 布隆過濾器結合TTL的使用案例

              • 新增2021-10-29

                · PySpark的安裝 · PySpark任務提交方式 · PySpark多種模式spark-submit · PySpark實現wordcount案例實戰

              • 新增2021-10-22

                · Anaconda安裝使用 · Python實現RDD的基礎的Transformation操作 · Python實現RDD的Action操作 · Python實現Sougou分詞案例 · Python實現IP熱度分析案例

              • 新增2021-10-15

                · Python實現PV-UV-TOPK案例 · Python實現累加器及案例優化 · Python實現廣播變量案例及優 · Python實現緩存案例及優化實現 · PySparkSQL實現基礎統計操作

              • 新增2021-10-08

                · PySpark實現DataFrame的基礎操作 · PySpark實現DataFrame的wordcount操作 · PySpark實現DataFrame和RDD的轉換操作 · PySpark實現電影評分數據集分析

              • 新增2021-09-24

                · PySpark的底層Dataframe如何轉化為RDD的原理操作 · PySparkSQL的優化方式 · PySparkSQL分布式引擎實現 · PySparkSQL與HIve整合 · PySpark離線教育案例

              • 新增2021-09-17

                · PySpark新零售分析案例 · ETL、ELT區別 · Hive CTE表達式、更新union聯合查詢 · 大數據5V特點 · 大數據多個應用場景

              • 更新2021-09-10

                · pandas及可視化課程迭代至v2.01 · 數據分析多場景項目迭代至v1.81 · 最新版Python基礎編程v2.01 · 最新版Python編程進階更新迭代至v2.01 · 制定v2.0版本課程大綱

              • 升級2021-09-03

                · 完善flink的運行架構內容 · 完善flink與kafka連接器的操作 · 完善flink的window操作的講義 · 完善ODS層,新增和更新抽取方式,畫圖錯誤

              • 更新2021-08-27

                · Flink版本為1.13最新版 · Flink table&sql的整體概述 · 項目開發語言為spark官方使用最多的python語言

              • 更新2021-08-20

                · Spark語言為官方使用最多的Python語言 · Spark版本為3.1.2發行版,Hive3.1.2版本

              • 升級2021-08-13

                · 升級HDFS讀寫流程原理圖 · 升級Hadoop為最新3.3.0版本 · 升級編排Linux2天講義 · 升級Mysql RPM安裝方式以支持hive3

              • 優化2021-08-06

                · 優化Hive知識點案例 同步為Hive3版本 · 優化Linux基礎命令,刪除了不常用命令 · 優化使用Python實現MR原理機制

              • 優化2021-08-03

                · 優化OLAP、OLTP區別 · 優化Hadoop版本安裝及注意事項 · 優化數據分析基本步驟(6部曲) · 優化Hive版本為最新的3.1.2版本

              • 優化2021-07-27

                · 優化HIve3.x架構 · 優化PySpark執行流程,引入Py4J技術 · 優化車聯網Web展示部分 · 優化車聯網離線Hive數倉構建部分

              • 新增2021-07-20

                · 新增數倉整體設計圖 · 新增技術選型設計圖 · 新增項目原始數據庫結構圖

              • 新增2021-07-13

                · 新增油站維度 · 新增服務屬性維度 · 新增物流公司維度 · 新增故障維度

              • 新增2021-07-06

                · 新增行程地理區域維度 · 新增組織機構維度 · 新增服務網點維度 · 新增數倉建模方法論 · 新增日期維度程序生成

              • 新增2021-06-29

                · 新增維度模型選型 · 新增自動創建hive表 · 新增自動創建hive分區 · 新增自動關聯hdfs數據 · 新增自動導入oracle數據

              • 新增2021-06-22

                · 新增自動創建文件目錄 · 新增記錄自動化過程日志 · 新增java和數據結構大數據題目4個  · 新增算法題目4個 · 新增Hadoop題目6個

              • 新增2021-06-15

                · 新增hive題目3個 · 新增spark題目7個 · 新增flink題目4個 · 新增其他大數據組件題目4個 · 新增美團大數據架構

              • 新增2021-06-08

                · 新增平安大數據架構解決方案 · 新增小米大數據架構解決方案 · 新增百度廣告業務場景大數據架構解決方案

              • 新增2021-06-01

                · 新增Flume1.9數據采集方式 · 新增Flume采集MoMo數據集場景 · 新增實時和離線方式處理數據場景 · 新增SparkWebUI功能解釋

              • 新增2021-05-25

                · 新增SparkSQL比重 · 新增StructedStream雙流Join知識點 · 新增Spark多語言開發-JavaSpark和PySpark

              • 新增2021-05-18

                · 新增SparkMlLib-ALS推薦算法案例和原理 · 新增SparkMlLib-線性回歸算法案例和原理 · 新增SparkMlLib-決策樹算法案例和原理

              • 新增2021-05-11

                · 新增Spark3.0新特性 · 新增Spark性能調優九項原則、N多配置參數、數據傾斜、shuffle優化 · 新增IP查詢案例

              • 新增2021-05-04

                · 新增教師案例Spark案例 · 新增DataStream、Window、Watermaker新版API使用講解 · 新增FlinkSQL&Table理論部分比重,使用新版API· 新增FlinkSQL整合Kafka案例· 新增雙流Join知識點和案例

              • 新增2021-04-26

                · 新增Execl數據分析,整合Execl圖標、透視表等使用 · 新增Execl分析項目 · 新增Tableau的BI分析工具及項目實· Tableau電商項目

              • 新增2021-04-19

                · BI工具使用 · 數據分析報告 · 數據儀表板展示· Tableau電商項目

              • 新增2021-04-12

                · Excel數據處理和計算 · Excel透視表 · Excel圖表· Excel基本使用

              • 新增2021-04-05

                · 數據埋形式 · 數據埋點方案 · 數據需求文檔· 后端埋點

              • 升級2021-03-29

                · 定時爬蟲 · 下單并發處理 · 中文分詞· 用戶畫像

              • 新增2021-03-22

                · 阿里搜索解決方案 · 快遞解決方案 · Django即時通訊· mysql集群管理

              • 新增2021-03-15

                · 騰訊聊天機器人 · 騰訊文字識別 · python操作mycat · 小程序開發

              • 新增2021-03-08

                · django_extensions使用 · axios網易案例 · 阿里云方案 · django-channels使用

              • 新增2021-03-01

                · pytest自定義插件使用 · pytest異步調用 · pytest定時執行 · pytest標記使用

              • 升級2021-02-22

                · Cookie和Session使用 · Django類裝飾器 · Django多對多查詢 · Django關聯查詢

              • 升級2021-02-15

                · 推薦算法 · 數據可視化 · sql數據查詢 · H5語法

              • 升級2021-02-08

                · 美多狀態保持 · Django框架請求對象獲取數據 · Django模版 · Django拓展類

              • 新增2021-02-01

                · asyncio編程 · RabbitMQ的Confirm機制 · RocketMQ使用 · Celery定時任務

              • 新增2021-01-25

                · Angular管道 · Angular路由 · Angular使用HTTP · Angular表單

              • 新增2021-01-18

                · Ant Design · TypeScript類型斷言 · TypeScript內置對象 · TypeScript代碼檢查

              • 升級2021-01-11

                · Django認證 · Django權限控制 · 美多商城發送短信 · 美多商場QQ登錄

              • 升級2021-01-04

                · SQL查詢 · 數據倉庫 · 業務報表· Pandas

              • 新增2020-12-28

                · 機器學習排序算法 · 購物籃分析 · RFM模型· K均值聚類算法

              • 新增2020-12-21

                · 物品畫像 · 用戶畫像 · 召回算法· 漏斗分析

              • 升級2020-12-14

                · 狀態保持 · 權限管理 · 頁面靜態化· xpath工具

              • 升級2020-12-07

                · 極驗驗證 · jieba分詞 · shell代碼發布· 對象存儲

              • 新增2020-11-30

                · ES集群搭建 · IK中文分詞 · ES聚合查詢· ES凍結解凍索引

              • 新增2020-11-23

                · Kafka Broker集群 · Topic模型 · kafka數據備份· kafka消息持久化

              • 升級2020-11-16

                · pandas的apply方法 · pandas的transform方法 · pandas的to_numeric函數· Pandas內置聚合方法

              • 升級2020-11-09

                · elk日志監控 · shell代碼發布 · ubuntu版本20.04· 移動端測試

              • 優化2020-11-02

                · mysql讀寫分離 · reids哨兵 · redis安全限制· Keepalived非搶占模式

              • 新增2020-10-26

                · VIP腦裂 · MyCAT使用 · WA配置使用· redis持久化

              • 新增2020-10-19

                · HA Cluster高可用集群 · Keepalived使用 · VRRP協議· nginx服務切換

              • 升級2020-10-12

                · fastDFS使用 · shell使用 · docker使用· nginx使用

              • 升級2020-10-05

                · cookie和session案例 · mysql主從 · mysql集群· redis主從

              • 升級2020-09-28

                · Django用戶權鑒 · Django表單 · Django-froms· Django站點管理

              • 新增2020-09-07

                · Ansible使用 · AWX使用 · ceph使用· zabbix使用

              • 升級2020-08-31

                · 登錄判斷中間件 · cache緩存使用 · 購物車數據存儲· git沖突解決

              • 新增2020-08-24

                · pyautogui使用 · uiautomator使用 · PO模式· mock測試

              • 新增2020-08-17

                · Django轉換器 · Django用戶認證拓展類 · Django權限認證拓展類· Haystack搜索類

              • 升級2020-08-10

                · python操作reids · redis高可用 · redis集群搭建· redis持久化

              • 升級2020-08-03

                · mysql事務使用 · mysql主從搭建 · mysql客戶端使用 · mysql外鍵操作

              • 新增2020-07-27

                · mongodb聚合 · mongodb索引 · mongodb權限· 常見反爬手段

              • 新增2020-07-20

                · 緩存擊穿 · 緩存雪崩 · 雪花算法

              • 升級2020-07-13

                · Locust 性能測試 shell編程 · msyql數據庫 · redis緩存 ·

              • 升級2020-07-06

                · redis集群 · gitfollow工作流 · 定時爬蟲 · elk

              • 升級2020-06-29

                · 響應對象的處理 · 細化Cookie及Session的處理 · 鏈接失效的爬蟲案例 · 美后臺權限控制

              • 新增2020-06-22

                · 高性能爬蟲 · 多線程爬蟲案例 · Flask-Migrate 數據模型設計 · 智慧大屏案例

              • 升級2020-06-15

                · UnitTest斷言: 比較斷言,復雜斷言 · 路由系統全線升級 · 數據圖片化反爬 · redis緩存

              • 新增2020-06-08

                · Jmter 圖形監視器擴展插件 · 警告斷言 · 異常斷言 · Jmter性能調試

              • 新增2020-06-01

                · 性能測試報告分析 · 新增分庫訪問 · 優化Fixtures的參數化 · protometheus使用

              • 新增2020-05-25

                · flask-sqlalchemy二次開發 · 數據解析-BeautifulSoup4 · Jmeter分布式并發測試的配置 · zabbix使用

              • 新增2020-05-18

                · Jmeter實現參數化 · 數據庫測試 · 實現跨線程組傳值 · lua基礎

              • 新增2020-05-11

                · 自定義讀寫分離 · 認證體系 · 訪問劫持 · 安全策略

              • 新增2020-05-04

                · Redis悲觀鎖 · 布隆過濾器 · 文件安全 · WAF實踐

              • 升級2020-04-27

                · 搜索接口結構 · elsticsearch使用 · celerybug處理 · rabbitMQ使用

              • 升級2020-04-20

                · Locust關聯 · Locust斷言 · Locust各種業務場景下的參數化 · pipeline使用

              • 升級2020-04-13

                · 更改Scrapy以及Scrapy-redis項目 · Selenium知識點演示案例 · redis哨兵機制 · mysql主從搭建

              • 升級2020-04-06

                · 時間戳/頁碼/偏移量分頁 · gitflow工作流 · sentry使用 · xss安全

              • 新增2020-03-30

                · Pytest.mark · flask緩存工具類 · 多級緩存 · mysql注入攻擊

              • 新增2020-03-23

                · 禪道的不同角色使用 · Mysql垂直拆分 · Flask-SQLAlchemy的讀寫分離 · Mysql水平拆分

              • 升級2020-03-16

                · 性能測試分類 · 性能監控指標 · 性能測試流程 · celery使用

              • 新增2020-03-09

                · 定時抓取數據爬蟲 · Appium對APP數據的抓取 · 常見性能測試工具優化 · Filebeat詳解

              • 升級2020-03-02

                · 禪道的部署方式 · django框架升級為2.25版本 · 美多詳情頁靜態化 · 商品spu表結構

              • 新增2020-01-16

                · 美多商城緩存 · elk日志監控 · docker部署美多商城 · shell代碼發布

              • 升級2020-01-09

                · 等價類劃分法演示案例 · 邊界值法的演示案例 · 容聯云發送短信 · fastDFS圖片上傳

              • 新增2020-01-02

                · 測試用例的設計方法 · 獲取用戶信息模塊的單元測試 · 登錄注冊模塊的單元測試 · jenkins使用

              • 升級2019-12-26

                · Django自帶單元測試模塊 · Mysql數據庫教法調整 · 黑馬頭條緩存使用 · dockerfile使用

              • 新增2019-12-19

                · Locust 性能測試 · HttpLocust和Locust · TaskSet TaskSequence · seq_task

              • 升級2019-11-28

                · 異常案例的講解 · 代碼健壯性提升方式 · 登錄狀態判斷 · 異常處理

              • 升級2019-11-21

                · 商品模塊代碼進行了調整 · Redis事務型管道 · 反爬案例 · 搜索方法優化

              • 新增2019-11-14

                · 新增字體反爬 · Charles/fiddler抓包工具講解 · Redis非事務型管道 · 新增shell編程

              • 升級2019-11-07

                · PO模型 · Requests模塊的使用 · Get/Post等Http請求 · 試用例的設計方法

              • 新增2019-10-31

                · Flask項目搭建Flask-CORS · Fixtures實現SetUp和TearDown · 美多商城登錄功能自動化測試 · Redis緩存數據集合

              • 升級2019-10-24

                · 黑馬頭條前端代碼 · 分布式事務 · 美多商城前臺改為前后端分離模式 · admin后端管理站點講解

              • 新增2019-10-17

                · 美多商城支付模塊單元測試 · Jmeter 性能測試報告 · TestCase Client FactoryRequest Mock · 美多商城下單模塊性能測試

              • 新增2019-10-10

                · 黑馬頭條業務邏輯: 用戶認證 、修改頭像 · 黑馬頭條業務邏輯: 頻道管理 · 黑馬頭條業務邏輯: 文章列表/詳情 · 黑馬頭條業務邏輯: 關注用戶 評論回復


              點擊加載更多>>
              2022.06.01 升級版本3.0

              課程名稱

              Python+大數據開發課程

              課程推出時間

              2022.06.01

              課程版本號

              3.0

              主要針對

              行業解決方案:離線數倉解決方案、用戶畫像解決方案、Kappa架構解決方案、湖倉一體解決方案

                        技術課程:ETL開發、NoSQL中間件課程、新版Flink課程

              主要使用開發工具

              PyCharm、DataGrip、FinalShell

              課程介紹

              ● Python大數據V3.0課程全新升級,緊貼各類企業招聘需求,采用六項目制驅動技術學習,助力國家數字化轉型對數字人才的大量需求

              ● 多位Apache社區貢獻者聯袂授課,從原理、實戰到源碼,帶你邁入高級開發工程師行列

              ● 課程覆蓋企業級大數據四大主流解決方案,包括離線數倉解決方案、用戶畫像解決方案、流批一體解決方案和湖倉一體解決方案,再現公司中真實的開發場景,目標不止于就業,而是成為各類企業爭搶的大數據開發工程師。

              ● 課程升級主流大數據技術棧,全新Hadoop3.2,Spark3.2,Flink1.15技術剖析和新特性使用,全行業首推Python全棧ETL開發課程,不僅可以學習到完整的基礎ETL流程、工具,更能勝任千億級、亞秒級等復雜數據源情況下的工作。

              ● 新增基于Python和SQL的Flink課程,滿足就業市場中,大數據開發崗位更多的依賴SQL、Python的需求變化。

              ● 新增 基于Python的Kafka、Elasticsearch等全新課程,夯實實時計算開發基礎能力,幫助學員掌握數據開發工程師重要技能。

              ● 新增 新版面試加強課,內容集成了大廠架構解析、SQL專項面試寶典,以及不斷滾動更新的全網大數據崗位面試題講解,助力高薪offer。

              1

              新增基于Python的全棧ETL開發課程,助力學員勝任ETL中高級開發崗位

              1

              新增全網首個基于PySpark技術棧的用戶畫像項目,替換原有舊項目,提升簡歷含金量

              1

              新增知行教育項目實戰,學習完整企業級項目實戰流程,讓學生真正掌握大數據開發精髓

              1

              升級Spark技術課程為2022最新3.2版本、Flink技術課程為2022最新1.15版本,全網率先加入Pandas on Spark數據開發內容

              1

              新增FlinkSQL湖倉一體項目、首推FlinkSQL流批一體最新課程,進階Flink高階工程師,助力突破年薪50W

              1

              新增SparkSQL底層執行原理,StructuredStreaming結構化流內容

              1

              升級Spark3.2整合Hive3.1.2版本兼容問題

              1

              新增Pandas_udf函數,通過Apache Arrow框架優化數據處理速度;Pandas技術棧,能夠處理中小型數據量

              1

              新增Python版NoSQL課程,達到企業級萬億級數據存儲目標

              1

              新增Kafka-Python完成企業級消息隊列流量削峰, 異步通信等任務

              1

              新增ElasticSearch技術棧,達到企業級大數據搜索工程師目標

              1

              升級PySpark的DataFrame操作、Flink任務調度機制以及Flink內存模型、Flink table&sql的整體概述

              1

              新增FlinkSQL的原理和調優、Flink on Yarn的多種部署方式、Flink transformation的八大物理分區的原理和實現、Flink的window窗口操作,以及內置水印函數的操作

              1

              新增Hadoop3.x新特性、Hive3.x新特性,以及數據壓縮、存儲格式等內容

              1

              升級Python基礎,增加PyEcharts等BI內容,實現可視化大屏

              1

              新增Presto對接多數據源實現企業級大數據OLAP分析、Presto加速對Hive數倉之上數據構建大數據分析引擎,實現多維指標計算

              1

              新增企業級BI工具FineBI,適用于多行業項目BI大屏展示,助力企業數字決策

              1

              新增Flink table&sql概念和通用api介紹、sqlclient工具的使用、catalogs知識點的學習、流處理中的概念介紹

              1

              新增FlinkSQL中的窗口使用、FlinkSQL函數操作、Flinksql連接到外部系統

              1

              新增Flink源碼前置基礎、源碼的編譯和部署、Flink啟動腳本的解讀、yarn-per-job模式解析

              1

              升級車聯網Web展示部分、車聯網離線Hive數倉構建部分

              1

              友情提示更多學習視頻+資料+源碼,請加QQ:2632311208。

              點擊加載更多>>

              2021.06.01 升級版本2.0

              課程名稱

              Python+大數據開發課程

              課程推出時間

              2021.06.01

              課程版本號

              2.0

              主要針對

              新零售數倉項目、云上服務器集群

              主要使用開發工具

              新零售數倉項目、云上服務器集群

              課程介紹

              ● 經過不斷的版本迭代,正式推出新零售數倉項目課程,替換原有的舊項目,打造過硬的項目實戰經驗

              ● 新增價值百萬的UCcloud云上集群生產環境用于學習,完全云服務開發環境體驗

              ● 新增項目實戰環節,百分百再現企業中真實工作場景,夯實開發實戰能力

              1

              升級PySpark執行流程

              1

              新增Spark3.x新特性以及性能調優九項原則

              1

              升級Hive版本為最新的3.x版本

              1

              新增自動導入oracle數據,自動創建hive表,自動創建hive分區,自動關聯hdfs數據,自動創建文件目錄,并記錄自動化過程日志

              1

              升級Flink版本為最新版

              1

              新增FlinkSQL&Table理論部分比重,使用新版API,使用新增FlinkSQL整合Kafka案例

              1

              新增美團、平安、小米大數據架構,以及百度廣告業務場景大數據架構解決方案

              1

              新增flink的global window的操作、內置水印函數的操作

              1

              升級 flink的window的ReduceFunction、AggregateFunction、ProcessWindowFunction、具有增量聚合的ProcessWindowFunction、在 ProcessWindowFunction 中使用每個窗口狀態

              1

              新增flink的state的ttl機制、state的數據結構的api升級、Queryable State知識點

              1

              新增Flink異步io的vertx框架實現、flink的join操作(Tumbling Window Join、Sliding Window Join、Session Window Join)

              1

              新增Streaming File Sink連接器的小文件操作

              1

              新增數據類型及序列化的原理和實現案例

              1

              新增Flink Action綜合練習:熱門銷售排行TopN的使用案例、布隆過濾器結合TTL的使用案例

              2020.01.01 升級版本1.6

              課程名稱

              Python+大數據開發課程

              課程推出時間

              2020.06.01

              課程版本號

              1.6

              主要針對

              Spark3.x

              主要使用開發工具

              Pycharm、Idea、Datagrip、FinalShell

              課程介紹

              ● 針對Spark3.x版本的重大更新,應對就業崗位需求的快速變化,大數據課程全網首次推出基于Python的Spark課程

              ● 新增大數據工程師必備的SQL面試進階強化內容,提升大數據開發工程師核心SQL能力

              ● 新增大廠數倉架構專題內容,提升數據倉庫建設能力

              1

              升級Hadoop為3.3.0版本、Hive版本為3.1.2版本、HIve3.x架構

              1

              新增使用Python實現MR原理機制、OLAP、OLTP區別

              1

              新增MapReduce計算PI原理、MapReduce Python接口調用、Hadoop Streaming提交程序、ETL、ELT區別

              1

              新增HIve3新特性、Hive3數據壓縮,存儲格式、Hive CTE表達式

              1

              升級union聯合查詢、Hive知識點案例 同步為Hive3版本、Linux課程、Mysql RPM安裝方式以支持hive3

              1

              升級Spark語言為官方推薦使用的Python語言、版本更新為Spark3.1.2發行版、adoop3.3.0、Hive3.1.2版本

              1

              新增PySpark的安裝、任務提交方式、多種模式spark-submit、實現wordcount案例實戰

              1

              新增Python實現RDD操作、DataFrame操作、實現Sougou分詞案例、IP熱度分析案例、PV-UV-TOPK案例

              1

              新增PySparkSQL實現基礎統計操作、底層Dataframe轉化RDD原理操作、實現電影評分數據集分析、離線教育案例、新零售分析案例

              1

              新增PySparkSQL的優化方式、分布式引擎實現、與HIve整合

              2020.06.01 重磅推出 新版1.0

              課程名稱

              Python+大數據開發課程

              課程推出時間

              2020.06.01

              課程版本號

              1.0

              主要針對

              大數據引入Python語言、Pandas數據分析

              主要使用開發工具

              Pycharm、Idea、Datagrip

              課程介紹

              ● 8.1版本以前的數據開發課程,需要一定Java基礎和工作經驗,為了幫助進入數據開發行業的零基礎學員找到最適宜的入門途徑,大數據引入Python語言,全新升級為Python+大數據開發1.0版本。

              ● 學習Python大數據開發,以Python技術棧處理中小型數據集,以大數據技術棧處理海量大規模數據,成為全能企業級數據開發人才。

              ● 其特點適合零基礎學員,從完全沒有編程經驗開始;課程內容寬并且深,技術大牛親自授課;面向市場,學即可用,能讓學員高薪就業。

              1

              新增Python基礎語言課程

              1

              新增Python高級語言進階課程

              1

              新增Python爬蟲課程

              1

              新增Pandas數據分析課程

              1

              新增多場景案例分析,應對中小型數據統計分析

              2020.06.01 升級版本8.0

              課程名稱

              云計算大數據實戰班

              課程推出時間

              2020.06.01

              課程版本號

              8.0

              主要針對系統

              Windows、Linux、MacOS

              主要使用開發工具

              DataGrip、IDEA

              課程介紹

              ● 根據大量的行業調研分析,本次課程更新以大數據開發為主線,在7.0基礎上再次縮減Java課程占比,弱化各類組件安裝。

              ● 針對大數據技術深度和廣度進行升級,例如新增Spark內存管理、Flink性能優化及反壓、背壓原理等同時為提高學員的就業薪資,推出多行業項目解決方案,例如證券、物流等。

              ● 以周為單位進行課程更新升級,新增Elastic Stack、 出行、電商、視頻、社交等領域大數據解決方案、 一線大廠技術架構、 新零售大數據項目實戰,離線實時全覆蓋。

              1

              新增數據倉庫、ETL、BI開發

              1

              新增Oracle及PLSQL編程、數據微服務開發

              1

              新增Spark的內存管理、avro序列化數據源

              1

              新增continuous processing、偏移量管理機制

              1

              新增KafkaStreams編程、exactly-once、Kafka事務、metrics監控

              1

              新增Hbase的協處理器和phoneix的二級索引實現、布隆過濾器、LSM樹、StoreFiles結構剖析

              1

              新增FLink性能優化及反壓、背壓指標計算原理、FlinkSQL On Hive、Flink HistoryServer、Flink的UDF、UDAF、UDTF的實現

              1

              新增在線教育行業、物流行業、物聯網行業、證券行業項目

              1

              升級分布式緩存系統, 萬億級NoSQL海量數據存儲, 分布式流處理平臺、電商行業項目

              1

              刪除刪減 JavaWeb

              2019.07.22 升級版本7.0

              課程名稱

              云計算大數據實戰班

              課程推出時間

              2019.07.22

              課程版本號

              7.0

              主要針對版本

              CDH5.14、Spark2.2.0、Flink1.8、Kafka0.11.0.2、ELK6.0

              主要使用開發工具

              IntelliJ IDEAA

              課程介紹

              ● 大數據技術目前在企業里面使用的越來越廣泛,對大數據人才的需求越來越多,大數據的整個課程體系是由來自大型互聯網、外企等具有5年以上的一線大數據高級工程師、架構師和高級機器學習工程師設計出來的,內容含金量非常高。

              ● 課程體系涉及的技術以企業需求為導向,課程涉及的項目也是企業里面真實的項目,通過理論、實踐和真實的項目相結合,讓學員能夠快速、深刻的掌握大數據常用的核心技術和開發應用,同時可以滿足企業對中、高端大數據人才的需求。

              ● 大數據課程體系除了包含常用的Hadoop、Hive、Hbase、ELK、Sqoop、Flume、Kafka、Spark等技術和項目,還新增了目前互聯網比較流行的Flink、Druid、Kylin等技術和項目,同時引入了機器學習和深度學習Spark Mllib和Tensorflow等技術和項目實戰。

              1

              新增Impala即席查詢組件、Kudu列存儲服務、Structured Streaming結構化數據流處理

              1

              新增spark MLlib數據挖掘、spark graphX圖計算

              1

              升級Flink的基礎課程和案例實戰

              1

              新增Flink高級特性CEP、Kylin數據OLAP分析、Druid時序數據實時分析、Kettle數據ETL工具

              1

              新增深度學習框架Tensorflow

              1

              新增用戶畫像、數據倉庫大型企業實戰型項目

              2018.09.10 升級版本6.0

              課程名稱

              云計算大數據實戰班

              課程推出時間

              2018.09.10

              課程版本號

              6.0

              主要針對版本

              JDK1.8\CDH2.7.4\Storm1.1.1\Spark 2.1

              主要使用開發工具

              IntelliJ IDEA

              課程介紹

              ● 本課程是基于V5.0的一次重大更新,匯總并收集了大數據學科一年以來15個零基礎班級的授課信息、學習信息、就業信息。

              ● 重新調整了課程的分布情況,新增了大數據綜合項目,新增了第四代大數據處理框架FLink,新增了數據庫優化,新增了JVM基礎及原理,新增了Spark性能調優等內容。

              ● 課程升級方面,主要對機器學習課程進行了升級,推薦系統項目后置變成7天的豐富課程,提升學員進入機器學習的競爭力,從而更好的從事人工智能領域相關的工作。

              ● 整體而言,課程在培養中高級大數據工程師的方向上又前進了一大步。

              1

              新增Hadoop 2.7.2\Storm1.1.1\Spark 2.1

              1

              新增Java virtual machine原理分析、Java高并發核心知識

              1

              新增數據庫優化及調優、第四代大數據處理框架Apache Flink、Spark原理深入剖析及生產調優

              1

              新增互聯網反欺詐項目實戰、廣告系統業務模型及CTR預估

              1

              新增用戶畫像、數據倉庫大型企業實戰型項目

              1

              升級用戶畫像概述/數據/建模/算法實戰、推薦系統協同過濾算法實戰、基于內容的推薦系統實戰、基于關聯規則推薦系統實戰

              1

              升級混合推薦與CTR點擊預估

              1

              升級Hadoop版本為CDH

              2017.07.01 升級版本5.0

              課程名稱

              云計算大數據實戰班

              課程推出時間

              2017.07.01

              課程版本號

              5.0

              主要針對版本

              JDK1.8\Hadoop 2.7.2\Storm1.1.1\Spark 2.1

              主要使用開發工具

              Eclipse、IDEA

              課程介紹

              ● Java基礎、JavaWeb核心編程、JavaWeb三大框架、網絡爬蟲、分布式電商網站開發等課程模塊。培養學生編程能力,讓零基礎學員能夠更好的學習大數據項目。

              ● 大數據方面方面,新增點擊流日志收集系統、用戶日志分析報表系統、用戶畫像系統等案例。讓學員不僅僅學習到大數據技術點,能夠使用大數據解決實際問題。

              ● 擴充機器學習課程為10天。該課程歷時一年研發,深入淺出,能夠讓學員更好的入門機器學習,成為人工智能開發的初級工程師。

              1

              升級Hadoop 2.7.2\Storm1.1.1\Spark 2.1

              1

              新增網絡爬蟲開發

              1

              新增三大框架開發

              1

              新增JavaWeb核心

              1

              新增Java語言基礎

              2016.03.01 升級版本4.0

              課程名稱

              云計算大數據實戰班

              課程推出時間

              2016.03.01

              課程版本號

              4.0

              主要針對版本

              JDK7.x

              主要使用開發工具

              Eclipse、IDEA

              課程介紹

              ● 對比原有課程,本次課程做了重大更新,將大數據的核心技術hadoop及其生態圈技術完美的融入到了課程中。

              ● 課程分階段的進行案例實戰和項目實戰,在大數據方面知識體系更加完整,課程更加深度有深度,更加貼近實戰。

              ● 分階段的進行大數據生態圈的學習,將生態圈分為離線處理,實時流計算和實現最火熱的spark內存計算,完美的將生態圈進行了抽離和歸類,讓學習變得更便捷。

              1

              升級Spark1.6版本

              1

              新增Linux操作系統和shell腳本學習

              1

              新增JVM內存模型分析、NIO、Netty、自定義RPC框架

              1

              新增電商點擊流日志分析、電商實時日志告警平臺、交易風控風控平臺、流量日志分析分析

              1

              新增Spark游戲日志分析項目

              1

              刪除KVM虛擬化技術、網絡基礎和OpenvSwitch技術、Ceph存儲技術

              1

              刪除CloudStack云管理平臺、混合云管理平臺項目

              2015.05.15 升級版本3.0

              課程名稱

              云計算大數據實戰班

              課程推出時間

              2015.05.15

              課程版本號

              3.0

              主要針對版本

              JDK7.x

              主要使用開發工具

              Eclipse、IDEA

              課程介紹

              ● 本次更新將大數據和虛擬化這兩大熱門技術加入到課程體系中,在大數據方面知識體系更加完整,課程更加深度有深度,更加貼近實戰。

              ● 在虛擬化方面,選擇了在云計算領域常用的虛擬化、網絡、存儲等技術,并通過Apache CloudStack技術整合,在此基礎上開發混合云管理平臺。

              1

              升級Hadoop2.0版本、Hive優化課程

              1

              新增電信流量運營分析項目、混合云管理平臺項目

              1

              新增Scala函數式編程、Spark內存計算、KVM虛擬化技術

              1

              新增網絡基礎和OpenvSwitch技術

              1

              新增Ceph存儲技術、CloudStack云管理平臺

              2014.02.15 升級版本2.0

              課程名稱

              云計算大數據實戰班

              課程推出時間

              2014.02.15

              課程版本號

              2.0

              主要針對版本

              JDK6.x

              主要使用開發工具

              Eclipse

              課程介紹

              ● 隨著近年來云計算大數據的大力發展,市場對相關人才需求急增,所以本版課程在原有的云計算課程進行了顛覆性的改革,把原來只有1天的課程擴展為7天,加入了Hadoop生態圈的相關技術。

              1

              升級云計算課程、Hadoop集群部署、優化HDSF、MapReduce案例

              1

              新增Hadoop生態圈相關技術:Zookeeper、Hive、Hbase、Sqoop、Flume

              1

              新增Storm實時計算技術和案例

              1

              新增黑馬論壇日志分析項目

              2012.02.15 升級版本1.0

              課程名稱

              云計算大數據實戰班

              課程推出時間

              2012.02.15

              課程版本號

              1.0

              主要針對版本

              JDK6.0

              主要使用開發工具

              Eclipse

              課程介紹

              ● 近期云計算概念火爆異常,傳智教育敏銳的嗅探到大數據技術的悄然興起,并預測大數據技術將會像雨后春筍一樣快速發展,所以傳智教育與時俱進在課程中引入了1天的云計算課程,作為首個擁有大數據課程的培訓機構,傳智教育大數據實戰班助力學員可以掌握最新的技術,拓寬學員的就業方向,增強就業競爭力。

              1

              新增云計算課程:云計算和大數據相關概念

              1

              新增Hadoop 1.0偽分布式環境部署

              1

              新增HDFS、MapReduce應用案例

                                                                     

              實力雄厚的Python+大數據開發課程研發團隊

              源源不斷引進大廠技術大牛,專業研發課程升級、迭代,與企業需求實時接軌

                授課經驗豐富的Python+大數據開發講師團隊

                教師錄取率<3%,從源頭把控師資,帶你過關斬將掌握每一個知識點

                貫穿學習全程、保障學習效果的AI教輔系統

                用數據驅動教學,貫通教/學/練/測/評,為每一位學員私人定制學習計劃和就業服務

                1. 學前入學多維測評

                2. 學前目標導向式學習

                3. 學中隨堂診斷糾錯

                4. 學中階段效果測評

                5. 學后在線作業試題庫

                6. 學后問答社區查漏補缺

                7. 保障BI報表數據呈現

                8. 就業全面指導就業

                更多Tlias就業服務

                就業流程
                全信息化處理

                學員能力
                雷達圖分析

                定制個性化
                就業服務

                技術面試題
                講解

                就業指導課
                面試項目分析

                HR面試攻略

                模擬企業
                真實面試

                專業簡歷指導

                面試復盤輔導

                風險預警
                企業黑名單提醒

                打造學員職業生態圈

                老學員畢業后即可加入傳智匯精英社區,持續助力學員職場發展,一次學習永久服務

                傳智教育旗下IT互聯網精英社區,以匯聚互聯網前沿技術為核心,以傳遞、分享為己任,聯合經緯創投、創新工場、京東人工智能、華為等眾多關注互聯網的知名機構及企業、行業大咖,共同研究中國互聯網深度融合、跨界滲透、整合匯聚、相互促進的信息化資源共享平臺。

                • 行業沙龍

                • 高端人脈

                • 職場資源

                • 技術研習

                學員評價

                • 劉同學

                  老師常常犧牲自己的的假期時間為我們補課。每天在學習新的知識點之前,總會帶領我們在回顧之前的內容,在這里我每天過的都很充實。班級同學互幫互助,學習氛圍超級好。

                • 董同學

                  黑馬的老師技術功底深厚,總是一針見血地指出我的問題,布置的作業能保證吸收效果。畫像項目中的挖掘類標簽的開發過程比較復雜的,但講的非常細致,每天練習代碼加上做問卷星題目,現在對于畫像項目也算是基本掌握了,后續還是需要多加練習和復習。

                • 孫同學

                  培訓之前一直擔心自己是零基礎會有學不好的顧慮,但是綜合考慮,還是下定了來學習的決心。在朋友的推薦之下選擇了黑馬的課程,入學第一天看到課程表的一瞬間就被驚呆了,學習課程安排的滿滿的,這讓我堅定了學下去的信心。

                • 王同學

                  老師在講課的時候不僅只是將知識教給我們,還會拓展知識點在實際開發中的應用。幫助我們提升了很多關于在Python及編程方面的學習技巧和學習能力,學知識積累經驗的同時,更能了解企業實際工作中的各種實際情況。

                Python+大數據開發全國就業薪資情況

                查看其他班級

                9970元/月平均薪資

                15900元/月最高薪資

                100%就業率

                58月薪過萬

                • 姓名
                • 性別
                • 就業時間
                • 就職城市
                • 就職企業
                • 薪資
                • 福利待遇
                • 姓名
                • 培訓前崗位
                • 培訓前薪資
                • 培訓后薪資
                • 入職時間
                • 入職公司
                • 就職城市

                *學員就業信息統計數據為數據庫中實時調取的真實相關數據,非廣告宣傳

                Python+大數據開發全國各校區就業喜報
                 
                丰满少妇高潮大喊大叫

                  <pre id="lnnn7"><strike id="lnnn7"></strike></pre>

                        <track id="lnnn7"></track><pre id="lnnn7"></pre>
                        <track id="lnnn7"></track>

                        <p id="lnnn7"></p>
                        <track id="lnnn7"></track>
                          <track id="lnnn7"></track>