Python+大数据培训

主要内容

可掌握的核心能力

1.掌握零售行业离线数仓的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程；
2.深度使用Presto的项目，真实业务逻辑，共涉及20多个主题，100多个指标，提升学员在教育行业中的核心竞争力；
3.包括海量数据场景下如何优化配置；
4.拉链表和Hive函数的具体应用；
5.新增数据和更新数据的抽取和分析；
6.提供新零售大型商超集团的数据存储分析以及服务监控方案；
7.ClouderaManager可视化、自动部署和配置、Git、CodeReview功能；

主要内容

可掌握的核心能力

1.掌握Python开发环境基本配置；
2.掌握运算符、表达式、流程控制语句、数组等的使用；
3.掌握字符串以及类和对象的的基本操作；
4.初步建立面向对象的编程思维；
5.熟悉异常捕获的基本流程及使用方式；
6.掌握网络编程技术知道通讯协议原理，能够实现网络通讯；
7.掌握开发中的多任务编程实现方式；
8. 知道多进程多线程的原理；

主要内容

可掌握的核心能力

1.熟练掌握MySQL\SQL、Kettle以及BI工具使用，能够解决传统数仓业务开发任务；
2.掌握Spark的RDD、DAG、CheckPoint等设计思想；
3.掌握SparkSQL结构化数据处理，Spark On Hive；
4.掌握Structured Streaming整合多数据源完成实时数据处理；
5.具备Spark全栈开发能力，满足大数据行业多场景统一技术栈的数据开发，提供就业核心竞争力；

主要内容

可掌握的核心能力

1.SparkSQL整合ES自定义数据源、DS任务界面化调度；
2.用户画像标签构建规则；
3.用户画像规则类和统计类标签构建；
4.快速搭建保险行业大数据平台；
5.基于Hive+Spark SQL搭建离线数据仓库；
6.基于SparkSQL应对轻松应对复杂的迭代计算；
7.完成基于国内头部保险公司大数据项目开发；
8.掌握基于Spark分析12亿报单表和8千万客户等数据；
9.对保单汇总计算（业务发展类指标，成本费用类指标等），并向业务人员做数据展示；

主要内容

可掌握的核心能力

1.掌握Java基本语法和面向对象编程；
2.掌握基于Flink进行实时和离线数据处理、分析；
3.掌握基于Flink的多流并行处理技术和实时采集技术；
4.使用Java实现与Kafka的交互；
5.梳理大数据架构及解决方案，强化核心面试题；
6.剖析多行业大数据架构；

主要内容

可掌握的核心能力

1.湖仓一体化解决方案基于Flink+Hudi湖仓一体技术架构；
2.基于FlinkCDC完成MySQL等数据源的数据采集；
3.FlinkSQL流批一体架构实现实时数据计算；
4.使用Apache Doris进行海量多维分析；
5.掌握数据报表分析；
6.掌握业务数据实时大屏场景实现；