刘晖：大数据技术应用

刘晖注册讲师 256查看

课程概要

培训时长 : 1天

课程价格 : 扫码添加微信咨询

课程分类 : IT技术

课程编号 : 17758

联系老师

适用对象

课程介绍

课程1：大数据技术基础与应用-1天

【匹配关键知识点】

大数据概述，大数据行业应用解析（PI）等内容。

【课程时间】

1天（8小时/天）

【课程简介】

本课程通过对大数据技术的时代背景和业务应用场景实践案例介绍大数据技术涉及的基础技术和典型应用场景，为学员学习大数据技术明确学习方向和目标。

【课程收益】

1、了解大数据技术的时代背景

2、了解大数据技术的商业价值

3、掌握大数据涉及的基本技术及应用

【课程特点】

深入浅出介绍大数据分析及应用的系统知识；
紧紧抓住大数据技术的发展动态及行业发展趋势，行业联系紧密；
充分利用已有的研究成果，技术前瞻性较高；
课程资料丰富，学习者可以重现课程环境
案例充实，充分了解应用前景；
清晰的知识结构，根据应用经验采用最优化授课模式
课上采用案例式教学，通俗易懂，课下一对一辅导强化训练，学与练交叉进行强化记忆，你所要做的就是认真听，勤于问，乐于练。
清晰的知识结构，根据应用经验采用最优化授课模式。
内容充沛、详略得当，前后呼应。
讲师资历丰富，具有丰富的实践经验。
知识讲授+贴身案例+场景故事+互动讨论+现场演练+落地跟踪

【课程大纲】（1天*8小时）

时间

内容

案例实践与练习

Day1

上午

第一篇

大数据概述

一、大数据时代背景

二、大数据业务应用场景

三、大数据在各行业最佳实践案例

案例讨论：大数据行业应用价值

Day1

下午

第二篇大数据行业应用解析

一、大数据处理技术发展趋势

二、大数据主要存储技术介绍

三、大数据主要计算技术介绍

案例分析： 大数据与传统存储计算技术的关系

刘晖老师的其他课程

• 刘晖：大数据技术基础与建筑行业应用场景解析: 【课程背景】在信息技术高速发展的今天，一个开放、全球化的网络，将人、数据和机器连接起来，成为一个庞大的物理世界，这些由机器、设备、集群和网络组成的环境，能够在更深的层面和连接能力，产生海量大数据，对于建筑行业，大数据与创新应用的企业来说，如何利用这些大规模数据是提升经营效率与赢得竞争的关键，企业面对这些痛点则是“有数据用不好，无法产生实际应用价值”，大数据的到来，有效的推动了建筑数据管理与应用创新，充分利用大数据技术的构建来推动建筑发展，具有非常重要的实际意义与作用。课程将以大数据技术基础为切入点，还原建筑环境中的实际案例，帮助学员认知大数据是什么？大数据的应用场景是什么？建筑应用场景与大数据平台如何构建？如何驱动企业智能决策？学员如何根据所学来用大数据，释放数据价值能效？使学员学之解惑，学之能用，帮助企业实现数据价值突破能力。【课程收益】互联网、产业互联网发展趋势、大数据、建筑大数据的特性建筑大数据面临的挑战，5G对建筑应用的影响与变革大数据的技术图谱、数据处理、分析、建模、标签化应用大数据平台技术、数据中台、建筑大数据的关键技术大数据的安全管理、数据决策体系大数据的应用场景、场景逻辑，建筑应用场景解析如何让数据驱动经营分析及智能决策基于大数据的智能创新、智能商业【课程特色】干货，没有废话；科学，逻辑清晰；实战，学之能用；投入，案例精彩【课程对象】董事长、总裁、总经理、常务副总经理、总裁助理、人力副总等高管人员【课程时间】6小时【课程大纲】一、信息革命、大数据与物联网1、思维创新技术路径2、互联网与产业互联网发展态势3、大数据应用困扰、现状与问题 大数据应用误区大数据应用困扰4、识别大数据什么是大数据大数据特点与特征大数据能做什么？建筑大数据特性5、建筑大数据面临的挑战建筑大数据建筑大数据外延建筑大数据的挑战6、初识物联网什么是物联网物联网起源与特征物联网的架构物联网与5G的协同应用7、5G对建筑应用的影响与变革案例：二、大数据技术基础1、大数据技术图谱大数据技术基础大数据数据源特点大数据技术逻辑大数据全域识别2、大数据处理数据源结构数据清洗数据标准化数据展现3、大数据分析与建模建模训练模型应用模型优化模型4、大数据标签化管理数据标签标签自动化生产多样化标签与场景化应用5、大数据平台技术数据采集数据开发计算智能算法据资产管理6、数据中台7、大数据环境下的数据安全数据安全管理组织结构数据安全管理策略数据生命周期与防护措施8、建筑大数据的关键技术建筑大数据分布式存储与处理技术实时数据处理技术元数据基于大数据的建筑数据中心9、大数据决策系统案例：三、大数据应用场景与建筑应用场景1、应用场景与场景逻辑2、应用场景引领数字化方向3、大数据应用场景及场景解析 大数据场景 场景模型分析4、建筑大数据基础平台5、建筑业务应用场景根据客户需求定制更贴切的应用案例6、建筑事务应用场景根据客户需求定制更贴切的应用案例7、海量数据的挑战案例：四、大数据驱动智能+创新1、数据分析驱动企业决策2、大数据、云计算与数据算法关系3、无数据，不AI4、大数据驱动智能+创新5、云是智能+创新的基础设施6、智能商业，未来以来互动与答疑

• 刘晖：大数据分析与运营（电网行业）: 【课程特色】1. 课上采用案例式教学，通俗易懂，课下一对一辅导强化训练，学与练交叉进行强化记忆，你所要做的就是认真听，勤于问，乐于练。2. 清晰的知识结构，根据应用经验采用最优化授课模式。3. 内容充沛、详略得当，前后呼应。4. 讲师资历丰富，具有丰富的实践经验。5. 知识讲授+贴身案例+场景故事+互动讨论+现场演练+落地跟踪【课程时间】0.5天【课程大纲】第一章：大数据简介1. 什么是大数据2.大数据的机器学习与专家思维3.大数据的4V特征4.大数据的来源5.大数据决定企业竞争力6.大数据带来的思维变革7大数据创新的方法论8大数据的应用案例解析第二章：电力大数据背景简介1. 电力大数据背景简介2.电力大数据的价值3.电力大数据的来源4.电力大数据——整体框架5.电力大数据对智能电网发展的重要性第三章：电力大数据的应用场景1.设备状态差异化、精细化评价2.缴费渠道利用效率分析3.客户用电行为分析4.负荷预测5.风、光发电预测6.微电网中的储能控制7.大数据与用户服务8.输电线路在线视频监控9.故障预测：状态检修的核心问题10．利用大数据打造双层充电防护体系第四章：大数据智能客服1. 服务智能化势在必行2.大数据+人工智能驱动服务智能化3.服务机器人4.挖掘数据的价值洼地：语音转文本5.系统分析挖掘原理6.智能客服的学习方法7.虚拟配网调度员第五章：国内外大数据案例分享1.风机选址2.电力大数据中间商创新电力业务模式3.电费预算辅助工具4.减少电力盗窃降低损失5.利用大数据分析降低变压器更换成本6.智能巡检机器人7.虚拟电厂第六章：大数据业务规划1.大数据业务的常见问题2.如何着手大数据？3.一切从“小”而“美”做起4.大数据的敏捷项目管理5.数据的分析方法6.大数据营销

• 刘晖：大数据分析实战-Spark编程: 【课程特色】1. 课上采用案例式教学，通俗易懂，课下一对一辅导强化训练，学与练交叉进行强化记忆，你所要做的就是认真听，勤于问，乐于练。2. 清晰的知识结构，根据应用经验采用最优化授课模式。3. 内容充沛、详略得当，前后呼应。4. 讲师资历丰富，具有丰富的实践经验。5. 知识讲授+贴身案例+场景故事+互动讨论+现场演练+落地跟踪【课程时间】2天【课程大纲】第一天：实战准备基础第1 章大数据技术概述1.1 大数据的概念与关键技术1.2 代表性大数据技术1.2.1 Hadoop 1.2.2 Spark1.2.3 Flink1.2.4 Beam1.3 编程语言的选择实验1 Linux 系统的安装和常用命令第2 章 Scala 语言基础2.1 Scala 语言概述2.2 Scala 基础知识2.3 面向对象编程基础2.4 函数式编程基础实验2 Scala 编程初级实践第3 章 Spark 的设计与运行原理3.1 概述3.2 Spark 生态系统3.3 Spark 运行架构3.4 Spark 的部署方式第4 章 Spark 环境搭建和使用方法4.1 安装Spark4.2 在spark-shell 中运行代码4.3 开发Spark 独立应用程序4.3.1 安装编译打包工具4.3.2 编写Spark 应用程序代码4.3.3 编译打包4.3.4 通过spark-submit 运行程序4.4 Spark 集群环境搭建4.5 在集群上运行Spark 应用程序实验3 Spark 和Hadoop 的安装第5 章 RDD 编程5.1 RDD 编程基础5.2 键值对RDD 5.3 数据读写5.4 综合实例实验4 RDD 编程初级实践第6 章 Spark SQL6.1 Spark SQL 简介6.2 DataFrame 概述6.3 DataFrame 的创建6.4 DataFrame 的保存6.5 DataFrame 的常用操作6.6 从RDD 转换得到DataFrame6.7 使用Spark SQL 读写数据库实验5 Spark SQL 编程初级实践第7 章 Spark Streaming7.1 流计算概述7.2 Spark Streaming7.3 DStream 操作概述7.4 基本输入源7.5 高级数据源7.6 转换操作7.7 输出操作实验6 Spark Streaming 编程初级实践第8 章 Spark Mllib8.1 基于大数据的机器学习8.2 机器学习库MLlib 概述8.3 基本数据类型8.4 机器学习流水线8.5 特征提取、转换和选择8.6 分类算法8.7 聚类算法8.8 协同过滤算法8.9 模型选择和超参数调整实验7 Spark 机器学习库MLlib 编程第二天：实战案例分析及运用讲解案例1：淘宝双11数据分析与预测延伸案例：生产状态实时监测案例简介本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法。通过本案例，将有助于综合运用大数据课程知识以及各种工具软件，实现数据全流程操作。案例目的熟悉Linux系统、MySQL、Hadoop、Hive、Sqoop、Spark等系统和软件的安装和使用；了解大数据处理的基本流程；熟悉数据预处理方法；熟悉在不同类型数据库之间进行数据相互导入导出；熟悉使用JSP语言搭建动态Web工程；熟悉使用Spark MLlib进行简单的分类操作。硬件要求本案例可以在单机上完成，也可以在集群环境下完成。单机上完成本案例实验时，建议计算机硬件配置为：500GB以上硬盘，8GB以上内存。软件工具本案例所涉及的系统及软件：Linux系统MySQLHadoopHiveSqoopEChartsEclipseSpark数据集淘宝购物行为数据集 (5000万条记录，数据有偏移，不是真实的淘宝购物交易数据，但是不影响学习)案例任务安装Linux操作系统安装关系型数据库MySQL安装大数据处理框架Hadoop安装数据仓库Hive安装Sqoop安装Eclipse安装 Spark对文本文件形式的原始数据集进行预处理把文本文件的数据集导入到数据仓库Hive中对数据仓库Hive中的数据进行查询分析使用Sqoop将数据从Hive导入MySQL利用Eclipse搭建动态Web应用利用ECharts进行前端可视化分析利用Spark MLlib进行回头客行为预测讲解案例2：Spark大数据分析案例之平均心率检测延伸案例：智慧安防的大数据运用案例简介本案例涉及数据预处理、消息队列发送和接收消息、数据实时处理、数据实时推送和实时展示等数据处理全流程所涉及的各种典型操作，涵盖Linux、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、sockert.io.js、PyCharm等系统和软件的安装和使用方法。案例目的熟悉Linux系统、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、socket.io.js等系统和软件的安装和使用；了解Spark+Kafka实时处理数据的基本流程；熟悉Python操作Kafka的方法；熟悉Spark Streaming程序编写；熟悉Spark操作Kafka的方法；熟悉Python构建Web程序；熟悉SocketIO实时推送消息；熟悉Highcharts.js展示数据。硬件要求本案例可以在单机上完成，也可以在集群环境下完成。单机上完成本案例实验时，建议计算机硬件配置为：500GB以上硬盘，8GB以上内存。软件工具本案例所涉及的系统及软件：Linux系统SparkKafkaFlaskFlask-SocketIOHighcharts.jsSocket.io.jsPyCharm数据相关本案例采用的数据集是由应用程序producer随机产生的。该数据集表示的正常人的心跳速率。下面列出产生的数据格式定义：1. name | 姓名2. rate | 心跳率3. dt | 产生数据的时间案例任务安装Linux操作系统安装Spark安装Kafka安装Python依赖库安装PyCharm对文本文件形式的原始数据集进行预处理将预处理后的数据发送至KafkaSpark从Kafka获取数据，实时处理，结果发送至KafkaFlask构建的Web程序从Kafka获取处理后的数据Flask-SockerIO实时推送数据至客户端客户端Socket.io.js实时获取数据客户端Highcharts.js实时展示数据