刘晖：大数据技术基础与建筑行业应用场景解析

刘晖注册讲师 261查看

课程概要

培训时长 : 1天

课程价格 : 扫码添加微信咨询

课程分类 : IT技术

课程编号 : 17757

联系老师

适用对象

董事长、总裁、总经理、常务副总经理、总裁助理、人力副总等高管人员

课程介绍

【课程背景】

在信息技术高速发展的今天，一个开放、全球化的网络，将人、数据和机器连接起来，成为一个庞大的物理世界，这些由机器、设备、集群和网络组成的环境，能够在更深的层面和连接能力，产生海量大数据，对于建筑行业，大数据与创新应用的企业来说，如何利用这些大规模数据是提升经营效率与赢得竞争的关键，企业面对这些痛点则是“有数据用不好，无法产生实际应用价值”，大数据的到来，有效的推动了建筑数据管理与应用创新，充分利用大数据技术的构建来推动建筑发展，具有非常重要的实际意义与作用。

课程将以大数据技术基础为切入点，还原建筑环境中的实际案例，帮助学员认知大数据是什么？大数据的应用场景是什么？建筑应用场景与大数据平台如何构建？如何驱动企业智能决策？学员如何根据所学来用大数据，释放数据价值能效？使学员学之解惑，学之能用，帮助企业实现数据价值突破能力。

【课程收益】

互联网、产业互联网发展趋势、大数据、建筑大数据的特性
建筑大数据面临的挑战，5G对建筑应用的影响与变革
大数据的技术图谱、数据处理、分析、建模、标签化应用
大数据平台技术、数据中台、建筑大数据的关键技术
大数据的安全管理、数据决策体系
大数据的应用场景、场景逻辑，建筑应用场景解析
如何让数据驱动经营分析及智能决策
基于大数据的智能创新、智能商业

【课程特色】干货，没有废话；科学，逻辑清晰；实战，学之能用；投入，案例精彩

【课程对象】董事长、总裁、总经理、常务副总经理、总裁助理、人力副总等高管人员

【课程时间】6小时

【课程大纲】

一、信息革命、大数据与物联网

1、思维创新技术路径

2、互联网与产业互联网发展态势

3、大数据应用困扰、现状与问题

 大数据应用误区
大数据应用困扰

4、识别大数据

什么是大数据
大数据特点与特征
大数据能做什么？
建筑大数据特性

5、建筑大数据面临的挑战

建筑大数据
建筑大数据外延
建筑大数据的挑战

6、初识物联网

什么是物联网
物联网起源与特征
物联网的架构
物联网与5G的协同应用

7、5G对建筑应用的影响与变革

案例：

二、大数据技术基础

1、大数据技术图谱

大数据技术基础
大数据数据源特点
大数据技术逻辑
大数据全域识别

2、大数据处理

数据源结构
数据清洗
数据标准化
数据展现

3、大数据分析与建模

建模
训练模型
应用模型
优化模型

4、大数据标签化管理

数据标签
标签自动化生产
多样化标签与场景化应用

5、大数据平台技术

数据采集
数据开发计算
智能算法
据资产管理

6、数据中台

7、大数据环境下的数据安全

数据安全管理组织结构
数据安全管理策略
数据生命周期与防护措施

8、建筑大数据的关键技术

建筑大数据分布式存储与处理技术
实时数据处理技术
元数据
基于大数据的建筑数据中心

9、大数据决策系统

案例：

三、大数据应用场景与建筑应用场景

1、应用场景与场景逻辑

2、应用场景引领数字化方向

3、大数据应用场景及场景解析

 大数据场景
 场景模型分析

4、建筑大数据基础平台

5、建筑业务应用场景

根据客户需求定制更贴切的应用案例

6、建筑事务应用场景

根据客户需求定制更贴切的应用案例

7、海量数据的挑战

案例：

四、大数据驱动智能+创新

1、数据分析驱动企业决策

2、大数据、云计算与数据算法关系

3、无数据，不AI

4、大数据驱动智能+创新

5、云是智能+创新的基础设施

6、智能商业，未来以来

互动与答疑

刘晖老师的其他课程

• 刘晖：大数据分析与运营（电网行业）: 【课程特色】1. 课上采用案例式教学，通俗易懂，课下一对一辅导强化训练，学与练交叉进行强化记忆，你所要做的就是认真听，勤于问，乐于练。2. 清晰的知识结构，根据应用经验采用最优化授课模式。3. 内容充沛、详略得当，前后呼应。4. 讲师资历丰富，具有丰富的实践经验。5. 知识讲授+贴身案例+场景故事+互动讨论+现场演练+落地跟踪【课程时间】0.5天【课程大纲】第一章：大数据简介1. 什么是大数据2.大数据的机器学习与专家思维3.大数据的4V特征4.大数据的来源5.大数据决定企业竞争力6.大数据带来的思维变革7大数据创新的方法论8大数据的应用案例解析第二章：电力大数据背景简介1. 电力大数据背景简介2.电力大数据的价值3.电力大数据的来源4.电力大数据——整体框架5.电力大数据对智能电网发展的重要性第三章：电力大数据的应用场景1.设备状态差异化、精细化评价2.缴费渠道利用效率分析3.客户用电行为分析4.负荷预测5.风、光发电预测6.微电网中的储能控制7.大数据与用户服务8.输电线路在线视频监控9.故障预测：状态检修的核心问题10．利用大数据打造双层充电防护体系第四章：大数据智能客服1. 服务智能化势在必行2.大数据+人工智能驱动服务智能化3.服务机器人4.挖掘数据的价值洼地：语音转文本5.系统分析挖掘原理6.智能客服的学习方法7.虚拟配网调度员第五章：国内外大数据案例分享1.风机选址2.电力大数据中间商创新电力业务模式3.电费预算辅助工具4.减少电力盗窃降低损失5.利用大数据分析降低变压器更换成本6.智能巡检机器人7.虚拟电厂第六章：大数据业务规划1.大数据业务的常见问题2.如何着手大数据？3.一切从“小”而“美”做起4.大数据的敏捷项目管理5.数据的分析方法6.大数据营销

• 刘晖：大数据分析实战-Spark编程: 【课程特色】1. 课上采用案例式教学，通俗易懂，课下一对一辅导强化训练，学与练交叉进行强化记忆，你所要做的就是认真听，勤于问，乐于练。2. 清晰的知识结构，根据应用经验采用最优化授课模式。3. 内容充沛、详略得当，前后呼应。4. 讲师资历丰富，具有丰富的实践经验。5. 知识讲授+贴身案例+场景故事+互动讨论+现场演练+落地跟踪【课程时间】2天【课程大纲】第一天：实战准备基础第1 章大数据技术概述1.1 大数据的概念与关键技术1.2 代表性大数据技术1.2.1 Hadoop 1.2.2 Spark1.2.3 Flink1.2.4 Beam1.3 编程语言的选择实验1 Linux 系统的安装和常用命令第2 章 Scala 语言基础2.1 Scala 语言概述2.2 Scala 基础知识2.3 面向对象编程基础2.4 函数式编程基础实验2 Scala 编程初级实践第3 章 Spark 的设计与运行原理3.1 概述3.2 Spark 生态系统3.3 Spark 运行架构3.4 Spark 的部署方式第4 章 Spark 环境搭建和使用方法4.1 安装Spark4.2 在spark-shell 中运行代码4.3 开发Spark 独立应用程序4.3.1 安装编译打包工具4.3.2 编写Spark 应用程序代码4.3.3 编译打包4.3.4 通过spark-submit 运行程序4.4 Spark 集群环境搭建4.5 在集群上运行Spark 应用程序实验3 Spark 和Hadoop 的安装第5 章 RDD 编程5.1 RDD 编程基础5.2 键值对RDD 5.3 数据读写5.4 综合实例实验4 RDD 编程初级实践第6 章 Spark SQL6.1 Spark SQL 简介6.2 DataFrame 概述6.3 DataFrame 的创建6.4 DataFrame 的保存6.5 DataFrame 的常用操作6.6 从RDD 转换得到DataFrame6.7 使用Spark SQL 读写数据库实验5 Spark SQL 编程初级实践第7 章 Spark Streaming7.1 流计算概述7.2 Spark Streaming7.3 DStream 操作概述7.4 基本输入源7.5 高级数据源7.6 转换操作7.7 输出操作实验6 Spark Streaming 编程初级实践第8 章 Spark Mllib8.1 基于大数据的机器学习8.2 机器学习库MLlib 概述8.3 基本数据类型8.4 机器学习流水线8.5 特征提取、转换和选择8.6 分类算法8.7 聚类算法8.8 协同过滤算法8.9 模型选择和超参数调整实验7 Spark 机器学习库MLlib 编程第二天：实战案例分析及运用讲解案例1：淘宝双11数据分析与预测延伸案例：生产状态实时监测案例简介本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法。通过本案例，将有助于综合运用大数据课程知识以及各种工具软件，实现数据全流程操作。案例目的熟悉Linux系统、MySQL、Hadoop、Hive、Sqoop、Spark等系统和软件的安装和使用；了解大数据处理的基本流程；熟悉数据预处理方法；熟悉在不同类型数据库之间进行数据相互导入导出；熟悉使用JSP语言搭建动态Web工程；熟悉使用Spark MLlib进行简单的分类操作。硬件要求本案例可以在单机上完成，也可以在集群环境下完成。单机上完成本案例实验时，建议计算机硬件配置为：500GB以上硬盘，8GB以上内存。软件工具本案例所涉及的系统及软件：Linux系统MySQLHadoopHiveSqoopEChartsEclipseSpark数据集淘宝购物行为数据集 (5000万条记录，数据有偏移，不是真实的淘宝购物交易数据，但是不影响学习)案例任务安装Linux操作系统安装关系型数据库MySQL安装大数据处理框架Hadoop安装数据仓库Hive安装Sqoop安装Eclipse安装 Spark对文本文件形式的原始数据集进行预处理把文本文件的数据集导入到数据仓库Hive中对数据仓库Hive中的数据进行查询分析使用Sqoop将数据从Hive导入MySQL利用Eclipse搭建动态Web应用利用ECharts进行前端可视化分析利用Spark MLlib进行回头客行为预测讲解案例2：Spark大数据分析案例之平均心率检测延伸案例：智慧安防的大数据运用案例简介本案例涉及数据预处理、消息队列发送和接收消息、数据实时处理、数据实时推送和实时展示等数据处理全流程所涉及的各种典型操作，涵盖Linux、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、sockert.io.js、PyCharm等系统和软件的安装和使用方法。案例目的熟悉Linux系统、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、socket.io.js等系统和软件的安装和使用；了解Spark+Kafka实时处理数据的基本流程；熟悉Python操作Kafka的方法；熟悉Spark Streaming程序编写；熟悉Spark操作Kafka的方法；熟悉Python构建Web程序；熟悉SocketIO实时推送消息；熟悉Highcharts.js展示数据。硬件要求本案例可以在单机上完成，也可以在集群环境下完成。单机上完成本案例实验时，建议计算机硬件配置为：500GB以上硬盘，8GB以上内存。软件工具本案例所涉及的系统及软件：Linux系统SparkKafkaFlaskFlask-SocketIOHighcharts.jsSocket.io.jsPyCharm数据相关本案例采用的数据集是由应用程序producer随机产生的。该数据集表示的正常人的心跳速率。下面列出产生的数据格式定义：1. name | 姓名2. rate | 心跳率3. dt | 产生数据的时间案例任务安装Linux操作系统安装Spark安装Kafka安装Python依赖库安装PyCharm对文本文件形式的原始数据集进行预处理将预处理后的数据发送至KafkaSpark从Kafka获取数据，实时处理，结果发送至KafkaFlask构建的Web程序从Kafka获取处理后的数据Flask-SockerIO实时推送数据至客户端客户端Socket.io.js实时获取数据客户端Highcharts.js实时展示数据

• 刘晖：大数据分析平台系统培训课程: （1）培训背景大数据应用技术经过最近几年的爆发性发展，已经在各行各业产生了广泛而深刻的影响，但是我们仍然面对三大挑战：1. 人才缺口巨大。需要大量的工程师从其他方向转型投入到大数据方向上来，他们有基础、有经验，但是缺乏人工领域的专业知识，需要为他们在数据，算法，算力等多个层面上给予系统的指导，以便这些工程师尽快投入到大数据开发的工作中来。2. 从技能本身的角度来看，大数据是综合交叉学科，以数据为基础，算法为核心，业务理解和编程实现为手段，如何利用这些技术给我们和客户带来最大的价值，业界大多数人仍然对此没有深入的认识，而这些问题是关系到竞争力和价值创造的核心问题。3. 大数据业务落地应用效果产出的核心是大数据平台开发技术，如何掌握大数据平台开发语言更好的解决我们的业务问题，关系到我们业务价值的快速实现。（2）培训目标从解决客户实际问题出发，该人才培养方案的从三个角度做出了创新：1. 内容深度上的创新，在过去的十年，整个IT技术栈，从底层存储和计算到上层机器学习应用实现，大数据分布式存储和分布式并行计算框架及应用都做了很多的改变。因此，我们相比传统的大数据课程，增加了计算机组成、操作系统和集群技术的内容，同时在上层增加了大数据应用架构、业务应用场景和最佳实践案例的内容。2. 内容广度上的创新，IT技术发展至今，“生态”二字越来越重要，尤其是当我们探讨大数据落地应用的时候，更不能离开生态孤立地讨论大数据技术。本课程将基于授课讲师强大的专业背景和丰富的实战经验，结合大数据技术、数据、业务场景等来讲授大数据的应用模式，课程结合业务项目一起跟进如何落地实现。3. 从形式上，除了常规理论讲授与实际操作以外，我们还引入结合客户实际需求进行小组研讨、专家评审和相关项目案例引入的方式，将人才培养进一步落到实处，最大能力帮助客户提升能力，助力战略转型。（3）教学计划本系列课程总共由9门课程组成：教学设计NO.课程名称课程天数基础与概述1大数据技术基础与应用1天2Java语言入门2天3Linux基础1天4大数据基础理论与算法入门7天核心技术讲解及实际案例实操5Hadoop生态系统7天6Spark生态系统8天7大数据流式处理技术入门5天8大数据可视化2天大数据平台搭建9大数据平台搭建案例分享与实践7天第1-4门课属于基础与概述，分别从技术基础，Java,Linux及基础理论算法进行针对性基础知识加固。第5-9门课程就Hadoop系统、Spark系统、流式计算三大核心技术详细讲解，期间穿插实际案例讲解如何基于这些技术搭建企业级应用及开发实践。整个课程体系及授课有全栈大数据专家讲师全程落地，确保每个模块的深入落地及模块之间的衔接连贯，行成体系的综合开发技能（4）具体课程方案（含课程大纲）课程1：大数据技术基础与应用-1天【匹配关键知识点】大数据概述，大数据行业应用解析（PI）等内容。【课程时间】1天（6小时/天）【课程简介】本课程通过对大数据技术的时代背景和业务应用场景实践案例介绍大数据技术涉及的基础技术和典型应用场景，为学员学习大数据技术明确学习方向和目标。【课程收益】1、了解大数据技术的时代背景2、了解大数据技术的商业价值3、掌握大数据涉及的基本技术及应用【课程特点】通过“知识地图”和 “沙盘演练”帮助学员“边干边学”，提升其行动学习能力：● 采用“知识地图”形成持续学习网络“知识地图”分共三级：一级是领域知识一览图（思维导图）；二级是高度提炼的知识内容要点（PPT）；三级是中外优质资源的知识原文出处（网站链接）。通过 “知识地图”，帮助学员构建持续学习网络，使其对大数据架构“领域知识”一览无余，“前沿动态”实时掌握！● 通过“沙盘演练”在实战中学习课堂没有冗长乏味的理论讲授，而是通过“沙盘演练”，用实战串讲知识，用演练提升能力，助学员迅速从“初出茅庐”的新兵成长为“身经百战”的长胜将军，并具备在行动中学习的能力。● 本课程对应上机环境提供学员大数据虚拟机环境可以本地操作，也可以在线登录老师自主开发的大数据实战平台在线操作。【课程对象】大数据技术相关人员【学员基础】无前置课程要求【课程大纲】（1天*6小时）时间内容案例实践与练习Day1上午第一篇大数据概述一、大数据时代背景二、大数据业务应用场景三、大数据在各行业最佳实践案例案例讨论：大数据行业应用价值Day1下午第二篇大数据行业应用解析一、大数据处理技术发展趋势二、大数据主要存储技术介绍三、大数据主要计算技术介绍案例分析：大数据与传统存储计算技术的关系课程2：Java语言入门-2天【匹配关键知识点】Java概述与环境搭建，Java数据类型与运算符及语法等内容。【课程时间】2天（6小时/天）【课程简介】本课程通过Java基本开发语言的介绍，帮助学员掌握Java的核心原理和开发方法，并利用Java进行应用开发。培训实践与理论并重，通过理论讲解，实例分析，以及对关键技术的实操练习，从而帮助学员深刻理解Java核心原理和提升学员在工作中的实践技能。。【课程收益】1、了解Java的核心编程2、了解大数据技术的商业价值3、掌握大数据涉及的基本技术及应用【课程特点】通过“知识地图”和 “沙盘演练”帮助学员“边干边学”，提升其行动学习能力：● 采用“知识地图”形成持续学习网络“知识地图”分共三级：一级是领域知识一览图（思维导图）；二级是高度提炼的知识内容要点（PPT）；三级是中外优质资源的知识原文出处（网站链接）。通过 “知识地图”，帮助学员构建持续学习网络，使其对大数据架构“领域知识”一览无余，“前沿动态”实时掌握！● 通过“沙盘演练”在实战中学习课堂没有冗长乏味的理论讲授，而是通过“沙盘演练”，用实战串讲知识，用演练提升能力，助学员迅速从“初出茅庐”的新兵成长为“身经百战”的长胜将军，并具备在行动中学习的能力。● 本课程对应上机环境提供学员大数据虚拟机环境可以本地操作，也可以在线登录老师自主开发的大数据实战平台在线操作。【课程对象】大数据技术相关人员【学员基础】具备初步的IT基础知识【课程大纲】（2天*6小时）时间内容案例实践与练习Day1上午第一篇java 语言概述一、java 语言概述二、java 应用场景三、java 发展历史案例讨论：大数据行业应用价值Day1下午第二篇 java 语言基础一、 java编译原因二、基本的数据结构三、案例练习： java基础开发Day2上午第三篇java 面向对象开发一、类及对象二、识别类及类之间关系三、 Java类库中的GregorianCalendar类案例练习：面向对象开发Day2下午第四篇 java 开发应用一、图形程序设计基础二、创建框架及框架定位三、部署应用程序和applet案例练习：java 开发应用课程3：Linux基础-1天【匹配关键知识点】Linux概念及简单操作等内容。【课程时间】1天（6小时/天）【课程简介】本课程通过Linux系统体系及命令的介绍，帮助学员掌握Linux的核心原理和管理开发方法。培训实践与理论并重，通过理论讲解，实例分析，以及对关键技术的实操练习，从而帮助学员深刻理解Linux核心原理和提升学员在工作中的实践技能。。【课程收益】1、了解Linux核心原理2、了解Linux的系统体系功能3、掌握Linux的基本命令及应用【课程特点】通过“知识地图”和 “沙盘演练”帮助学员“边干边学”，提升其行动学习能力：● 采用“知识地图”形成持续学习网络“知识地图”分共三级：一级是领域知识一览图（思维导图）；二级是高度提炼的知识内容要点（PPT）；三级是中外优质资源的知识原文出处（网站链接）。通过 “知识地图”，帮助学员构建持续学习网络，使其对大数据架构“领域知识”一览无余，“前沿动态”实时掌握！● 通过“沙盘演练”在实战中学习课堂没有冗长乏味的理论讲授，而是通过“沙盘演练”，用实战串讲知识，用演练提升能力，助学员迅速从“初出茅庐”的新兵成长为“身经百战”的长胜将军，并具备在行动中学习的能力。● 本课程对应上机环境提供学员大数据虚拟机环境可以本地操作，也可以在线登录老师自主开发的大数据实战平台在线操作。【课程对象】大数据技术相关人员【学员基础】具备初步的IT基础知识【课程大纲】（1天*6小时）时间内容案例实践与练习Day1上午第一篇Linux系统基础一、开源历史、Linux系统的种类及优势特性二、常用的Linux系统命令及内核原理三、 Linux系统RPM、Yum及守护进程机制理论案例练习：Linux系统命令Day1下午第二篇 Linux系统命令一、 Linux系统命令Shell脚本原理及作用，环境变量的作用二、 Linux系统内核与BASH解释器的关系三、 Linux用户管理文件管理进程管理案例练习：用户管理文件管理进程管理实战演练课程4：大数据基础理论与算法入门-7天【匹配关键知识点】数理统计基础理论， SQL语法与应用实战，数据建模基础理论，数据预处理、探索性数据分析，数据采集、抽样和预测，SVM算法、决策树算法、聚类算法、贝叶斯算法、回归算法等内容。【课程时间】7天（6小时/天）【课程简介】本课程通过大数据基础理论与算法的介绍，帮助学员掌握大数据大数据基础理论与算法基础。培训实践与理论并重，通过理论讲解，实例分析，以及对关键技术的实操练习，从而帮助学员深刻理解大数据基础理论与算法应用和提升学员在工作中的实践技能。【课程收益】1、了解大数据基础理论及应用场景2、了解大数据核心算法原理3、掌握大数据平台基础理论与算法应用开发【课程特点】通过“知识地图”和 “沙盘演练”帮助学员“边干边学”，提升其行动学习能力：● 采用“知识地图”形成持续学习网络“知识地图”分共三级：一级是领域知识一览图（思维导图）；二级是高度提炼的知识内容要点（PPT）；三级是中外优质资源的知识原文出处（网站链接）。通过 “知识地图”，帮助学员构建持续学习网络，使其对大数据架构“领域知识”一览无余，“前沿动态”实时掌握！● 通过“沙盘演练”在实战中学习课堂没有冗长乏味的理论讲授，而是通过“沙盘演练”，用实战串讲知识，用演练提升能力，助学员迅速从“初出茅庐”的新兵成长为“身经百战”的长胜将军，并具备在行动中学习的能力。● 本课程对应上机环境提供学员大数据虚拟机环境可以本地操作，也可以在线登录老师自主开发的大数据实战平台在线操作。【课程对象】大数据技术相关人员【学员基础】具备初步的IT基础知识【课程大纲】（7天*6小时）时间内容第一天第1个主题：概率论与数理统计入门（目的：掌握必备的概率论与数理统计相关入门知识，为下个主题的深入讲解打好基础）聊聊概率这件事什么是随机变量什么是概率分布什么是古典概型联合概率与边缘概率乘法与全概率公式贝叶斯公式介绍独立性与独立事件课堂实操：概率统计各种相关类型习题讲解，由浅入深探索概率统计在各种业务/项目上的应用。第二天第2个主题：离散值的概率分布（目的：掌握离散值的概率分布相关知识点，包括伯努利、二项、方差等关键核心内容）定义与分布律介绍离散型随机变量介绍伯努利、二项及泊松分布期望值及其计算方法方差与标准差介绍大数定理介绍课堂实操：概率统计各种相关类型习题讲解，由浅入深探索概率统计第3个主题：SQL语法与应用实战（目的：掌握SQL语法及数据库实战应用）SQL概述数据库基本操作数据类型和约束条件数据填充与数据导入查询操作符与子查询SQL查询函数介绍课堂实操：动手实际实现客户订单查询案例第三天第4个主题：数据预处理（目的：掌握数据预处理的流程及方法）数据审核数据筛选数据排序数据清洗数据集成数据变换数据归约课堂实操：合并不同数据源数据、缺失值与异常值处理、数据标准化处理、Matplotlib绘图第5个主题：数据分析入门（目的：数据分析简介）数据分析概述数据分析开发环境搭建数据分析学习技巧课堂实操：量化炒股实例、python常用科学计算第四天第6个主题：Numpy与Pandas（目的：掌握数据处理常用库的使用）[Numpy]基本概述[Numpy]多维数据对象[Numpy]元素级别处理函数[Numpy]使用数组进行数据处理[Numpy]文件输入输出[Numpy]线性代数相关知识[Pandas]基本数据结构[Pandas]索引、选取、过滤、排序等[Pandas]汇总和计算描述统计[Pandas]缺失数据处理[Pandas]层次化索引课堂实操：数据处理及统计案例练习第五天第7个主题：大数据算法基础（目的：深入机器学习核心，掌握相关理论知识）K最邻近算法朴素贝叶斯线性回归梯度下降最大似然估计多重回归模型Logistic回归Logistic函数介绍支持向量机课堂实操：算法练习第六天第8个主题：大数据算法基础（目的：掌握核心算法以及了解机器学习相关的热门实现）什么是决策树什么是熵神经网络的感知机前向传播神经网络什么是聚类K均值算法自然语言处理推荐系统介绍课堂实操：实现机器学习相关完整案例第七天第9个主题：大数据算法实战训练（目的：带领学员完成大量的实战案例，巩固所学知识）课堂实操：深度学习热门框架实战课堂实操：花朵分类课堂实操：目标检测课堂实操：垃圾邮件处理课堂实操：金融数据分析课堂实操: kaggle竞赛实例课程5：Hadoop生态系统-7天【匹配关键知识点】HDFS使用操作， MapReduce开发，yarn原理和应用，Hbase数据库开发，Hive数据仓库开发，Scala入门等内容。【课程时间】7天（6小时/天）【课程简介】本课程通过Hadoop系统体系及命令的介绍，帮助学员掌握Hadoop的核心架构原理和管理开发方法。培训实践与理论并重，通过理论讲解，实例分析，以及对关键技术的实操练习，从而帮助学员深刻理解Hadoop生态系统及开发应用和提升学员在工作中的实践技能。【课程收益】1、了解Hadoop生态系统及应用场景2、了解Hadoop生态系统的核心功能和架构3、掌握Hadoop生态系统组件的基本命令及应用【课程特点】通过“知识地图”和 “沙盘演练”帮助学员“边干边学”，提升其行动学习能力：● 采用“知识地图”形成持续学习网络“知识地图”分共三级：一级是领域知识一览图（思维导图）；二级是高度提炼的知识内容要点（PPT）；三级是中外优质资源的知识原文出处（网站链接）。通过 “知识地图”，帮助学员构建持续学习网络，使其对大数据架构“领域知识”一览无余，“前沿动态”实时掌握！● 通过“沙盘演练”在实战中学习课堂没有冗长乏味的理论讲授，而是通过“沙盘演练”，用实战串讲知识，用演练提升能力，助学员迅速从“初出茅庐”的新兵成长为“身经百战”的长胜将军，并具备在行动中学习的能力。● 本课程对应上机环境提供学员大数据虚拟机环境可以本地操作，也可以在线登录老师自主开发的大数据实战平台在线操作。【课程对象】大数据技术相关人员【学员基础】学习完Java,Linux和大数据基础理论和应用前置课程【课程大纲】（7天*6小时）时间内容案例实践与练习Day1上午第一篇大数据Hadoop技术架构一、Hadoop在云计算技术的作用和地位，二、Hadoop的基础概念、数据管理、特性三、Hadoop集群及架构原理案例练习：Hadoop集群管理命令Day1下午第二篇 Hadoop组件详解：HDFS一、HDFS特征及读写文件二、NameNode的考虑三、HDFS安全概览案例练习：HDFS基础命令Day2上午第三篇Hadoop组件详解：HDFS一、运用 Hadoop文件Shell二、利用Flume 从外部源摄取数据三、利用Sqoop从关系数据库摄取数据案例练习：HDFS脚本及接口命令Day2下午第四篇 Hadoop的计算框架一、MapReduce原理及特征二、YARN2.0架构与原理三、Zookeeper和YARN2.0关系案例练习：MapReduce运行及调度Day3上午第五篇SQOOP核心原理架构一、SQOOP原理及特征二、SQOOP开发应用三、SQOOP和Hadoop关系案例练习：SQOOP开发Day3下午第六篇 zookeeper应用实战一、zookeeper原理及特征二、zookeeper架构与应用三、Zookeeper和Hadoop关系案例练习：Zookeeper集群管理命令Day4上午第七篇Hbase核心原理架构一、HBase原理及特征二、HBase and RDBMS三、HBase Shell案例练习：HBase Shell命令Day4下午第八篇 Hbase应用实战一、创建表二、HBase 的ROWKEY设计三、Hbase的优化设计案例练习：HBase 优化设计Day5上午第九篇Hive简介一、Hive模式和数据存储二、Hive与传统数据库的比较三、Hive应用案例案例练习：Hive模式及管理命令Day5下午第十篇 Hive 基础开发一、HQL基础DDL编程二、HQL基础DML编程三、HQL实现关联操作案例练习：Hive 基础开发Day6上午第十一篇Hive模型开发一、Hive管理的各中表与模型应用二、装载数据进入Hive 三、Hive维度模型开发应用案例练习：Hive模型开发Day6下午第十二篇 Hive与Flume,SQOOP组合应用一、Flume装载数据进入Hive 二、SQOOP装载数据进入Hive三、Hive开发与Hadoop关系案例练习：Hive接口开发Day7上午第十三篇Scala基础一、Scala基础知识二、Scala常用集合三、Scala应用场景案例练习：Scala基础开发Day7下午第十四篇 Scala开发应用一、函数对象二、编程实例三、Scala高级开发应用案例练习：Scala开发应用课程6：Spark生态系统-8天【匹配关键知识点】Spark生态系统概述及培训关键点概述，Spark SQL开发，Spark Streaming/Spark Mllib/ Spark Graphx开发等内容。【课程时间】8天（6小时/天）【课程简介】本课程通过Spark系统体系及命令的介绍，帮助学员掌握Spark的核心架构原理和管理开发方法。培训实践与理论并重，通过理论讲解，实例分析，以及对关键技术的实操练习，从而帮助学员深刻理解Spark生态系统及开发应用和提升学员在工作中的实践技能。【课程收益】1、了解Spark生态系统及应用场景2、了解Spark生态系统的核心功能和架构3、掌握Spark生态系统组件的基本命令及应用【课程特点】通过“知识地图”和 “沙盘演练”帮助学员“边干边学”，提升其行动学习能力：● 采用“知识地图”形成持续学习网络“知识地图”分共三级：一级是领域知识一览图（思维导图）；二级是高度提炼的知识内容要点（PPT）；三级是中外优质资源的知识原文出处（网站链接）。通过 “知识地图”，帮助学员构建持续学习网络，使其对大数据架构“领域知识”一览无余，“前沿动态”实时掌握！● 通过“沙盘演练”在实战中学习课堂没有冗长乏味的理论讲授，而是通过“沙盘演练”，用实战串讲知识，用演练提升能力，助学员迅速从“初出茅庐”的新兵成长为“身经百战”的长胜将军，并具备在行动中学习的能力。● 本课程对应上机环境提供学员大数据虚拟机环境可以本地操作，也可以在线登录老师自主开发的大数据实战平台在线操作。【课程对象】大数据技术相关人员【学员基础】学习完Java,Linux和大数据基础理论和应用前置课程【Spark生态系统系统课程大纲】（8天*6小时）时间内容案例实践与练习Day1上午第一篇Spark生态系统一、Spark发展历史及简介二、Spark业务应用场景三、Spark与Hadoop系统关系案例讨论：Spark与Hadoop系统关系Day1下午第二篇 Spark原理架构一、Spark原理及特征二、Spark架构及组件应用场景三、Spark接口及应用场景案例讨论：Spark接口及应用场景Day2上午第三篇Spark数据结构一、RDD基础二、转换操作与执行操作三、共享变量案例练习：RDD基础开发操作Day2下午第四篇 Spark计算模型一、Spark计算框架原理及特征二、Spark架构与应用三、Spark之宽窄依赖和DAG调度案例练习：Spark计算模型及运行日志查看Day3上午第五篇Spark调度模型一、Spark资源调度原理及特征二、Spark资源调度架构及应用三、Spark资源调度基于Hadoop案例练习：Spark调度命令Day3下午第六篇 Spark接口开发一、Spark生态系统接口介绍二、Spark生态系统接口与Hadoop三、Spark生态系统接口与大数据分析案例练习：Spark接口开发Day4上午第七篇Spark SQL基础开发一、Spark SQL原理与架构二、Hive SQL与Spark SQL 三、Spark SQL开发应用案例练习：Spark SQL基础开发Day4下午第八篇 Spark SQL模型开发一、Spark SQL与Hive二、Spark SQL与模型构建三、Spark SQL与数据挖掘分析案例练习：Spark SQL模型开发Day5上午第九篇Spark Streaming开发一、Spark Streaming基本原理二、Spark Streaming开发基础三、Spark Streaming开发应用案例练习：Spark Streaming开发Day5下午第十篇 Spark Mllib开发一、Spark ML读取数据二、Spark ML对数据进行探索三、Spark ML训练模型案例练习：Spark Mllib开发Day6上午第十一篇Spark Mllib开发一、Spark ML组装任务二、Spark ML评估、优化模型三、Spark Mllib开发案例练习：Spark Mllib开发Day6下午第十二篇 Spark Graphx应用一、Spark GraphX 的核心代码剖析二、Spark GraphX 命令方式操作三、Spark GraphX 的客户端 API 介绍案例练习：Spark Graphx开发Day7上午第十三篇SparkR接口开发一、R语言基础知识二、R语言开发基础三、SparkR开发及应用场景案例练习：SparkR开发Day7下午第十四篇 PySpark开发应用一、PySpark之Python基础二、Python数据结构三、Python循环结构案例练习：PySpark基础开发Day8上午第十五篇PySpark开发应用一、Python机器学习二、基于PySpark开发Python机器学习三、PySpark机器学习开发应用案例练习：PySpark机器学习开发应用Day8下午第十六篇 PySpark开发应用一、Python深度学习二、基于PySpark开发Python深度学习三、PySpark深度学习开发应用案例练习：PySpark深度学习开发应用课程7：大数据流式处理技

刘晖：大数据技术基础与建筑行业应用场景解析

课程概要

适用对象

课程介绍

刘晖老师的其他课程

相关课程

添加企业微信