51CTO大数据Hadoop生态圈体系资源介绍:
熟悉大数据概念,明确大数据职位都有哪些;熟悉Hadoop生态系统都有哪些组件;学习Hadoop生态环境架构,了解分布式集群优势;动手操作Hbase的例子,成功部署伪分布式集群;动手Hadoop安装和配置部署;动手实操Hive例子实现;动手实现GPS项目的操作;动手实现Kafka消息队列例子;
资源目录:
第1章大数据入门(2小时54分钟5节) 1-1大数据入门[51:54] 1-2大数据入门2[31:36] 1-3大数据架构问题[42:43] 1-4大数据架构问题[36:16] 1-5大数据官网[12:28] 第2章hadoop快速入门(2小时17分钟7节) 2-1环境安装准备[08:40] 2-2服务器网络配置[32:09] 2-3linux基本操作[44:07] 2-4域名映射、主机名、ssh免登陆[20:39] 2-5hadoop安装流程[09:43] 2-6hdfs shell基本使用[11:36] 2-7IDEA搭建maven项目[10:19] 第3章hadoop进阶篇(1)(2小时47分钟8节) 3-1Idea的快捷键[20:50] 3-2打成jar包提交到集群[17:50] 3-3HDFS快速入门[23:48] 3-4HDFS上传文件[12:23] 3-5HDFS上传文件流程[25:03] 3-6HDFS写文件流程[09:18] 3-7HDFS api代码编写[26:46] 3-8namenode角色分析[31:58] 第4章 hadoop进阶篇(2) (3小时2分钟 8节) 4-1昨日回顾[23:56] 4-2定期上传日志到HDFS[08:46] 4-3log4j代码编写[24:50] 4-4上传log4j代码到服务器,定期执行[22:08] 4-5定期上传文件到HDFS[12:04] 4-6MapReducer[18:51] 4-7MapReducer-01[32:57] 4-8MapReducer-02[38:48] 第5章 南京市出租车GPS日志分析 (5小时54分钟 14节) 5-1block和split区别[25:47] 5-2yarn资源调度策略[13:23] 5-3hdfs-mapreduce-yran[30:30] 5-4手机流量[18:33] 5-5自定义Partitioner[17:21] 5-6mapreduce压缩[23:17] 5-7gps案例题1[20:41] 5-8GPS案例题2[21:14] 5-9GPS案例3,4[24:41] 5-10GPS案例3[24:04] 5-11GPS案例4[50:23] 5-12把数据写入到数据库[36:57] 5-13echarts的简单入门[22:04] 5-14前后台数据交互[25:35] 第6章 hadoop高阶篇 (3小时43分钟 11节) 6-1combiner介绍[21:12] 6-2计数器的使用[12:56] 6-3Hadoop序列化和Java序列化对比[15:45] 6-4手机流量封装对象案例[11:14] 6-5对象做Key的时候需要其具有可比性[14:57] 6-6SequenceFile[16:21] 6-7小文件合并(1)[18:10] 6-8自定义输入[25:29] 6-9自定义输入(2)[14:07] 6-10自定义输出[27:47] 6-11groupingcomparator[45:29] 第7章 ganglia配置安装 (2小时11分钟 6节) 7-1Hadoop在Idea里面把任务提交到集群[04:06] 7-2IDEA本地伪造HDFS权限问题[07:02] 7-3Hadoop监控的安装[59:01] 7-4HadoopLocal监控[17:56] 7-5Hadoop的jmx[09:15] 7-6Zookeeper原理篇[34:09] 第8章 hadoop集群详解 (1小时36分钟 3节) 8-1hadoop HA原理篇[17:24] 8-2hadoopHA的架构图详解[42:31] 8-3hadoop HA集群搭建[36:48] 第9章 Zookeeper详解 (3小时17分钟 6节) 9-1zookeeper集群和结构[44:32] 9-2zookeeper数据结构和ACL[29:03] 9-3zookeeper 基本命令使用[40:26] 9-4zookeeper api使用[28:08] 9-5zookeeper监听器[24:58] 9-6zookeeper 上下线感知[30:06] 第10章 数据仓库ETL和Hive (2小时14分钟 6节) 10-1数据仓库和数据库和ETL原理[31:57] 10-2数据仓库和数据库案例[20:19] 10-3HIVE原理篇[18:38] 10-4数据库MySQL的安装[08:06] 10-5安装hive[40:12] 10-6内外表区别和hwi页面的安装[15:37] 第11章 hive详解篇 (2小时36分钟 8节) 11-1hive分区表[21:03] 11-2hive分桶[18:32] 11-3hive列修改[10:37] 11-4hive其它命令[11:44] 11-5hive动态分区[42:05] 11-6hive导出数据[16:41] 11-7hive的join操作[13:16] 11-8hive的maperjoin操作[22:43] 第12章 hive实战篇 (2小时42分钟 9节) 12-1UDF函数[15:49] 12-2统计每一年每个月有效访问总和[21:37] 12-3把上述结果存储到分区表里面[11:44] 12-4计算UA的有效访问比[07:06] 12-5统计用户来源情况[06:42] 12-6sqoop组件导出[11:46] 12-7hive导入HDFS[07:24] 12-8Hive访问时长统计[51:03] 12-9Hive级联求和[29:19] 第13章 Hive的GPS数据分析 (1小时4分钟 2节) 13-1基于hive的GPS项目分析[44:56] 13-2Zepplin数据分析工具的安装[19:57] 第14章 hbase快速入门 (2小时24分钟 6节) 14-1hbase概念篇[23:51] 14-2hbase安装[17:54] 14-3hbase shell[39:17] 14-4hbase shell 1[26:50] 14-5hbase shell 2[10:34] 14-6hbase 预分区[26:04] 第15章 Hbase详解篇 (2小时57分钟 5节) 15-1HBASE原理介绍[37:14] 15-2Memstore刷入磁盘[53:10] 15-3Hbase物理存储[36:40] 15-4Hbase的读写过程[24:53] 15-5Hbase的wal机制和读取[25:26] 第16章 Hbase实战篇 (58分钟 3节) 16-1Hbase的api[16:30] 16-2Hbase的Bulk进行Loading操作[27:13] 16-3Hbase的hive进行SQL整合[14:57]