大年夜数据技巧基本课程

《大年夜数据技巧基本》课程简介

主讲教员:林子雨(ziyulin@xmu.edu.cn, http://www.cs.xmu.edu.cn/linziyu)

(本网页内容是2013年老旧内容,不要应用,建议点击这里直接拜访《大年夜数据技巧道理与应用(第2版)》教材官网获得各类最新的大年夜数据教授教化材料)


课程信息 | 讲课班级 | 教材教材下载


由林子雨编著的《大年夜数据技巧道理与应用》教材曾经过人平易近邮电出版社出版发行,京东、铛铛网滞销书本

大年夜数据技巧道理与应用推行链接图片

点击这里拜访《大年夜数据技巧道理与应用》教材官网

大年夜数据课程教员办事站LOGO1

(点击这里拜访大年夜数据课程教员办事站)

大年夜数据课程公益项目横幅1

迎接拜访厦门大年夜学帮助国际高校开设大年夜数据课程公益项目主页

大年夜数据课程先生办事站LOGO

点击这里拜访大年夜数据课程先生办事站

大年夜数据地下课全国巡讲筹划LOGO-2015-Oct-06

点击这里拜访大年夜数据地下课全国巡讲筹划

大年夜数据技巧,厦门大年夜学,林子雨

课程信息

课程称号 课程类型 讲课对象 学时 讲课难度 讲课地点
大年夜数据技巧基本 研究生选修课 信息迷信与技巧学院研究生 48 厦大年夜海韵园

 

1.《大年夜数据技巧基本》评论辩论要点简介大年夜数据技巧相干基本知识,包含大年夜数据概述、大年夜数据处理模型、大年夜数据关键技巧、大年夜数据时代面对的新挑衅、NoSQL数据库、云数据库、Google Spanner、Hadoop、HDFS、HBase、MapReduce、Zookeeper、流计算、图计算和Google Dremel等。2. 进修安排□讲课  □读参考书  □检索相干的研究论文  □相干的自我上机操作和编程  □大年夜数据范畴专题申报  □期中作业  □期末测验3. 参考书本[1] 陆嘉恒. Hadoop实战. 机械工业出版社. 2011年.[2] 曾大年夜聃, 周傲英(译). Hadoop威望指南中文版. 清华大年夜学出版社. 2010年.[3] 迪米达克 (Nick Dimiduk),卡拉纳 (Amandeep Khurana),谢磊. HBase实战中文版.人平易近邮电出版社; 第1版 (2013年9月1日)4. 课程教材《大年夜数据技巧基本》课程教材,由林子雨师长教员本身亲身编写,本课程网页供给教材PDF和教材PPT的下载。《大年夜数据技巧基本》(林子雨 编写)是中国高校第一本大年夜数据技巧方面的教程(收费共享教材PDF版本),可以作为计算机专业研究生《大年夜数据技巧基本》课程的参考帮助教材,由林子雨对大年夜量搜集材料和相干书本内容停止浏览整顿后编写而成, 深刻浅出周全简介大年夜数据相干知识,全书内容包含大年夜数据概述、大年夜数据关键技巧与挑衅、NoSQL数据库、云数据库、Google Spanner、Hadoop、HDFS、HBase、MapReduce、Zookeeper、流计算、图计算和Google Dremel等。《大年夜数据技巧道理与应用——概念、存储、处理、分析与应用》是由林子雨在《大年夜数据技巧基本》(收费共享教材PDF版本)的基本上,重新整顿编写的高校教材,前者与后者比拟,在知识体系上加倍周全,知识点陈述加倍精确,图文编辑加倍美不雅。《大年夜数据技巧道理与应用——概念、存储、处理、分析与应用》曾经于2015年6月由人平易近邮电出版社正式出版发行,并可收费下载与教材配套的教材(可编辑的PPT格局),点击这里拜访教材主页

 

讲课班级

班级 人数 合影 相册 结课仪式 班级主页 备注
2013 59 检查 检查 拜访该班级主页 该课程开设后的第一个班级

备注:林子雨师长教员从2013年9月开端主讲《大年夜数据技巧基本》课程,之前林子雨主讲的研究生课程《分布式数据库技巧》往后不再开课,假设须要检查汗青班级讲课情况,请拜访《分布式数据库技巧》课程网页

教材教材下载

媒介

本教程由厦门大年夜学计算机迷信系教员林子雨编著,可以作为计算机专业研究生课程《大年夜数据技巧基本》的帮助教材。

本教程共13章,内容包含:第1章 大年夜数据概述、第2章 大年夜数据关键技巧与挑衅、第3章 Hadoop、第4章 MapReduce、第5章 HDFS、第6章 Zookeeper、第7章 HBase、第8章 流计算、第9章 图计算、第10章 NoSQL数据库、第11章 云数据库、第12章 Google Spanner和第13章 Google Dremel。

本教程由林子雨师长教员团队协力完成,编写任务分工以下:林子雨担任编写第1章、第2章、第3章、第4章、第5章、第6章、第7章、第10章、第11章和第12章;蔡珉星担任编写第8章,李雨倩担任编写第9章,叶林宝担任编写第13章。

本教程是林子雨经过过程大年夜量浏览、搜集、整顿各类材料后精心制造的进修材料,与广大年夜数据库爱好者共享。教程中的内容大年夜部分来自搜集材料和书本,一部分是本身撰写。关于自写内容,林子雨师长教员具有著作权。感激林子雨师长教员团队的多位同窗的大年夜量协助任务,包含厦门大年夜学计算机迷信系2011级研究生赖明星同窗、2012级研究生刘颖杰和叶林宝同窗、2013级研究生蔡珉星、李雨倩同窗,他们为本教程的撰写做了大年夜量积极的供献,包含材料搜集、整顿、教材PPT制造等。

本教程PDF文档及其全套教授教化PPT可以经过过程搜集收费下载和应用(下载地址:http://minzyweb.com/post/1089)。教程中能够存在一些成绩,迎接读者提出宝贵看法和建议!

本教程曾经应用于厦门大年夜学计算机迷信系研究生课程《大年夜数据技巧基本》,迎接拜访2013班级网站http://minzyweb.com/post/1090。

林子雨的E-mail是:ziyulin@xmu.edu.cn

林子雨的小我主页是:http://www.cs.xmu.edu.cn/linziyu。

林子雨于厦门大年夜学海韵园

2013年9月

整本教材下载

由林子雨在《大年夜数据技巧基本》这本书基本上编著的教材《大年夜数据技巧道理与应用——概念、存储、处理、分析与应用》曾经于2015年6月由人平易近邮电出版社正式出版发行,供给全套教材教材下载(可编辑的PPT格局)

点击这里下载《大年夜数据技巧基本》整本教材PDF,一个PDF文件包含一切章节内容

本教材曾经应用于厦大年夜计算机系研究生教授教化,迎接点击这里拜访大年夜数据技巧基本2013班级主页

分章节下载

章节 标题 内容摘要 编写 校订 教材PDF 教材PDF
第1章 大年夜数据概述 大年夜数据概念、大年夜数据的产生和应用、大年夜数据感化、大年夜数据与大年夜范围数据、海量数据的差别、典范的大年夜数据应用实例、从数据库到大年夜数据、大年夜数据与云计算、大年夜数据与物联网、对大年夜数据的缺点熟悉、大年夜数据技巧、大年夜数据存储和管理技巧、大年夜数据生态体系 林子雨 林子雨 下载 下载
第2章 大年夜数据关键技巧与挑衅 大年夜数据处理根本流程、大年夜数据处理模型、大年夜数据关键技巧(文件体系、数据库体系、索引和查询技巧、数据分析技巧)、大年夜数据处理对象、大年夜数据时代面对的挑衅 (大年夜数据集成、大年夜数据分析、大年夜数据隐私成绩、大年夜数据能耗成绩、大年夜数据处理与硬件的协同、大年夜数据管理易用性成绩、性能测试基准) 林子雨 林子雨 下载 下载
第3章 Hadoop Hadoop概述、Hadoop生长简史、Hadoop的功能与感化、为甚么不消关系型数据库管理体系、 Hadoop的长处、Hadoop的应用近况和生长趋势、Hadoop项目及其构造、Hadoop的体系构造、Hadoop与分布式开辟、Hadoop应 用案例、Hadoop平台上的海量数据排序 林子雨 林子雨 下载 下载
第4章 MapReduce 分布式并行编程:编程方法的变革、MapReduce模型概述、Map和Reduce函数、MapReduce任务流程、并行计算的完成、实例分析:WordCount、新MapReduce框架Yarn 林子雨 林子雨 下载 下载
第5章 HDFS HDFS的假定与目标、HDFS的相干概念、HDFS体系构造、HDFS定名空间、HDFS存储道理、通信协定、数据缺点与异常、从HDFS看分布式文件体系的设计需求 林子雨 林子雨 下载 下载
第6章 Zookeeper Zookeeper简介(体系架构、设计目标和特点)、Zookeeper的任务道理(选主流程、同步流程、任务流程)、Zookeeper的数据模型、Zookeeper的典范应用处景(同必定名办事、设备管理、集群管理、共享锁、队列管理) 林子雨 林子雨 下载 下载
第7章 HBase HBase简介、HBase应用处景和成功案例、HBase和传统关系数据库的比较分析、HBase拜访接口、HBase数据模型、HBase体系架构、HBase存储格局、读写数据、MapReduce on HBase 林子雨 林子雨 下载 下载
第8章 流计算 流计算概述、流计算处理流程、流计算应用、流计算框架Storm 蔡珉星 林子雨 下载 下载
第9章 图计算 图计算简介、Google Pregel简介、Google Pregel图计算模型、Pregel的C++ API、Pregel模型的根本体系构造、Pregel模型的应用实例、改进的图计算模型 李雨倩 林子雨 下载 下载
第10章 NoSQL数据库 NoSQL简介、NoSQL近况、为甚么要应用NoSQL数据库、NoSQL数据库的特点、NoSQL的五大年夜挑衅、对NoSQL的质疑、NoSQL的三大年夜基石、NoSQL数据库与关系数据库的比较、典范的NoSQL数据库分类、NoSQL数据库开源软件 林子雨 林子雨 下载 下载
第11章 云数据库 云数据库概述、云数据库的特点、云数据库是海量存储需求的必定选择、云数据库与传统的分布式数据库、云数据库的影响、云数据库产品 、数据模型、数据拜访办法、编程模型 林子雨 林子雨 下载 下载
第12章 Google Spanner Spanner背景、与BigTable、Megastore的比较、Spanner的功能、体系构造、Spanserver、Directory、数据模型、TrueTime、Spanner的并发控制 林子雨 林子雨 下载 下载
第13章 Google Dremel Dremel概述、Dremel的数据模型、嵌套列式存储、查询说话、查询的履行 叶林宝 林子雨 下载 下载

林子雨师长教员教材编写团队

林子雨 叶林宝 蔡珉星
林子雨
助理传授
叶林宝
2012级研究生
蔡珉星
2013级研究生
李雨倩
2013级研究生