高校大年夜数据实训课程样板工程

高校大年夜数据实训课程样板工程

厦门大年夜学和厦门理工学院结合打造

扫一扫拜访本网页

本页内容快速导航

一、实训课程根本信息
2、课程设计的目标、义务与请求
3、选题的准绳
四、课程设计内容
五、课程设计的教授教化办法
六、先生名单
7、讲课过程
8、教授教化管理平台
9、先生作品

课程亮点:高校大年夜数据教授教化名师和企业大年夜数据工程师结合指导、“教授教化过程一体化管理平台”和“高校大年夜数据课程公共办事平台”全程助力、为高校量身定制的大年夜数据实训案例教材、环绕工程教导认证请求制订课程内容

(上图  2018年9月26日项目辩论停止后合影)

一、实训课程根本信息

1.实训标题基于协同过滤算法的片子推荐
2.实训时间:2018年9月3日-28日
3.实训先生:厦门理工学院计算机与信息工程学院软件工程专业2015级本科生(大年夜四),44人,没有任何大年夜数据技巧基本,没有进修过大年夜数据课程
4.实训类型:软件工程综合实际(大年夜数据偏向)
5.讲课教员:厦门大年夜学计算机迷信系 林子雨 助理传授
6.课程设计学时(周数):4周/84课时
7.实训教材:林子雨编著《大年夜数据实训案例:基于协同过滤算法的片子推荐》(官网
8.实训课程须要达到的专业工程认证卒业请求

(1)目标点4.1:针对软件开辟特定需求,懂得信息学科生长静态;
(2)目标点9.1:精确懂得小我与团队的关系,懂得团队协作的重要性,具有在多学科背景下团队协作的认识和才能;
(3)目标点9.2:在多学科背景的团队下,懂得团队成员的不合角色在团队中的感化,可以或许作为个别或团队成员完成所承当的义务;
(4)目标点10.2:具有书面表达与沟通才能、科技论文与技巧申报写作才能,可以或许撰写申报和设计文稿;
(5)目标点11.2:懂得市场、用户的需求变更和技巧生长,提出技巧改革、体系更新、效能改进的筹划。

9.实训教室:数字内容与信息智能处理实验室

实验室位于厦门理工学院精工园1号楼416教室,建于2008年6月,实验室面积约120平方米,设备总额约46万元。实验室装备具有较强的数据运算与图形图象处理才能的计算机,能满足图形图象处理、遥感图象处理、数据发掘、大年夜数据等课程的需求。

重要仪器设备:Dell OptiPlex7040 计算机61台,重要技巧参数:CPU: Intel 酷睿i5-6500;内存:16GB;硬盘:1TB*2;显示器:23寸 LCD。

大年夜数据情况搭建:本次实训课程没有采取任何厂商的大年夜数据实验平台。实验室机房外面的电脑应用Windows7操作体系,在实训课程中,由先生本身在Windows7体系中装置虚拟机软件VirtualBox,然后,在VirtualBox软件中装置Linux虚拟机(Ubuntu16.04),再在Linux虚拟机中装置各类大年夜数据软件,构建“伪分布式”的大年夜数据实验情况。由于机械的内存有16GB,所以,全部实训过程,运转异常流畅。

10.实训管理体系

本次实训课程采取“教授教化过程一体化管理平台”,对教授教化全过程停止高效的信息化管理。该体系具有课程资本管理、先生管理、讲课过程管理、讲课质量分析、成就主动统计等功能。

11.大年夜数据课程公共办事平台

厦门大年夜学扶植的大年夜数据课程公共办事平台(平台主页),为本次实训课程供给了强有力的支撑。先生在实训课程全程可以在线自在收费拜访平台上的大年夜量大年夜数据教授教化资本,处理实训课程的相干大年夜数据技巧困难。

(上图  实训课程教室照片)

12.实训成果文档:团队扶植和赏罚制度、文献综述、项目开辟筹划、需求分析解释书、体系设计解释书、项目代码、项目辩论PPT、用户手册。

2、课程设计的目标、义务与请求

1).课程设计目标

  • 懂得并控制软件项目开辟过程;
  • 练习自力或协同实施软件项目开辟各环节的才能;
  • 培养优胜的表达、沟通和团队协作才能;
  • 培养自立进修才能,可以或许自力地分析成绩和处理成绩;
  • 懂得开辟文档的感化及撰写标准,培养撰写文档的认识与才能;
  • 懂得并控制企业化的编程标准;
  • 积聚必定的编码量,进一步进步编码才能;
  • 懂得大年夜数据软件项目标架构;
  • 懂得大年夜数据应用的开辟需求,可以或许搭建及设备符合需求的开辟平台与情况;
  • 控制关系数据库的道理和操作办法;
  • 控制Hadoop分布式文件体系HDFS的道理和编程操作办法;
  • 控制大年夜数据处理架构Spark的道理和Spark MLlib法式榜样编写办法;
  • 控制数据ETL对象Kettle的应用办法;
  • 懂得数据发掘的步调和发掘办法,学会基于协同过滤算法的Spark法式榜样编写;
  • 控制数据可视化的技巧;

2).课程设计义务与请求

本课程设计项目触及数据的预处理、数据的存储、数据检查、算法编写、算法应用和大年夜数据成果展示等全流程所触及的各类典范操作,涵盖Linux、MySQL、Hadoop、Spark、SparkMlib、IntelliJ IDEA(简称IDEA)、Node.js等体系和软件的装置和应用办法。经过过程本项目,将有助于先生综合应用大年夜数据课程知识和各类对象软件,完成数据全流程操作。

本课程设计项目须要完成以下义务:

  • 装置Ubuntu操作体系;
  • 装置关系数据库MySQL;
  • 装置大年夜数据处理框架Hadoop;
  • 对Hadoop停止伪分布式情况设备;
  • 装置办事端说话js;
  • 装置ETL对象Kettle;
  • 对数据文件情势的原始数据集停止预处理;
  • 把数据文件的数据集ETL到HDFS中;
  • 应用Kettle将数据文件从Ubuntu本地文件导入HDFS;
  • 应用IDEA对象开辟Scala法式榜样;
  • 编写Spark法式榜样完成片子推荐功能;
  • 应用协同过滤算法完成片子的推荐;
  • 应用js说话搭建Web静态网页获得推荐成果。

本课程设计义务遵守真实的企业标准开辟流程,使先生懂得和领会谈业项目开辟的过程与情况。指导其完成制订开辟筹划、分析体系需求、设计体系架构及功能,让先生经过过程团队协作,在预定周期内完成软件项目标开辟,从而练习先生的编程开辟、文档撰写、兼顾筹划、分工协作等技能及才能。

3、选题的准绳

1.选题准绳

  • 符合现代企业信息化扶植的实际需求
  • 符合先生已学过的技巧实际知识

2.标题难度、深度、广度分析

  • 课题合适中小型企业需求
  • 触及行业范畴信息标准化设计
  • 覆盖软件工程中的各个重要环节

四、课程设计内容

课程设计标题:基于Spark MLlib的片子推荐

设计一个基于协同过滤算法的片子推荐算法,采取Scala说话编写Spark MLlib法式榜样完成该算法,应用已有的练习数据集对算法停止练习取得片子推荐模型,并用测试数据集停止片子推荐,最后,将推荐成果停止可视化展示。

根本需求包含:

(1)数据ETL:可以把保存在文本文件中的数据集,经过过程ETL对象,加载到分布式文件体系HDFS中。

(2)编写Spark法式榜样完成片子推荐功能:采取Scala说话,编写Spark MLlib法式榜样,对HDFS中的数据停止分析,完成片子推荐算法;

(3)可视化:采取可视化技巧,把分析成果展示给用户。

五、课程设计的教授教化办法

课程设计采取“技巧教授教化 + 项目实际”的情势,以技巧教授教化作为项目实际的预备和基本,以项目实际强化技巧教授教化的后果,并练习先生的团队协作、交换沟通和实施贸易项目开辟的才能。

技巧教授教化环节采取的教授教化办法包含:

  • 实际讲解:讲解技巧道理与编程技能;
  • 案例实际:设计编程案例,让先生着手完成;
  • 案例讲解与点评:讲解案例的完成办法,并针对先生在完成过程当中产生的成绩停止点评;

项目实际环节采取的教授教化办法包含:

  • 办法讲解:讲解开辟筹划、需求分析和体系设计的实施和文档撰写办法;
  • 案例实际:让先生分组协作,完成项目案例的开辟文档撰写;
  • 反应修改:对先生提交的开辟文档停止评阅,并即时反应成绩和修改看法;
  • 指导开辟:指导先生针对设计筹划停止项目开辟;

(上图  项目辩论最好团队取得林子雨师长教员赠书)

六、先生名单(共44人)

序号 专业 专业班级 学号 姓名
1 软件工程 2015级软件工程 1507052102 陈浩前
2 软件工程 2015级软件工程 1507052103 陈君钰
3 软件工程 2015级软件工程 1507052104 陈涛
4 软件工程 2015级软件工程 1507052106 陈伟鸿
5 软件工程 2015级软件工程 1507052110 耿衎
6 软件工程 2015级软件工程 1507052111 龚志松
7 软件工程 2015级软件工程 1507052114 何蕾
8 软件工程 2015级软件工程 1507052122 蒋东阳
9 软件工程 2015级软件工程 1507052123 靳彪
10 软件工程 2015级软件工程 1507052125 李鸿利
11 软件工程 2015级软件工程 1507052130 林卓瀚
12 软件工程 2015级软件工程 1507052131 刘凌志
13 软件工程 2015级软件工程 1507052132 吕鸿鹏
14 软件工程 2015级软件工程 1507052133 欧阳韬韬
15 软件工程 2015级软件工程 1507052134 苏伟毅
16 软件工程 2015级软件工程 1507052135 苏镇锋
17 软件工程 2015级软件工程 1507052136 王依婷
18 软件工程 2015级软件工程 1507052138 许富翔
19 软件工程 2015级软件工程 1507052139 薛伟强
20 软件工程 2015级软件工程 1507052141 杨一郎
21 软件工程 2015级软件工程 1507052143 张表铭
22 软件工程 2015级软件工程 1507052220 李闽浩
23 软件工程 2015级软件工程 1507052223 廖建超
24 软件工程 2015级软件工程 1507052245 朱佳乐
25 软件工程 2015级软件工程 1507052308 陈文娟
26 软件工程 2015级软件工程 1507052309 陈卓
27 软件工程 2015级软件工程 1507052310 偏向旭
28 软件工程 2015级软件工程 1507052316 李家灏
29 软件工程 2015级软件工程 1507052322 林诚希
30 软件工程 2015级软件工程 1507052323 林城
31 软件工程 2015级软件工程 1507052331 吴熙
32 软件工程 2015级软件工程 1507052333 许志峰
33 软件工程 2015级软件工程 1507052336 张亚婷
34 软件工程 2015级软件工程 1507052339 郑神昊
35 软件工程 2015级软件工程 1507052340 郑时凯
36 软件工程 2015级软件工程 1507052342 郑小龙
37 软件工程 2015级软件工程 1507052343 朱子恒
38 软件工程 2015级软件工程 1507052403 蔡燕银
39 软件工程 2015级软件工程 1507052410 陈颖颖
40 软件工程 2015级软件工程 1507052415 何宇杰
41 软件工程 2015级软件工程 1507052421 林俐婷
42 软件工程 2015级软件工程 1507052437 游艺超
43 软件工程 2015级软件工程 1507052439 张明杰
44 软件工程 2015级软件工程 1507052442 郑雪梅

(上图  实训课程教室照片)

7、讲课过程

讲课时间:2018年9月3日到28日,共84学时

序号 课程主题 讲课日期 讲课时间 学时 作业
1 Linux体系装置及应用办法 2018-09-03 08:20 ~ 11:50 4 作业1:Linux装置、经常使用敕令和相干软件用法
2 Hadoop的装置和应用办法 2018-09-03 14:20 ~ 16:50 3 作业2:装置Hadoop
3 分布式文件体系HDFS简介及其经常使用Shell敕令 2018-09-04 08:20 ~ 11:50 4 作业3:HDFS经常使用Shell敕令
4 Spark框架简介及情况搭建 2018-09-04 14:20 ~ 16:50 3 作业4:Spark情况搭建及法式榜样编译运转
5 Scala说话基本 2018-09-05 08:20 ~ 11:50 4 作业5:Scala装置和低级编程实际
团队扶植文档
团队赏罚制度
9-5小组会议记要
6 Spark编程基本 2018-09-07 08:20 ~ 11:50 4 作业6:RDD编程低级实际
7 开辟对象IntelliJ IDEA的装置和应用办法 2018-09-07 14:20 ~ 16:50 3 作业7:应用IntelliJ IDEA开辟Spark应用法式榜样
周记申报(第1周)
8 MySQL数据库和ETL对象Kettle的装置和应用办法 2018-09-10 08:20 ~ 11:50 4 作业8:MySQL数据库的装置和应用办法
作业9:ETL对象Kettle的装置和应用办法
9 推荐体系与协同过滤算法 2018-09-10 14:20 ~ 16:50 3 文献综述
9-10小组会议记要
10 Spark MLlib法式榜样编写办法 2018-09-11 08:20 ~ 11:50 4 作业10:在Spark MLlib中应用ALS算法
11 Node.js的装置和应用办法 2018-09-11 14:20 ~ 16:50 3 作业11:应用Node.js完成词频统计网页应用法式榜样
9-11小组会议记要
12 Spark读写MySQL数据库 2018-09-12 08:20 ~ 11:50 4 作业12:应用Spark SQL读写MySQL数据库
9-12小组会议记要
13 项目开辟筹划 2018-09-14 08:20 ~ 11:50 4 撰写项目开辟筹划
14 撰写需求分析解释书 2018-09-14 14:20 ~ 16:50 3 9-14小组会议记要
周记申报(第2周)
15 撰写需求分析解释书 2018-09-17 08:20 ~ 11:50 4 撰写需求分析解释书
16 撰写需求分析解释书 2018-09-17 14:20 ~ 16:50 3 提交需求分析解释书和辩论PPT
17 需求分析解释书评审 2018-09-18 08:20 ~ 11:50 4 需求分析解释书评审
18 体系设计解释书撰写 2018-09-18 14:20 ~ 16:50 3 体系设计解释书撰写
19 体系设计解释书撰写 2018-09-19 08:20 ~ 11:50 4 体系设计解释书撰写
20 体系设计解释书撰写 2018-09-21 08:20 ~ 11:50 4 体系设计解释书撰写
21 项目开辟 2018-09-21 14:20 ~ 16:50 3 项目开辟
22 项目开辟 2018-09-25 08:20 ~ 11:50 4 项目开辟
23 项目开辟和用户手册撰写 2018-09-25 14:20 ~ 16:50 3 项目开辟和用户手册撰写
24 项目辩论 2018-09-26 08:20 ~ 11:50 4 项目辩论

(上图  实训课程林子雨师长教员在上课)

(上图  林子雨师长教员在解答先生成绩)

(上图  实训教室上先生团队在评论辩论处理成绩)

(上图  不合团队之间在互订交换进修)

8、教授教化管理平台

本次实训课程采取“教授教化过程一体化管理平台”,对教授教化全过程停止高效的信息化管理。该体系具有课程资本管理、先生管理、讲课过程管理、讲课质量分析、成就主动统计等功能。

先生作品

相册