Hadoop伪分布式搭建与配置备忘

发表于 2021-09-12 更新于 2022-12-09 分类于大数据技术

一、虚拟机环境准备

1.创建虚拟机，并安装CentOS6.5。虚拟机与系统的兼容性问题需要具体问题具体分析，采用命令行系统用远程连接工具进行操作比较方便。

2.修改虚拟机的静态IP

1	vi /etc/sysconfig/network-scripts/ifcfg-eth0

配置内容

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.100
PREFIX=24
GATEWAY=192.168.1.2
DNS1=192.168.1.2
DNS2=8.8.8.8
NAME="System eth0"

3.修改主机名

1	vim /etc/sysconfig/network

1	HOSTNAME=node0

4.关闭防火墙

关闭防火墙的命令

1	service iptables stop

关闭防火墙的开机自启

1	chkconfig iptables off

查看防火墙的状态

1	chkcofnig iptables --list

5.创建一个普通用户

创建用户

1	useradd zhuo

更改密码

1	passwd 123456

6.配置yitong用户具有root权限

1	vim /etc/sudoers

找到Allow root to run any commands anywhere那一行，在root那一行的下面添加我们的信息，如下面所示：

## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
zhuo  ALL=(ALL)       NOPASSWD:ALL

7．在/opt目录下创建文件夹

（1）在/opt目录下创建apps(用来安装jdk和hadoop)、soft(用来存放临时上传的安装包文件)文件夹

1	mkdir -p /opt/apps /opt/soft

（2）修改module、software文件夹的所有者，将文件的所有者改为新建的用户zhuo

1	chown yitong:yitong /opt/apps /opt/soft

8.修改hosts文件

1	vim /etc/hosts

在hosts文件的最后添加:

192.168.1.100 node0
192.168.1.101 node1
192.168.1.102 node2

阅读全文 »

基于Spark的智能餐饮推荐系统

发表于 2021-09-12 更新于 2022-12-09 分类于 A_项目经历&总结笔记_A

一、项目开发目的

随着科技的高速发展，人们的生活节奏也越来越快。忙碌的都市生活让许多年轻一族习惯于在餐饮外卖平台上进行订餐。“今天吃是什么”这个问题在生活中也越来越普遍。为了解决人们对于外卖餐饮的选择问题，本项目随之诞生。本项目的开发目的就在于为人们提供个性化的菜品推荐系统，解决人们选择困难的问题。

二、项目开发环境

1.项目设计组件及语言

1.hadoop

2.spark

3.Hive

4.spark

5.mysql

6.java

2.环境搭建流程

1.搭建Hadoop分布式集群

2.spark安装配置

3.mysql安装配置

4.hive安装配置

5.scala安装配置

6.idea配置maven仓库、scalasdk

3.数据来源及构成

数据来源是网站的数据库（MySQL）中保存着的菜品数据集

数据集用JSON格式存储，数据结构固定。每条记录由如下属性组成：UserID、Rating、ReviewTime、Review、MealID。其中，UserID为用户ID、Rating为用户评分、ReviewTime为评论时间戳、Review为用户评论、MealID为菜品ID。

本数据源包含38384条总记录数、总用户数为5130、总菜品数为1685，最高评分为5.0，最低评分为1.0。

工程文件:https://github.com/zhuozhuo233/Catering-recommendation

阅读全文 »

数据结构笔记

发表于 2021-07-06 更新于 2023-03-29 分类于数据结构与算法

序

数据结构是计算机存储、组织数据的方式。数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。数据结构往往同高效的检索算法和索引技术有关。

常见的数据结构有如下：

阅读全文 »