数据开发 - Spark实操
一、Spark安装部署1、下载安装下载地址：https://archive.apache.org/dist/spark/
官方文档:https://spark.apache.org/docs/3.0.0/
解压安装：tar -zxvf /opt/software/spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
修改文件名：mv /opt/module/spark-3.0.0-bin-hadoop3.2 /opt/module/spark
配置并生效环境变量：vim /etc/profile.d/my_env.sh
123#SPARK_HOMEexport SPARK_HOME=/opt/module/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
二、提交任务：bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://hadoop102:7077 ./examples/jars/s ...
数据开发 - Kafka-Eagle实操
一、Kafka-Eagle安装部署1、下载安装下载地址：https://www.kafka-eagle.org/
官方文档：https://docs.kafka-eagle.org/
解压目录：tar -zxvf kafka-eagle-bin-2.0.8.tar.gz
进入目录，解压安装：tar -zxvf /opt/software/efak-web-2.0.8-bin.tar.gz -C /opt/module/
修改文件名：mv /opt/module/efak-web-2.0.8 /opt/module/efak
配置并生效环境变量：vim /etc/profile.d/my_env.sh
123#KE_HOMEexport KE_HOME=/opt/module/efakexport PATH=$PATH:$KE_HOME/bin
2、配置文件
修改eagle配置文件system-config.properties：vim ./conf/system-config.properties
1234567891011121314151617181920######### ...
数据开发 - Flume实操
一、Flume安装部署1、下载安装下载地址：https://flume.apache.org/download.html
官方文档：https://flume.apache.org/documentation.html
解压安装：tar -zxf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/
删除lib文件夹下的guava-11.0.2.jar（以兼容Hadoop 3.1.3）：rm /opt/module/flume/lib/guava-11.0.2.jar
配置并生效环境变量：vim /etc/profile.d/my_env.sh
123#FLUME_HOMEexport FLUME_HOME=/opt/module/flume-1.9.0export PATH=$PATH:$FLUME_HOME/bin
修改log日志位置：vim conf/log4j.properties
1flume.log.dir=/opt/module/flume/logs
修改堆内存配置：vim conf/flume ...
数据开发 - Hive实操
一、Hive安装部署1、下载安装下载地址：http://archive.apache.org/dist/hive/
官方文档：https://cwiki.apache.org/confluence/display/Hive/Home#Home-HiveDocumentation
解压安装：tar -zxf /opt/software/zookeeper-3.5.7 -C /opt/module/
解决jar冲突问题：将lib目录下的log4j-slf4j-impl-2.10.0.jar重命名
配置并生效环境变量
123#HIVE_HOMEexport HIVE_HOME=/opt/module/hive-3.1.2export PATH=$PATH:$HIVE_HOME/bin
2、配置文件修改以下Hadoop配置文件，分发并重启集群
1. 修改core-site.xml
命令：vim /opt/module/hadoop/etc/hadoop/core-site.xml
123456789101112131415<!-- 配置该atguigu(superUser)允许通 ...
数据开发 - Hadoop实操
一、环境搭建Apache Hadoop下载地址：https://hadoop.apache.org/releases.ht
Cloudera Hadoop下载地址：
Hortonworks Hadoop下载地址：https://hortonworks.com/downloads
解压安装：tar -zxf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module/
配置并生效环境变量
vim /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
123456789101112131415161718192021222324252627282930313233343536373839404142434445 3. `source /etc/profile.d/my_env.sh`3. 测试安装结果：`hadoop version`# 二 ...
数据开发 - Zookeeper实操
一、Zookeeper安装部署1、下载安装下载地址：https://archive.apache.org/dist/zookeeper
官方文档：https://zookeeper.apache.org/doc/r3.5.7/index.html
解压安装：tar -zxf /opt/software/apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/
配置并生效环境变量
vim /etc/profile.d/my_env.sh
#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
1234567891011121314 3. `source /etc/profile.d/my_env.sh`## 2、环境配置#### 1、本地模式1. 创建dataDir路径目录：`mkdir zkData`2. 重命名配置文件zoo_sample.cfg：`mv conf/zoo_sample.cfg ...
数据开发 - Linux基础配置
为集群中的每台节点搭建环境
1238.130.128.20 hadoop102ali8.130.128.15 hadoop103ali8.130.112.59 hadoop104ali
一、基础配置
配置网络为静态IP：vim /etc/sysconfig/network-scripts/ifcfg-ens33
12345678910111213141516171819202122TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=no# 修改为staticBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=ba43e2d0-a0bf-46a2-81fb-04751e8394beDEVICE=ens33# 修改为yesONBOOT=yes# 设置IP地址和网关地址，添加DN ...
前端开发 - Vue框架
一、Vue概述
Vue.js是前端三大新框架之一（Angular.js、React.js、Vue.js）
Vue.js读音 /vjuː/, 类似于 view
Vue.js是一个轻巧、高性能、可组件化的MVVM库，同时拥有非常容易上手的API
Vue.js是一个构建数据驱动的Web界面的库
Vue.js是一套构建用户界面的渐进式框架
Vue.js 的目标是通过尽可能简单的 API 实现响应的数据绑定和组合的视图组件，核心是一个响应的数据绑定系统
Vue.js框架的作者是尤雨溪，他认为未来App的趋势是轻量化和细化，能解决问题的应用就是好应用
二、创建Vue实例
官方提供了两个包：开发环境版本和生产环境版本
12345678910111213141516171819202122232425<!DOCTYPE html><html><head> <meta charset="utf-8"> <title></title> <!-- 导包 --> ...
Python开发 - mini-web框架
一、web框架概述
web框架：为web服务器提供服务的应用程序，专门负责处理用户的动态资源请求
WSGI协议：web服务器和web框架之间进行协同工作的一个规则，规定web服务器把动态资源的请求信息传给web框架处理，web框架把处理好的结果返回给web服务器
工作流程
web服务器接收浏览器发起的请求，如果是动态资源请求找web框架来处理
web框架负责处理浏览器的动态资源请求，把处理的结果发生给web服务器
web服务器再把响应结果发生给浏览器
二、框架程序开发1. web服务器-动态资源判断
根据请求资源路径的后缀名进行判断，如果请求资源路径的后缀名是.html，则是动态资源请求，让web框架程序进行处理。否则是静态资源请求，让web服务器程序进行处理。
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828 ...
Python开发 - 静态web服务器
一、HTTP 协议1、HTTP 协议
HTTP 协议全称：HyperText Transfer Protocol，即超文本传输协议
HTTP 协议由蒂姆·伯纳斯-李在1991年设计出来，最初目的是传输网页数据，后来允许传输任意类型的数据
HTTP 协议规定了浏览器和 Web 服务器通信数据的格式，即浏览器和Web服务器通信需要使用 HTTP协议
2、浏览器访问web服务器的通信过程
传输 HTTP 协议格式的数据是基于 TCP 传输协议的，发送数据之前需要先建立连接
二、URL1、 URL的概念
URL全称：Uniform Resoure Locator，即统一资源定位符，也叫网络资源地址（网址）
2、URL的组成
协议部分：https://、http://、ftp://
域名部分：WWW.XXX.XXX
资源路径部分：/XXX/XXX
查询参数部分：?XXX&XXX
三、查看 HTTP 通信过程1、打开开发者工具（以谷歌为例）
Windows和Linux平台：快捷键F12
...