开发实践 on 蛋蛋忧桑

.bash_profile配置-命令行工具代理

Tue, 28 Oct 2025 15:21:14 +0800

mac的终端中要让命令行工具使用代理，在.bash_profile中写入如下代码。用proxy命令开启，unproxy命令关闭。

注意：命令默认是一次性的、临时生效的。

alias proxy="
 export http_proxy=socks5://127.0.0.1:7890;
 export https_proxy=socks5://127.0.0.1:7890;
 export all_proxy=socks5://127.0.0.1:7890;
 export no_proxy=socks5://127.0.0.1:7890;
 export HTTP_PROXY=socks5://127.0.0.1:7890;
 export HTTPS_PROXY=socks5://127.0.0.1:7890;
 export ALL_PROXY=socks5://127.0.0.1:7890;
 export NO_PROXY=socks5://127.0.0.1:7890;"
alias unproxy="
 unset http_proxy;
 unset https_proxy;
 unset all_proxy;
 unset no_proxy;
 unset HTTP_PROXY;
 unset HTTPS_PROXY;
 unset ALL_PROXY;
 unset NO_PROXY"

.vimrc配置文件

Thu, 23 Oct 2025 11:54:24 +0800

" ----------------------------
" 基础设置
" ----------------------------

" 开启语法高亮
syntax on

" 显示行号
set number

" 搜索高亮
set hlsearch
set incsearch

" 启用鼠标操作（可选）
set mouse=a

" 显示状态栏
set laststatus=2

" 显示行末空格和制表符
set list listchars=tab:>-,trail:·

" ----------------------------
" 缩进设置
" ----------------------------

set autoindent
set smartindent
set expandtab
set tabstop=4
set shiftwidth=4
set softtabstop=4

" ----------------------------
" TrueColor 支持
" ----------------------------
if has("termguicolors")
 set termguicolors
endif

httpclient与hertzclient在处理Host header时的差别

Fri, 22 Aug 2025 16:41:32 +0800

本文中的Host header、request.header.host、req.Header[“Host”]都指的是请求头中的“Host”字段。

问题提出

在请求转发的过程中，需要从原请求中拿到一些信息来构造新的转发出去的请求，其中就有Host header的问题。一开始我使用的是httpclient，复制请求头的逻辑就是清除一些字段后直接全部复制过去（Host header不在清除范围内），此时程序正常运行。

c.Request.Header.VisitAll(func(key, value []byte) {
		req.Header.Add(string(key), string(value))
	})

当我将httpclient切换成hertzclient后，发现一模一样的复制请求头的逻辑遇到了404的错误。经过一番排查发现是httpclient和hertzclient两者对于request.header.host的处理方式不同。对于hertzclient来说，正确的方式应该是不复制请求头中的Host字段。

c.Request.Header.VisitAll(func(key, value []byte) {
		if string(key) != "Host" {	 // hertz框架中的client不会更改header.Host，所以不能用原来的Host
			req.Header.Add(string(key), string(value))
		}
	})

httpclient

httpclient请求最终发送的 Host header 并不是取自 req.Header[“Host”]，而是由 req.Host 字段决定，如果 req.Host 为空，则默认为 req.URL.Host。

所以说虽然我一开始直接把原始的、错误的 Host header 复制了过去，但是httpclient对请求的 Host header 进行了替换，没有用我设置的 Host header ，所以并没有出现问题。

hertzclient

hertzclient最后发送的 Host header 就是取自 req.Header[“Host”] 的，所以说当我将原来的 request.header.host 写到新请求中后，hertzclient发送请求直接使用的是我设置的 Host header ，所以出现404的问题。

如果说依然使用完整复制的方法，在最后需要用req.Header.SetHost()替换原始的、错误的 Host header 。注意不是req.SetHost()，这个方法是设置建立连接的主机地址。

Host header作用

那话说回来，为什么使用错误的Host header会出现404的问题呢？Host header究竟是起到什么样的作用呢？

当一个网络请求发出去之后，网址会经过DNS解析为ip地址并建立连接，当连接到服务器后，则会用到 Host header 进行虚拟主机分流。

而虚拟主机（Virtual Host）是一种服务器技术，它允许在同一台物理服务器（同一个IP地址）上运行多个网站。换句话说，你可以用一台服务器托管多个不同域名的网站，而不需要每个网站都分配一个独立的服务器。区分用户到底访问的是哪个网站的方式就是使用 Host header 进行分流。

总体来说，一个请求的流程是：域名 → DNS 解析 → IP 地址 → 建立 TCP/SSL 连接 → 发送 HTTP 请求头 (Host) → 虚拟主机分流。

这里举一个Nginx配置规则进行分流的例子：

server {
 listen 80;
 server_name www.example.com;
 root /var/www/example;
}

server {
 listen 80;
 server_name www.test.com;
 root /var/www/test;
}

listen 80; → 表示监听 HTTP 默认端口 80。
server_name → 表示这个虚拟主机匹配的域名。
root → 表示网站的根目录，也就是请求 / 时返回的文件位置。

Nginx 的分流步骤可以总结为：

根据端口匹配 server 块

这里两个 server 都监听 80，所以都在候选列表中。

根据 Host 匹配 server_name

Nginx 会查找与请求 Host 最匹配的 server 块。

匹配成功 → 使用该 server 块的 root 和配置处理请求
没有匹配 → 使用默认 server

Nginx 会选择 listen 指令中第一个或 default_server 标记的 server 作为默认返回。

apollo配置实时生效：监听器与channel实现

Wed, 20 Aug 2025 17:04:14 +0800

问题提出

Apollo 是携程开源的分布式配置管理中心，用于统一管理和动态更新应用配置，支持多环境、多命名空间、高可用部署，应用通过客户端 SDK 实现实时拉取和热刷新配置，无需重启即可生效，广泛应用于微服务架构中。本文主要就是探讨两种实现热刷新配置的方法：监听器与channel实现。两者主要的区别是：可以把监听器理解为“事件推送”，channel 理解为“事件拉取”

监听器

监听器的方式就是在主函数中注册监听器，apollo配置改变时通知调用监听器，执行是同步还是异步自行斟酌。

// 监听器类型，接收 key 和 change
type ConfigChangeListener func(key string, change *agollo.Change)

// 全局监听器
type ListenerManager struct {
	listenersMu sync.RWMutex
	listeners []ConfigChangeListener
}

var globalListenerManager = &ListenerManager{}

// 注册监听器
func RegisterListener(listener ConfigChangeListener) {
 globalListenerManager.listenersMu.Lock()
 defer globalListenerManager.listenersMu.Unlock()
 globalListenerManager.listeners = append(globalListenerManager.listeners, listener)
}

// 通知监听器
func notifyListeners(key string, change *agollo.Change) {
 globalListenerManager.listenersMu.RLock()
 defer globalListenerManager.listenersMu.RUnlock()
 for _, listener := range globalListenerManager.listeners {
 // 调用每个监听器
 listener(key, change)
 }
}

// 注册配置变更监听器
apollo.RegisterListener(func(key string, change *agollo.Change) {
 if key == consts.HttpClientConfigKey {
			// 执行更新操作
 }
})

channel实现

用 channel 事件消费机制来实现，是将配置变化封装为事件发送到 channel，客户端通过读取 channel 主动获取并处理配置更新。

type ConfigChangeEvent struct {
 Key string
 Change agollo.ConfigChange
}

var configChangeChan = make(chan ConfigChangeEvent, 100)

// 将 evt 发送到 channel
evt := ConfigChangeEvent{
 Key: key,
 Change: change,
 }
configChangeChan <- evt

// 将 evt 从 channel 中取出
go func() {
 for evt := range configChangeChan {
 if evt.Key == consts.HttpClientConfigKey {
 // 执行更新操作
 }
 }
}()

在 Golang 中复用 HTTP 连接

Wed, 20 Aug 2025 16:31:52 +0800

问题提出

最近在实现一个转发大模型调用请求的中转功能，涉及到要构造client发送请求的内容，一开始我每次都是新建一个client来发送请求，这样的代码实现存在一些问题——每次都要构造新的client，并且要重新建立连接。后面了解到在Go中使用 HTTP 客户端（http.Client）可以实现连接复用，做到提高性能并减少 TCP 连接的重复建立。

// 原始做法
client := &http.Client{
		Timeout: consts.GetRequestTimeout(), // 设置请求超时时间
	}
	resp, err := client.Do(req)
defer resp.Body.Close()

// 修改后做法
resp, err := sharedHttpClient.Do(req)
defer resp.Body.Close()// 必须关闭 Body 才能复用连接

原理探寻

在 Go 中，HTTP 客户端默认会复用 TCP 连接，只要使用同一个 http.Client 实例，并且服务端支持 Keep-Alive。

原因是 http.Transport 内部维护了一个 连接池。只要满足以下条件就可以进行连接复用：

使用同一个 http.Client。
响应的 Body 被正确关闭。
请求的 Host 相同。

Transport 会根据空闲连接数和超时管理复用，可根据需求调整Transport相关的参数。

流式与非流式有什么区别

Wed, 20 Aug 2025 15:59:58 +0800

问题提出

最近在实现一个转发大模型调用请求的中转功能，因为现在的大模型都支持流式与非流式调用，所以我在实现的时候自然而然的想到了要不要区分两种调用方式，使用不同的代码逻辑。一开始写的时候分开了两个调用方式来写，后来发现这两种方式对于服务端来说实际没有区别，重点在于客户端的使用。

原理探寻

首先看一下两种调用方式实际返回的数据。

==== 非流式调用返回 ====
{
 "choices": [
 {
 "finish_reason": "stop",
 "index": 0,
 "logprobs": null,
 "message": {
 "content": "Hello! How can I help you today?",
 "reasoning_content": "用户现在打招呼说Hello!，我要友好回应。所以回复“Hello! How can I help you today?” 这样友好又开放，邀请用户说明需求。",
 "role": "assistant"
 }
 }
 ],
 "created": 1755675226,
 "id": "021755675225006530d45f3e18d6c5c13bff8621e54f4f6ee920a",
 "model": "doubao-1-5-thinking-vision-pro-250428",
 "service_tier": "default",
 "object": "chat.completion",
 "usage": {
 "completion_tokens": 45,
 "prompt_tokens": 70,
 "total_tokens": 115,
 "prompt_tokens_details": {
 "cached_tokens": 0
 },
 "completion_tokens_details": {
 "reasoning_tokens": 36
 }
 }
}

==== 流式调用返回 ====
data: {"choices":[{"delta":{"content":"","reasoning_content":"用户","role":"assistant"},"index":0}],"created":1755675226,"id":"021755675226374530d45f3e18d6c5c13bff8621e54f4f6ec4025","model":"doubao-1-5-thinking-vision-pro-250428","service_tier":"default","object":"chat.completion.chunk","usage":null}

data: {"choices":[{"delta":{"content":"","reasoning_content":"现在","role":"assistant"},"index":0}],"created":1755675226,"id":"021755675226374530d45f3e18d6c5c13bff8621e54f4f6ec4025","model":"doubao-1-5-thinking-vision-pro-250428","service_tier":"default","object":"chat.completion.chunk","usage":null}

...........

data: {"choices":[{"delta":{"content":"","role":"assistant"},"finish_reason":"stop","index":0}],"created":1755675226,"id":"021755675226374530d45f3e18d6c5c13bff8621e54f4f6ec4025","model":"doubao-1-5-thinking-vision-pro-250428","service_tier":"default","object":"chat.completion.chunk","usage":null}

data: [DONE]

可以看出，两种请求返回的格式是不一样的，非流式请求返回的是完整的json，而流式请求则是返回分块的json。

服务端

在服务端的实现中，实际上我们可以不用在意是流式还是非流式，我们可以统一采用流的方法返回请求体，是否真是流式形式实际上是取决于约定的返回格式以及客户端处理方式。

// 设置响应头
	for k, v := range resp.Header {
		for _, vv := range v {
			c.Header(k, vv)
		}
	}
	// 设置状态码
	c.Status(resp.StatusCode)

	// 流式转发响应体
	_, err = io.Copy(c.Response.BodyWriter(), resp.Body)
	if err != nil {
		// 处理错误
		hlog.CtxErrorf(ctx, "Error copying response body: %v", err)
		c.String(http.StatusInternalServerError, "Error copying response body: %v", err)
		return
	}

当然，由于我们此处是实现转发的功能，因此可以采用统一的方式。在原始的返回代码中，实际上会有些不同。

//----------非流式输出：传统请求处理----------//
app.get('/api/user-data', (req, res) => {
 // 同步获取所有数据（可能造成阻塞）
 const userData = fetchUserDataFromDB();
 const analytics = generateUserAnalytics(userData);
 const preferences = getUserPreferences(userData.id);
 
 // 一次性返回完整JSON
 res.json({ 
 userData, 
 analytics,
 preferences
 });
});

//----------流式输出：实时数据分块传输----------//
app.get('/api/real-time-updates', (req, res) => {
 // 1. 设置流式响应头
 res.setHeader('Content-Type', 'text/event-stream');
 res.setHeader('Cache-Control', 'no-cache');
 res.setHeader('Connection', 'keep-alive');
 
 // 2. 立即发送初始数据
 res.write('event: init\ndata: Connection established\n\n');
 
 // 3. 创建数据流
 const dataStream = createRealTimeDataStream();
 
 // 4. 分块发送数据
 dataStream.on('data', (chunk) => {
 res.write(`data: ${JSON.stringify(chunk)}\n\n`);
 });
 
 // 5. 处理连接关闭
 req.on('close', () => {
 dataStream.destroy();
 res.end();
 });
});

客户端

客户端的处理方式就是有明显分别了。

//----------非流式输出：传统请求处理（传统Fetch API使用）----------//
async function loadUserData() {
 try {
 const response = await fetch('/api/user-data');
 const fullData = await response.json();
 
 // 一次性渲染所有数据
 renderUserProfile(fullData.userData);
 renderAnalytics(fullData.analytics);
 updatePreferencesUI(fullData.preferences);
 
 } catch (error) {
 showErrorToast('Failed to load data');
 }
}

//----------流式输出：实时数据处理技术（使用EventSource）----------//
const eventSource = new EventSource('/api/real-time-updates');

eventSource.addEventListener('init', (event) => {
 showConnectionStatus('Connected to real-time feed');
});

eventSource.onmessage = (event) => {
 const data = JSON.parse(event.data);
 updateLiveDashboard(data);
};

eventSource.onerror = () => {
 showConnectionStatus('Connection lost - attempting to reconnect...');
 eventSource.close();
};

参考资料

流式输出 vs 非流式输出 - 技术栈

昇思+香橙派 AI 开发实践：DeepSeek 全流程指南（基于 openEuler）

Sat, 19 Jul 2025 15:10:24 +0800

一、环境准备

1. 镜像烧录

镜像烧录可以在任何操作系统内执⾏，这⾥以在Windows系统为例，使用balenaEtcher⼯具，快速烧录镜像到Micro SD卡中。

本章节所需的软/硬件如下：

软件相关：balenaEtcher制卡⼯具、openEuler镜像

硬件相关：TF卡（64G存储卡）、读卡器

balenaEtcher制卡⼯具下载

点击链接进行下载安装balenaEtcher⼯具即可。

下载链接：https://etcher.balena.io/#download-etcher

openEuler镜像下载

点击链接下载openEuler镜像即可。

下载链接：http://www.orangepi.cn/html/hardWare/computerAndMicrocontrollers/service-and-support/Orange-Pi-AIpro(20T).html

镜像烧录

将插入TF卡的读卡器与电脑连接，然后打开balenaEtcher⼯具，选择刚刚下载的镜像文件，然后选择TF卡进行烧录即可。

注意：下载下来的镜像文件是.xz格式的压缩包，要先解压出.img文件，选择.img文件进行烧录。

等待TF卡烧录完成拔出读卡器。

2. 连接开发板

将烧录好的TF卡插入香橙派中，连接电源启动即可。TF卡一直插在香橙派中，不拔出。

首次连接，我们需要使用HDMI线与显示屏相连，同时插入键盘鼠标才能完成配置操作。在联网后，记下香橙派的IP地址便可用Vscode、MobaXterm等远程连接的软件进行远程连接。

本章节所需的软/硬件如下：

软件：Vscode、MobaXterm（任选其一或多个皆可）

硬件：OrangePi AIpro-20t规格⾹橙派、电源线、HDMI线、显⽰器、⿏

标、键盘

首次配置

开发板开机成功后进行登录操作。

登录账号：HwHiAiUser，密码：Mind@123（root密码也是这个）

进入桌面后，点击相应WiFi输入密码进行连接。连接成功后，右键选择“Connection Information”记录下香橙派的IP地址用于同一局域网下远程连接。

MobaXterm连接

使用MobaXterm可以连接命令行也可以连接图形化界面。

首先我们进行命令行的连接。点击上方的“Session”后选择“SSH”，然后填入香橙派IP地址，指定登录用户（可选）后，点击“OK”则远程连接成功。连接端口为22。

连接远程桌面，我们也是点击上方的“Session”，但选择“VNC”，然后填入香橙派IP地址，连接端口为5901，点击“OK”则远程连接成功。

Vscode连接

下载好Vscode后安装以下插件备用。

点击“远程资源管理器”，点击SSH后的加号添加远程连接，输入“ssh HwHiAiUser@你的香橙派实际IP”后回车。然后选择刚刚添加的远程连接，点击箭头后输入密码即可连接成功。

连接成功后需要注意，远程的插件要重新安装一下。想要在Vscode远程编辑器中运行Python代码，安装Python扩展即可。

3. 软件环境升级

Toolkit升级（8.0.0_linux-aarch64）

打开终端，使用root⽤⼾，root⽤⼾密码：Mind@123。

su - root

删除镜像中已安装CANN包释放磁盘空间，防⽌安装新的CANN包时报错磁盘空间不⾜。

cd /usr/local/Ascend/ascend-toolkit

rm -rf *

下载链接：https://www.hiascend.com/developer/download/community/result?module=cann&cann=8.0.0.beta1

选择Ascend-cann-toolkit_8.0.0_linux-aarch64.run进行下载。此处我使用wget命令进行下载。下载完成后赋予其执行权限，然后运行安装。安装过程中需要手动输入一次Y。

wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.0.0/Ascend-cann-toolkit_8.0.0_linux-aarch64.run

chmod +x Ascend-cann-toolkit_8.0.0_linux-aarch64.run

./Ascend-cann-toolkit_8.0.0_linux-aarch64.run –install

出现Ascend-cann-toolkit_8.0.0_linux-aarch64 install success则安装成功。

将source /usr/local/Ascend/ascend-toolkit/set_env.sh加入到/etc/profile文件末尾并加载环境变量。

vi /etc/profile

source /usr/local/Ascend/ascend-toolkit/set_env.sh

source /etc/profile

Kernels升级（310b_8.0.0_linux-aarch64）

打开终端，使用root⽤⼾，root⽤⼾密码：Mind@123。

su - root

执⾏如下命令，获取开发板NPU型号。

npu-smi info

下载链接：https://www.hiascend.com/developer/download/community/result?module=cann&cann=8.0.0.beta1

选择Ascend-cann-kernels-310b_8.0.0_linux-aarch64.run进行下载。此处我使用wget命令进行下载。下载完成后赋予其执行权限，然后运行安装。安装过程中需要手动输入一次Y。

wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.0.0/Ascend-cann-kernels-310b_8.0.0_linux-aarch64.run

chmod +x Ascend-cann-kernels-310b_8.0.0_linux-aarch64.run

./Ascend-cann-kernels-310b_8.0.0_linux-aarch64.run –install

出现Ascend-cann-kernels-310b_8.0.0_linux-aarch64 install success则安装成功。

MindSpore升级（MindSpore2.5.0）

打开终端，使用HwHiAiUser用户。运行以下命令进行安装。

pip install mindspore==2.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

运行以下命令进行检查是否安装成功。

python -c “import mindspore;mindspore.set_device(‘Ascend’);mindspore.run_check()”

出现successfully则为成功。

Swap检查与配置

打开终端，输⼊如下命令，检查Swap是否开启：

free -m

正确输出结果为：

如输出的结果中Swap部分为0，则可在终端中输入如下命令，配置Swap：

sudo fallocate -l 16G /swapfile

sudo chmod 600/swapfile

sudo mkswap /swapfile

sudo swapon /swapfile

echo ‘/swapfile none swap sw 0 a’sudo tee -a /etc/fstab

完成配置后可再通过 free -m 检查配置是否生效。

Gradio安装

打开终端，输⼊如下命令，安装Gradio 4.44.0：

pip uninstall gradio -y

pip install gradio==4.44.0

Mindnlp安装

打开终端，输⼊如下命令，安装Mindnlp（如已有最好先卸载，重新安装）：

pip install git+https://github.com/mindspore-lab/mindnlp.git@0.4

其他python依赖安装

在运行代码时，报错显示缺少什么包就使用pip安装什么包。

二、运行代码

1. 下载代码

代码地址：https://github.com/mindspore-courses/orange-pi-mindspore.git

打开终端，使用HwHiAiUser用户。找一个你存放代码的位置运行如下命令：

git clone https://github.com/mindspore-courses/orange-pi-mindspore.git

下载代码后，进入Online/training/01-DeepSeek-R1-Distill-Qwen-1.5B目录，目录中的三个py文件便是我们要运行的代码。

2. 运行代码

可以使用Vscode远程连接开发环境，这样运行调试更为方便。连接步骤之前已经给出，连接成功后打开代码所在文件夹，打开相应代码点击右上角运行即可。

分别给出三个py文件运行成功的截图。

deepseek-r1-distill-qwen-1.5b-lora.py

deepseek-r1-distill-qwen-1.5b-gradio.py

deepseek-r1-distill-qwen-1.5b-jit.py

三、常见问题

1. 无法连接外部网络

在连接WiFi后，可以在局域网内连接香橙派，但是香橙派无法访问外部网络。

可以用以下方式解决：

在运行命令sudo ip route del default via 192.168.0.1 dev usb0后问题解决，可以访问外部网络。（每次重启后要重新执行命令）
右键点击图形界面右上角的“网络->Edit Connections->选择相应的问题连接（usb0）删除”即可。（永久生效）

2. 运行代码时出现权限相关问题

运行代码时出现“Permission denied”以及其他与当前登录用户相关的问题。

可以用以下方式解决：

从下载代码开始，全程使用HwHiAiUser用户，不要使用root用户。同时注意代码存放的位置，尽量放在HwHiAiUser用户目录下，避免引发文件权限的问题。

3. 运行代码时提示Ascend显存不足

运行代码时出现Ascend显存不足的相关提示信息，最后运行失败。有Free memory size is less than half of total memory size.Device 0 Device MOC total size:24823529472 Device MOC free size:9051504640 may be other processes occupying this card, check as: ps -ef|grep python提示的。

可以用以下方式解决：

首先使用ps -ef | grep python命令查看是否有其他 Python 进程正在占用 NPU 导致显存不足，有则kill相关进程。若无异常则使用npu-smi info命令查看显存占用，如果发现异常最方便的方法就是使用reboot命令重启设备。

4. 运行代码时有RuntimeError以及ValueError

每次代码运行到训练或推理的部分就会报错。

lora:RuntimeError: aclnnGatherGetWorkspaceSize call failed, please check!

gradio:RuntimeError: aclnnCumsumGetWorkspaceSize call failed, please check!

jit:ValueError: Attention weights should be of size (1, 12, 6, 6), but is (1, 12, 6, 512)

可以用以下方式解决：

检查版本问题，尤其是Mindnlp的版本。


Toolkit版本：8.0.0_linux-aarch64

Kernels版本：310b_8.0.0_linux-aarch64

MindSpore版本：MindSpore 2.5.0

Mindnlp版本：mindnlp 0.4.1

即使Mindnlp版本号对应，但仍然建议你先卸载Mindnlp，然后运行pip install git+https://github.com/mindspore-lab/mindnlp.git@0.4命令重新安装Mindnlp。

5. jit第二次对话报错

运行jit的时候，在第二次对话的时候会报RuntimeError: Sync stream error!错误。

可以用以下方式解决：

使用reboot命令重启设备。

Hadoop配置——两个节点（master和slave1）

Thu, 29 May 2025 14:42:14 +0800

配置要求

目标是配置一个基本的 Hadoop 分布式集群：

一台主节点：master
一台从节点：slave1
支持：HDFS + YARN
Java 已配置
Hadoop 已安装成功，路径在 /opt/hadoop（你可替换为实际路径）

使用 hadoop version 命令测试

注：前置参考资料在文末，建议先按照前置参考资料进行安装配置到 hadoop version 命令成功执行步骤，再继续参照本文章。

修改hosts、hostname

hosts: /etc/hosts 集群所有主机IP地址与对应主机名格式：IP（空）主机名

hostname: /etc/hostname 主节点命名为master，子节点命名为slave1 把主机名直接写入此文件（只能保留一个名字），定义本机的主机名（可能需要重启生效）使用 sudo hostnamectl set-hostname 新主机名 设置（即时生效）使用 hostname 命令查看当前主机名

SSH 配置免密

1. 生成 SSH 密钥对（如果尚未生成）

在每台机器上执行：ssh-keygen -t rsa

一路回车即可（不要设置密码短语）。

2. 将自己的公钥添加到目标机器的 authorized_keys 中

在 master 上执行以下命令，把自己的公钥发给 slave1 ：

ssh-copy-id root@localhost
ssh-copy-id root@slave1

同理，在 slave1 上执行：

ssh-copy-id root@localhost
ssh-copy-id root@master

从每台机器尝试 ssh 到其他机器（包括自己）进行验证：

ssh root@localhost
ssh root@master
ssh root@slave1

配置Hadoop的配置文件

1. core-site.xml


 hadoop.tmp.dir
 file:/opt/hadoop/tmp
 location to store temporary files

 fs.defaultFS
 hdfs://master:9000

2. hdfs-site.xml


 dfs.replication
 1

 dfs.namenode.name.dir
 file:/opt/hadoop/tmp/dfs/name

 dfs.datanode.data.dir
 file:/opt/hadoop/tmp/dfs/data

3. mapred-site.xml


 
 mapreduce.framework.name
 yarn
 

 
 yarn.app.mapreduce.am.env
 HADOOP_MAPRED_HOME=/opt/hadoop
 

 
 mapreduce.map.env
 HADOOP_MAPRED_HOME=/opt/hadoop
 

 
 mapreduce.reduce.env
 HADOOP_MAPRED_HOME=/opt/hadoop

4. yarn-site.xml


 yarn.resourcemanager.hostname
 master

 yarn.nodemanager.aux-services
 mapreduce_shuffle

5. workers（以前叫 slaves）

列出所有的从节点（一个 hostname 一行）。

slave1

复制配置文件

scp -r /opt/hadoop/etc/hadoop/ root@slave1:/opt/hadoop/etc/

启动 Hadoop

hdfs namenode -format
start-dfs.sh
start-yarn.sh

验证是否成功

在 master 和 slave1 分别运行：jps你应该看到：

master 节点有：

NameNode

SecondaryNameNode
ResourceManager
slave1 节点有：

DataNode

NodeManager

然后运行以下命令进行测试，检查是否有问题：

hdfs dfs -ls /
hdfs dfs -mkdir /testdir
hdfs dfs -ls /
echo "Hello Hadoop" > hello.txt
hdfs dfs -put hello.txt /testdir/
hdfs dfs -ls /testdir/
hdfs dfs -cat /testdir/hello.txt
hdfs dfs -get /testdir/hello.txt ./hello_from_hdfs.txt
hdfs dfs -rm /testdir/hello.txt
hdfs dfs -rmdir /testdir
hdfs dfsadmin -report

如果出现问题请先检查防火墙是否开放相应端口。

# 开放端口
for p in 9000 9870 {50010..50020} 50075 8088 8042 9864 9866 9867; do firewall-cmd --permanent --add-port=${p}/tcp; done && firewall-cmd --reload

# 关闭端口
for p in 9000 9870 {50010..50020} 50075 8088 8042 9864 9866 9867; do firewall-cmd --permanent --remove-port=${p}/tcp; done && firewall-cmd --reload

注意：经过后期实践，发现以上端口没有涵盖Hadoop的所有所需开放端口，最方便的解决方法是暂时关闭防火墙。

前置参考资料

https://dandansad.com/2025/05/22/%e5%ae%89%e8%a3%85hadoop/

安装Hadoop

Thu, 22 May 2025 14:40:19 +0800

注意：Hadoop（尤其是 3.x 及以下版本）不兼容 Java 9+ 的模块系统，如果之前安装了 Java 的更高版本，则需要重新安装更低版本进行配置。

安装JDK

1.下载JDK1.8安装包

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

2.解压下载的JDK1.8安装包

tar -zxvf jdk-8u151-linux-x64.tar.gz

3.移动并重命名JDK包

mv jdk1.8.0_151/ /usr/java8

4.配置Java环境变量（如果说不想修改原有使用的Java版本，可以跳过）

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

5.查看Java是否成功安装

java -version

安装Hadoop

1.下载Hadoop安装包

wget --no-check-certificate https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2.解压Hadoop安装包至/opt/hadoop

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/
mv /opt/hadoop-3.1.3 /opt/hadoop

3.配置Hadoop环境变量

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

4.修改配置文件yarn-env.sh和hadoop-env.sh

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

5.测试Hadoop是否安装成功

hadoop version

配置Hadoop

1.修改Hadoop配置文件 core-site.xml

a. 执行以下命令开始进入编辑页面。

vi /opt/hadoop/etc/hadoop/core-site.xml

b. 输入i进入编辑模式。

c. 在节点内插入如下内容。

 hadoop.tmp.dir
 file:/opt/hadoop/tmp
 location to store temporary files

 fs.defaultFS
 hdfs://localhost:9000

d. 按Esc键退出编辑模式，输入:wq保存退出。

2.修改Hadoop配置文件 hdfs-site.xml

a. 执行以下命令开始进入编辑页面。

vi /opt/hadoop/etc/hadoop/hdfs-site.xml

b. 输入i进入编辑模式。

c. 在节点内插入如下内容。

 dfs.replication
 1

 dfs.namenode.name.dir
 file:/opt/hadoop/tmp/dfs/name

 dfs.datanode.data.dir
 file:/opt/hadoop/tmp/dfs/data

d. 按Esc键退出编辑模式，输入:wq保存退出。

配置SSH免密登录

1.执行以下命令，创建公钥和私钥

ssh-keygen -t rsa

2.执行以下命令，将公钥添加到authorized_keys文件中

cd ~
cd .ssh
cat id_rsa.pub >> authorized_keys

输入如下命令，在环境变量中添加下面的配置

vi /etc/profile

然后向里面加入如下的内容

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

输入如下命令使改动生效

source /etc/profile

启动Hadoop

1.执行以下命令，初始化namenode

hadoop namenode -format

2.依次执行以下命令，启动Hadoop

start-dfs.sh
start-yarn.sh

3.启动成功后，执行以下命令，查看已成功启动的进程

jps

4.打开浏览器访问如下地址，显示如下界面则表示Hadoop伪分布式环境搭建完成

Hadoop 版本	NameNode Web UI 默认端口	ResourceManager Web UI 默认端口
Hadoop 2.x	50070	8088
Hadoop 3.x 及以上	9870	8088

参考资料

Linux（阿里云）安装Hadoop(详细教程+避坑)-阿里云开发者社区

CentOS 安装 Redis

Thu, 08 May 2025 13:35:50 +0800

对于 CentOS 系统，如果你希望直接使用带有服务的 Redis 版本，可以选择使用 Redis 官方的源代码安装 或者 从 EPEL 仓库安装 Redis。通常在 CentOS 上，安装后会自动配置 Redis 作为一个 systemd 服务，你可以通过 systemctl 命令来管理它。

经过实践，我推荐使用使用 EPEL 仓库安装 Redis ，这样更为方便简单，不会有多余的麻烦。

使用 EPEL 仓库安装 Redis

在 CentOS 上，Redis 提供了预编译的 RPM 包，你可以通过 yum 安装它，并且安装后会自动创建一个 Redis 服务。

步骤：

启用 EPEL 仓库： CentOS 默认不包含 Redis 所需的 EPEL (Extra Packages for Enterprise Linux) 仓库。首先启用 EPEL 仓库： sudo yum install epel-release
安装 Redis：安装 Redis 包： sudo yum install redis
启动 Redis 服务：安装完成后，可以使用 systemctl 启动 Redis 服务： sudo systemctl start redis
设置 Redis 开机自启：如果希望 Redis 在开机时自动启动，可以使用以下命令： sudo systemctl enable redis
检查 Redis 服务状态：使用以下命令检查 Redis 服务是否正常运行： sudo systemctl status redis

如上步骤，安装过程十分简单。所以说，强烈建议直接使用 EPEL 仓库安装 Redis 。

如果使用源码安装请注意源码编译安装的 Redis 版本，有些源码编译安装的 Redis 并没有包含 systemd 支持（libsystemd）。当你在 redis.service 中使用 --supervised systemd时会出现错误，导致服务无法启动。而且源码安装如果想要启动服务，要创建 systemd 服务文件等等操作，比较繁琐。

DNS与CDN的区别?

Sun, 04 May 2025 00:21:28 +0800

问题起因

在使用Cloudflare的过程中，接触到了DNS的相关内容，于是查找资料。然后在自己的个人网站上因为有使用jsDelivr的CDN服务，于是便有了疑惑——用户在访问网站时，DNS与CDN是怎样的一个解析过程，他们之间有什么区别？

DNS解析

什么是DNS？

DNS（Domain Name System）是互联网的域名解析系统，它的作用是将人们易记的域名（如 www.example.com）转换为计算机可识别的 IP 地址，从而让用户通过域名访问网站。DNS 由多个分层服务器组成，包括根服务器、顶级域服务器和权威服务器，整个解析过程类似查电话号码的过程，是互联网通信的基础服务之一。

为什么需要 DNS？

你可以记住 www.baidu.com，但很难记住 220.181.38.148
网站的 IP 地址可能会变，但域名不会变
DNS 让用户用域名访问网站，而不是记 IP 地址

DNS 的核心工作机制

用户输入域名（如 www.example.com）
浏览器向本地 DNS 服务器请求 IP 地址
如果本地没有缓存，就逐级向上查询：

根 DNS 服务器

顶级域（.com）
权威 DNS 服务器（负责 example.com）
找到 IP 后，返回给浏览器
浏览器用这个 IP 去访问目标服务器

常见 DNS 类型

记录类型	作用
A	将域名解析为 IPv4 地址
AAAA	将域名解析为 IPv6 地址
CNAME	将域名指向另一个域名
MX	邮件服务器地址
TXT	文本记录（比如 SPF、验证用）

CDN加速

什么是CDN？

CDN（Content Delivery Network，内容分发网络）是一种通过分布在全球各地的边缘节点，将网站内容缓存并分发给用户的技术，目的是加快访问速度、降低服务器压力，并提升用户体验。当用户访问网站时，CDN 会将请求引导到距离用户最近的节点，从而实现更快、更稳定的内容加载。

为什么需要 CDN？

CDN 解决的是“距离远、访问慢、负载高”的问题，主要有以下几个方面的需求：

需求	说明
⏱ 提高访问速度	缩短用户与服务器之间的物理距离，减少网络延迟
🌎 提升全球可访问性	跨国/跨地区访问网站时更稳定
📉 减轻源站服务器压力	边缘节点承担大部分访问请求，避免源站过载
🔐 增强安全性	隐藏源站 IP、防御 DDoS 攻击
📶 提升可用性和稳定性	某个节点故障时，可自动切换其他节点不中断服务

CDN 的工作机制

内容分发：

网站将资源（如图片、JS、CSS、视频等）通过 CDN 平台分发并缓存到全球各地的节点（边缘服务器）

DNS 解析调度：

用户访问网站时，CDN 的 DNS 系统会将用户请求调度到最优的 CDN 节点（基于距离、负载、网络状态等）

内容访问：

如果边缘节点已有缓存资源，直接返回

如果没有缓存，则回源站获取后缓存，并返回给用户（下次访问就命中缓存）

CDN 是通过“就近访问 + 智能调度 + 分布式缓存”来提升网站访问速度、稳定性和安全性的加速服务。

完整流程

（1）用户访问域名 www.huawei.com 递归交给本地域名服务器去负责查询。
（2）本地域名服务器经过迭代查询由 huawei.com 的域名服务器返回CNAME解析到的地址 www.huawei.com.akadns.net。
（3）本地域名服务器去迭代查询 www.huawei.com.akadns.net 经过dig +trace 命令追踪发现又经过一次CNAME到 www.huawei.com.lxdns.com ，具体原因没有深究，暂且认为此 www.huawei.com.lxdns.com 为真正的CDN DNS域名服务器地址；本地域名服务器再次去迭代查询 www.huawei.com.lxdns.com 的IP地址。
（4）经过DNS全局负载均衡和区域负载均衡等一系列的智能调度，分配CDN节点，确定 www.huawei.com.lxdns.com 的IP地址。

全局负载均衡设备根据用户IP地址，以及用户请求的内容URL，选择一台用户所属区域的区域负载均衡设备。

区域负载均衡设备会为用户选择一台合适的缓存服务器提供服务，选择的依据包括：根据用户IP地址，判断哪一台服务器距用户最近；根据用户所请求的URL中携带的内容名称，判断哪一台服务器上有用户所需内容；查询各个服务器当前的负载情况，判断哪一台服务器尚有服务能力。基于以上这些条件的综合分析之后，区域负载均衡设备会向全局负载均衡设备返回一台缓存服务器的IP地址。
（5）返回CDN server（CDN节点）的IP地址。
（6）返回CDN域名 www.huawei.com.lxdns.com 的IP地址。
（7）返回 www.huawei.com 对应 CDN域名 www.huawei.com.lxdns.com 的IP地址
（8）用户访问 www.huawei.com.lxdns.com 的IP地址对应的CDN server（CDN 节点），如果有缓存则直接到步骤11返回数据。如果没有则进行步骤9回源，再到步骤10，再到步骤11，返回数据。

一些疑问

如果cdn的记录是cname，是不是还要再解析成ip

CNAME 记录指的是把一个域名指向另一个域名。客户端（比如浏览器）在解析你的域名（如 www.example.com）时，发现它是 CNAME 到另一个域名（如 cdn.vendor.com）。然后，客户端会继续解析 cdn.vendor.com，直到拿到最终的 A记录（IP 地址）。最终访问仍然是通过 IP 地址完成的，只是中间多了一个跳转。

但要注意，解析过程中的所有域名查询（包括 CDN 的 CNAME）都是向 DNS 服务器发出的，而不是向 CDN 本身发出的。

域名解析只与 DNS 服务器打交道，不和 CDN 本身通信。

我没有配置相关DNS解析记录，为什么我的个人网站还能使用了jsDelivr的CDN服务

你不是通过你的域名调用 jsDelivr，而是直接用 jsDelivr 的域名。

举个例子，在 WordPress 的后台或插件里，引用的通常是类似这样的链接：

https:&#47;&#47;cdn.jsdelivr.net/npm/jquery@3.6.0/dist/jquery.min.js

这条链接的域名是：

cdn.jsdelivr.net

也就是说：你根本没有把你自己的网站域名（如 example.com）CNAME 到 jsDelivr，而是直接在代码中使用了 jsDelivr 的 CDN 域名。

访问的流程如下：

你的 WordPress 网站访问 cdn.jsdelivr.net
浏览器向 公共 DNS 服务器 发起解析请求（比如 8.8.8.8）
DNS 服务器向 jsDelivr 的权威 DNS 查询
jsDelivr 返回就近 CDN 节点的 IP（通过它的 DNS 调度）
浏览器拿到 IP → 访问 CDN 节点 → 获取资源

你的网站并没有“配置” DNS，因为：

你只是“调用”了 jsDelivr 提供的链接
域名解析这件事交由浏览器和 jsDelivr 自己去处理了

情况	是否需要你配置 DNS
你用自己的域名接入 CDN（比如 www.example.com CNAME 到 yourcdn.example.net）	✅ 需要配置 DNS
你直接引用 CDN 提供的公共链接（如 cdn.jsdelivr.net）	❌ 不需要配置 DNS

你如果以后想让你自己的网站资源也通过 CDN 加速（比如图片、CSS、JS），那就要配置你自己域名的 CNAME 指向 CDN 节点了。

配置cdn一般都是通过dns吗，还有什么其他方法吗

是的，绝大多数情况下，配置 CDN 是通过 DNS 来实现的，但它并不是唯一的方式。下面是完整的解释和对比：

一、主流方式：通过 DNS 配置 CDN（最常见）

这是目前绝大多数网站接入 CDN 的标准做法。

原理：

你把你自己的网站域名（比如 www.example.com）的 DNS 记录改为：

CNAME → cdn.example.cdnprovider.com

或者如果是根域名（不支持 CNAME）：

A 记录 → CDN 厂商提供的负载均衡 IP（如 Cloudflare 的 Anycast IP）

特点：

适用于大部分 CDN 提供商（如 Cloudflare、阿里云 CDN、腾讯云 CDN、Akamai、jsDelivr 等）
支持智能调度
一般用户看不到 CDN 的存在

二、其他方式（不通过 DNS）也有，但相对少见：

1. 直接使用 CDN 提供的 URL

举例：

适用：

公共库/资源
不想改自己域名的 DNS

缺点：

域名不是你自己的，缓存行为和品牌一致性无法控制

2. 反向代理方式接入 CDN

一些特殊情况，可以让 CDN 厂商作为反向代理直接部署在源站前，但这通常是：

企业内网、私有部署
定制的 CDN 网络
安全/合规特殊场景

这通常不通过 DNS，而是由 CDN 提供的边界设备（比如云防护墙）或专线统一接入。

3. 通过 Web 应用接入（插件或中间件）

例如：

WordPress 安装某个插件后自动为图片加上 CDN 前缀
Web 应用自动切换资源路径，如从 /static/ → https://cdn.yourdomain.com/static/

这种方式不依赖 DNS，而是代码层配置资源路径实现 CDN 加速。

总结：

接入方式	是否通过 DNS	是否常用	说明
修改 CNAME/A 记录	✅ 是	⭐ 非常常用	最标准的接入方式
直接用 CDN 链接	❌ 否	✅ 较常用	用于公共库，不影响你自己的域名
反向代理模式	❌ 否	❗ 少数企业使用	高级部署方式，成本较高
应用层插件/CDN 前缀	❌ 否	✅ 在某些框架中常用	控制静态资源路径即可，不依赖 DNS

参考资料

20分钟理解什么是网络、DNS与CDN - 知乎

DNS解析与CDN加速-CSDN博客

正向代理和反向代理

Sat, 03 May 2025 23:57:34 +0800

正向代理 vs 反向代理：核心区别

特性	正向代理（Forward Proxy）	反向代理（Reverse Proxy）
📌 代理的对象	代理客户端（用户）访问目标服务器	代理服务端（源站）响应外部请求
🎯 主要用途	客户端访问内部或受控网络资源，缓存优化	实现负载均衡、隐藏后端、统一入口、安全防护
🛠 配置位置	客户端或客户端网关	服务器端或网络边缘设备
🌍 真实服务器	用户试图访问的目标服务器（如内部业务接口）	后端应用服务器（如 Web 服务、API 服务等）
🔒 隐藏谁的身份	隐藏客户端身份	隐藏服务端身份
🗺 常见用途	内网访问控制、缓存加速、日志审计、流量统一出口	负载均衡、CDN、服务网关、应用防火墙（WAF）等
🌐 举例	企业出网网关代理、Squid、局域网 Web 缓存服务器	Nginx 反向代理、CDN 边缘节点、WAF 安全设备等

一句话区别：正向代理服务于客户端，反向代理服务于服务端。

正向代理：帮用户访问外部内容

🎯 举例场景：

员工（在公司内网）→ 配置正向代理服务器（如 Squid）→ 访问公司外部业务系统或 API（如 Salesforce）→ 响应数据返回 → 代理服务器转发给员工电脑 ✅ 你是主动用代理“出门”访问别人

📌 常见用途：

控制与审计出网流量
加速常用资源访问（通过缓存）
实现用户访问权限限制

反向代理：帮服务器隐藏/控制外部访问

🎯 举例场景：

用户 → 访问 www.example.com（其实是访问 CDN 或 Nginx）→ 代理判断请求 → 转发到后端服务器处理 → 返回内容 ✅ 你是访问“前台”，它替你决定后面由谁来服务

📌 常见用途：

负载均衡
CDN（其实就是分布式反向代理）
隐藏真实源站 IP
安全过滤（WAF）
HTTPS 统一入口

端口被占用的问题——Hyper-V

Wed, 30 Apr 2025 20:30:51 +0800

问题描述

在端口被占用时，用命令查看占用的程序。但是没有结果输出，代表没有程序在占用。（实际上是“没有程序在此刻占用这个端口，但不排除有程序在随机保留着这个端口”）

netstat -ano | findstr ":7890"

这是因为电脑开启了 Hyper-V ，它会保留一部分 TCP/IP 端口供其虚拟交换机使用，这可能导致某些应用程序无法绑定到这些端口。我们可以用以下命令查看其保留的端口。

# 查看 Hyper-v 启动后的保留端口范围
netsh interface ipv4 show excludedportrange protocol=tcp

临时解决方案——排除单个端口（重启可能失效）

以管理员身份运行 PowerShell 或 CMD
停止 Hyper-V 相关服务：net stop winnat
手动添加端口排除（例如释放 7890）：netsh int ipv4 delete excludedportrange protocol=tcp startport=7890 numberofports=1

protocol=tcp（或 udp）

startport=7890（你要释放的端口）
numberofports=1（只释放 1 个端口）
重启 WinNAT 服务（恢复网络）：net start winnat
验证是否成功：netsh int ipv4 show excludedportrange protocol=tcp | findstr "7890"

如果无输出，说明 7890 已不再被保留，可以正常使用。

⚠️ 注意：

重启后可能失效，因为 Hyper-V 可能会重新占用该端口。
如果仍然无法使用，可能是其他服务占用了该端口（用 netstat -ano | findstr "50000" 检查）。

OpenCloudOS 9.2安装 Anaconda

Tue, 15 Apr 2025 00:11:21 +0800

系统版本： NAME=”OpenCloudOS” VERSION=”9.2″ ID=”opencloudos” ID_LIKE=”opencloudos” VERSION_ID=”9.2″ PLATFORM_ID=”platform:oc9″ PRETTY_NAME=”OpenCloudOS 9.2″ ANSI_COLOR=”0;31″ CPE_NAME=”cpe:/o:opencloudos:opencloudos:9″ HOME_URL=”https://www.opencloudos.org/” BUG_REPORT_URL=”https://bugs.opencloudos.tech/”

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod +x Miniconda3-latest-Linux-x86_64.sh
./Miniconda3-latest-Linux-x86_64.sh
# or
wget https://repo.anaconda.com/archive/Anaconda3-2023.03-Linux-x86_64.sh
chmod +x Anaconda3-2023.03-Linux-x86_64.sh
./Anaconda3-2023.03-Linux-x86_64.sh

source ~/.bashrc

conda --version

OpenCloudOS 9.2安装MySQL

Mon, 14 Apr 2025 23:49:30 +0800

系统版本： NAME=“OpenCloudOS” VERSION=“9.2” ID=“opencloudos” ID_LIKE=“opencloudos” VERSION_ID=“9.2” PLATFORM_ID=“platform:oc9” PRETTY_NAME=“OpenCloudOS 9.2” ANSI_COLOR=“0;31” CPE_NAME=“cpe:/o:opencloudos:opencloudos:9” HOME_URL=“https://www.opencloudos.org/" BUG_REPORT_URL=“https://bugs.opencloudos.tech/"

wget https://dev.mysql.com/get/mysql80-community-release-el9-1.noarch.rpm
sudo yum install -y mysql80-community-release-el9-1.noarch.rpm
sudo yum install -y mysql-server

sudo systemctl enable mysqld
sudo systemctl start mysqld

systemctl status mysqld

mysql -uroot

ALTER USER 'root'@'localhost' IDENTIFIED BY 'NewPassw0rd!';
FLUSH PRIVILEGES;

对危险操作进行别名配置

Sun, 23 Mar 2025 03:07:51 +0800

修改 ~/.bashrc 文件，适当位置加入以下代码：

# Alias configuration for dangerous operations
# 危险操作的别名配置
alias rm='rm -i' # 删除文件前确认
alias mv='mv -i' # 移动或覆盖文件前确认
alias cp='cp -i' # 复制文件前确认
alias rmrf='echo "Are you sure you want to run rm -rf? (y/n)" && read answer && [ "$answer" = "y" ] && rm -rf' # 递归删除前确认
alias overwrite='echo "Are you sure you want to overwrite the file? (y/n)" && read answer && [ "$answer" = "y" ] && >' # 覆盖文件前确认
alias emptyfile='echo "Are you sure you want to empty the file? (y/n)" && read answer && [ "$answer" = "y" ] && : >' # 清空文件前确认
alias exit='echo "Are you sure you want to exit? (y/n)" && read answer && [ "$answer" = "y" ] && exit' # 退出终端前确认
alias reboot='echo "Are you sure you want to reboot the system? (y/n)" && read answer && [ "$answer" = "y" ] && reboot' # 重启系统前确认
alias shutdown='echo "Are you sure you want to shutdown the system? (y/n)" && read answer && [ "$answer" = "y" ] && shutdown' # 关机前确认
alias kill9='echo "Are you sure you want to kill the process? (y/n)" && read answer && [ "$answer" = "y" ] && kill -9' # 强制终止进程前确认

然后运行：source ~/.bashrc

WSL2 Ubuntu ： MySQL 安装记录

Mon, 17 Mar 2025 00:58:48 +0800

版本环境

WSL信息：

WSL 版本： 2.3.26.0
内核版本： 5.15.167.4-1
WSLg 版本： 1.0.65
MSRDC 版本： 1.2.5620
Direct3D 版本： 1.611.1-81528511
DXCore 版本： 10.0.26100.1-240331-1435.ge-release
Windows 版本： 10.0.22631.5039

Ubuntu版本： Ubuntu 24.04.1 LTS (GNU/Linux 5.15.167.4-microsoft-standard-WSL2 x86_64)

MySQL版本： Server version: 8.0.41-0ubuntu0.24.04.1 (Ubuntu)

安装步骤

1. 更新apt软件包

sudo apt update

2. 安装Mysql

sudo apt install mysql-server -y

3. 启用Mysql服务

sudo service mysql start

可以使用以下命令检查是否成功启用。

sudo service mysql status

成功启用的输出示例，注意看Loaded和Active信息。

● mysql.service - MySQL Community Server
 Loaded: loaded (/usr/lib/systemd/system/mysql.service; enabled; preset: enabled)
 Active: active (running) since Mon 2025-03-17 00:22:36 CST; 1min 49s ago
 Process: 1513 ExecStartPre=/usr/share/mysql/mysql-systemd-start pre (code=exited, status=0/SUCCESS)
 Main PID: 1521 (mysqld)
 Status: "Server is operational"
 Tasks: 38 (limit: 9361)
 Memory: 358.7M ()
 CGroup: /system.slice/mysql.service
 └─1521 /usr/sbin/mysqld

4. 查看Mysql初始密码

sudo cat /etc/mysql/debian.cnf

示例输出：

# Automatically generated for Debian scripts. DO NOT TOUCH!
[client]
host = localhost
user = example
password = example
socket = /var/run/mysqld/mysqld.sock
[mysql_upgrade]
host = localhost
user = example
password = example
socket = /var/run/mysqld/mysqld.sock

记住用户名（user）和密码（password），等下登录要用。

5. 修改Mysql中root用户密码

使用你刚刚记住的用户名和密码登录MySQL，输入密码进入MySQL终端

mysql -uexample -p

按照如下指令顺序输入：

mysql> use mysql;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed

mysql> ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'yourpassword';
Query OK, 0 rows affected (0.01 sec)

到这里MySQL的基本安装步骤就完成了，后续的配置按照正常MySQL配置即可。

解决程序无法读取数据库插入的新数据

Sun, 16 Mar 2025 01:15:01 +0800

问题描述

有两个不同的守护进程，一个守护进程接收csi数据插入到数据库中，另一个守护进程从数据库中读取csi数据进行处理。

在两个守护程序运行的过程中，从数据库中读取csi数据进行处理的守护进程在数据库中有新数据的情况下无法读取到数据库的新数据。经过排查发现，新数据确实被接收csi数据的守护进程成功插入，但是读取csi数据的守护进程并没有从数据库中读取到新数据，因此排除了数据库的问题和接收csi数据的守护进程的问题，将目光放在读取csi数据的守护进程上。

问题解决

经过一段时间的排查发现，很可能是读取csi数据的守护进程涉及到了 MySQL 的事务隔离级别和查询缓存的影响。

事务隔离导致看不到新数据（设置正确的事务隔离级别：READ COMMITTED，可以看到其他事务的提交）
查询缓存导致总是返回旧数据（禁用缓存，每次都读取最新数据）

为了保险起见，还防止有以下问题：

连接断开后无法自动重连（自动重连，使连接保持有效）
事务未正确提交导致数据更新不及时（显式提交，确保事务正确提交）

一些疑问

在进行web程序的编写过程中，我从来没有遇到过因为事务隔离级别引发的问题。为什么spring不需要设置正确的事务隔离级别，可以读取新的数据呢？

可能有以下几个原因：

Spring 默认的事务隔离级别就是 READ_COMMITTED
Spring 的事务管理机制会自动处理事务的开启和提交
Spring 使用连接池（如 HikariCP）管理数据库连接
Spring JPA/MyBatis 等 ORM 框架会自动清除查询缓存

实际上 Spring 在底层都处理好了这些细节。而在 Python 中，我们需要自己处理这些数据库事务和连接的细节。

示例代码：

def _fetch_csi_data(self, limit=30):
 try:
 # 1. 手动设置事务隔离级别
 cursor.execute("SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED")
 
 # 2. 手动管理事务
 self.db_connection.commit() # 开启新事务
 
 # 3. 手动禁用查询缓存
 query = """
 SELECT /*+ NO_CACHE */ id, timestamp, csi_data
 FROM raw_data
 WHERE device_id = %s AND processed = 0
 ORDER BY timestamp DESC
 LIMIT %s
 """
 
 # 4. 手动提交事务
 self.db_connection.commit()
 
 except Error as e:
 # 5. 手动处理异常
 self.logger.error(f"获取 CSI 数据时发生错误: {e}")
 self.close()
 return []

解决跨域问题

Sun, 16 Mar 2025 00:48:52 +0800

什么是跨域问题？

跨域问题 是指浏览器出于安全考虑，限制了从一个源（Origin）加载的网页脚本或资源与另一个源的资源进行交互的行为。这种限制是由浏览器的 同源策略（Same-Origin Policy） 引起的。

“跨域”指的是浏览器尝试访问的资源与当前页面的 源（Origin） 不一致。源由以下三部分组成：

协议（Protocol）：如 http、https。
域名（Domain）：如 example.com。
端口（Port）：如 80、443（默认端口可以省略）。

如果两个 URL 的协议、域名和端口完全相同，则它们是同源；否则就是跨源（Cross-Origin）。

示例：

https://example.com 和 https://example.com/api 是同源。
https://example.com 和 http://example.com 是跨源（协议不同）。
https://example.com 和 https://api.example.com 是跨源（域名不同）。
https://example.com 和 https://example.com:8080 是跨源（端口不同）。

跨域问题主要体现在以下场景中：

（1）AJAX 请求被阻止

当使用 XMLHttpRequest 或 Fetch API 发起跨域请求时，浏览器会阻止请求，除非服务器明确允许。
例如：前端页面在 https://example.com 下，尝试请求 https://api.example.com 的数据时，会被浏览器阻止。

（2）Cookie 和 LocalStorage 无法访问

浏览器不允许脚本访问跨域的 Cookie 或 LocalStorage 数据。
例如：https://example.com 无法读取 https://another.com 的 Cookie。

（3）DOM 操作受限

浏览器不允许脚本访问跨域 iframe 的内容。
例如：https://example.com 页面中嵌入了一个 https://another.com 的 iframe，脚本无法访问 iframe 中的 DOM。

（4）Web Fonts 和图片加载受限

某些资源（如字体、图片）的跨域加载可能会受到限制，除非服务器设置正确的 CORS 头。

为什么要有同源策略限制？

1. 防止数据泄露

如果没有同源策略，恶意网站可以通过脚本访问其他网站的数据（如 Cookie、LocalStorage），导致用户隐私泄露。
例如：用户在 https://bank.com 登录后，访问了恶意网站 https://evil.com，如果没有同源策略，evil.com 可以读取 bank.com 的 Cookie，从而窃取用户的银行账户信息。

2. 防止 CSRF（跨站请求伪造）攻击

同源策略可以防止恶意网站伪造用户请求，执行未经授权的操作。
例如：用户在 https://bank.com 登录后，访问了恶意网站 https://evil.com，evil.com 可以伪造一个请求到 https://bank.com/transfer，将用户的资金转走。同源策略可以阻止这种行为。

3. 防止恶意脚本注入

同源策略可以防止恶意脚本通过 iframe 或 AJAX 请求访问其他网站的内容。
例如：如果没有同源策略，恶意网站可以通过 iframe 嵌入 https://mail.com，并窃取用户的邮件内容。

4. 保护用户隐私

同源策略可以防止网站通过脚本获取用户的浏览历史、本地存储数据等隐私信息。

如何解决跨域问题？

常见的跨域解决方案包括：

（1）CORS（跨域资源共享）

CORS 是官方推荐的跨域解决方案。它通过在 服务器端设置 HTTP 响应头，明确告诉浏览器允许哪些来源、方法和头部的跨域请求。

服务器端配置示例：

// Spring Boot 中的 CORS 配置
public void addCorsMappings(CorsRegistry registry) {
 registry.addMapping("/**") // 允许所有路径的跨域请求
 .allowedOriginPatterns("*") // 允许所有来源
 .allowedMethods("GET", "POST", "PUT", "DELETE") // 允许的请求方法
 .allowedHeaders("*") // 允许的请求头
 .allowCredentials(true) // 是否允许带认证信息
 .maxAge(3600); // 预检请求的缓存时间
}

浏览器在发起跨域请求时，会先发送一个 预检请求（Preflight Request），询问服务器是否允许跨域请求。
服务器通过设置 Access-Control-Allow-Origin 等响应头，明确告诉浏览器允许跨域请求。
浏览器收到响应后，会根据响应头决定是否允许实际的请求。

（2）JSONP

JSONP 是一种利用 <script> 标签不受同源策略限制的特性来实现跨域请求的技术。

<script> 标签不受同源策略限制，可以加载跨域的 JavaScript 文件。
服务器返回的数据被包裹在一个回调函数中（如 handleResponse），前端通过定义这个回调函数来处理数据。
缺点是 只支持 GET 请求，且安全性较低（无法处理错误和复杂的请求）。

特性	`<script>` 标签的跨域加载	同源策略的作用
跨域加载 JavaScript	可以	不限制 `<script>` 标签的跨域加载，但限制了其他行为（如 AJAX 请求、Cookie 访问）。
跨域 AJAX 请求	不可以	阻止恶意网站通过 AJAX 请求访问其他网站的数据。
跨域访问 Cookie	不可以	阻止恶意网站访问其他网站的 Cookie 和 LocalStorage。
跨域 DOM 操作	不可以	阻止恶意网站通过 iframe 嵌入其他网站并操作其 DOM。
跨域资源访问	部分可以（如 JavaScript 文件）	阻止恶意网站滥用其他网站的资源（如字体、图片）。

（3）代理服务器

代理服务器的原理是让前端请求同源服务器，由同源服务器转发请求到目标服务器。

浏览器只向同源服务器发起请求，避免了跨域问题。
代理服务器将请求转发到目标服务器，并将响应返回给浏览器。
由于代理服务器是服务器之间的通信，不受浏览器的同源策略限制。

（4）WebSocket

WebSocket 是一种全双工通信协议，不受同源策略限制。

WebSocket 协议本身不受同源策略限制。
它适用于实时通信场景（如聊天室、实时数据推送）。

（5）修改浏览器设置（不推荐）

在开发环境中，可以禁用浏览器的同源策略。

禁用同源策略后，浏览器不再检查跨域请求，所有请求都会被允许。
缺点：这会降低浏览器的安全性，容易受到恶意网站的攻击，因此 不推荐在生产环境中使用。

个人总结

跨域问题主要就是浏览器出于安全的限制，如果在开发过程中遇到了需要跨域的情况，开发者就需要自行进行配置。可以从前端入手设置代理服务器避免出现跨域，也可以从后端入手配置CORS跨域资源共享解决。

防火墙工具引起的问题

Mon, 10 Mar 2025 01:05:50 +0800

起因

因为觉得服务器的内存占用太高，但是不知道要清理哪些进程，于是重启了一下服务器。重启服务器之后Xshell连不上了，于是折腾了一个晚上，搞明白了关于防火墙的一些相关知识。

同时突然想起之前一次使用firewall-cmd开放端口后，服务器也无法远程连接，可能也就是和今天学到的有关吧。

各种防火墙工具

在 Linux 系统中，有多种防火墙工具可供选择，每种工具都有其特点和适用场景。以下是常见防火墙工具的梳理，包括它们的异同、开机自启动方法以及常用命令。

1. iptables

特点

底层工具：直接操作 Linux 内核的 Netfilter 框架。
静态规则：规则是静态的，修改后需要手动保存。
灵活性高：适合需要精细控制规则的高级用户。

开机自启动

iptables 本身不是一个服务，但可以通过以下方法实现开机自启动：

Debian/Ubuntu：使用 iptables-persistent 包。

sudo apt-get install iptables-persistent

CentOS/RHEL：使用 iptables-services 包。

sudo yum install iptables-services

sudo systemctl enable iptables
sudo systemctl start iptables

常用命令

查看规则：sudo iptables -L -v -n
添加规则：sudo iptables -A INPUT -p tcp --dport 22 -j ACCEPT
保存规则：sudo iptables-save > /etc/iptables/rules.v4
加载规则：sudo iptables-restore < /etc/iptables/rules.v4

2. firewalld

特点

动态管理：支持运行时更新规则，无需重启服务。
高级抽象：使用 zones 和 services 简化配置。
适合服务器：常用于 CentOS、RHEL、Fedora。

开机自启动

启用开机自启动：

sudo systemctl enable firewalld

sudo systemctl start firewalld

常用命令

查看状态：sudo firewall-cmd --state
查看当前区域规则：sudo firewall-cmd --list-all
添加服务：

sudo firewall-cmd --zone=public --add-service=ssh --permanent

sudo firewall-cmd --reload
添加端口：

sudo firewall-cmd --zone=public --add-port=80/tcp --permanent

sudo firewall-cmd --reload

3. UFW（Uncomplicated Firewall）

特点

简单易用：适合初学者或需要快速配置的场景。
基于 iptables：底层仍然使用 iptables。（主要基于 iptables，也在逐步支持 nftables）
适合桌面：常用于 Ubuntu 和基于 Ubuntu 的发行版。

开机自启动

启用开机自启动：

sudo systemctl enable ufw

sudo systemctl start ufw

常用命令

查看状态：sudo ufw status
启用 UFW：sudo ufw enable
允许服务：sudo ufw allow ssh
允许端口：sudo ufw allow 80/tcp
删除规则：sudo ufw delete allow 80/tcp

4. nftables

特点

iptables 的继任者：更高效、更灵活。
统一框架：支持 IPv4 和 IPv6。
适合高级用户：语法更复杂，但功能更强大。

开机自启动

启用开机自启动：

sudo systemctl enable nftables

sudo systemctl start nftables

常用命令

查看规则：sudo nft list ruleset
添加规则：sudo nft add rule ip filter input tcp dport 22 accept
保存规则：sudo nft list ruleset > /etc/nftables.conf
加载规则：sudo nft -f /etc/nftables.conf

5. 总结对比

工具	特点	开机自启动方法	适用场景
iptables	静态规则，灵活性高	使用 iptables-persistent 或 iptables-services	高级用户、服务器
firewalld	动态管理，支持 zones 和 services	systemctl enable firewalld	服务器、云环境
UFW	简单易用，基于 iptables	systemctl enable ufw	桌面、简单服务器
nftables	iptables 的继任者，高效灵活	systemctl enable nftables	高级用户、现代 Linux 系统

6. 如何选择？

如果你需要精细控制规则，选择 iptables 或 nftables。
如果你是初学者或需要快速配置，选择 UFW。
如果你需要动态管理规则，选择 firewalld。

避免防火墙冲突

防火墙冲突通常发生在同时使用多个防火墙工具（如 iptables、firewalld、UFW 等）时，因为它们可能会修改相同的底层规则表（如 iptables 或 nftables），导致规则覆盖或不一致的行为。以下是避免防火墙冲突的方法：

1. 只使用一个防火墙工具

这是避免冲突的最简单和最有效的方法。选择一个适合你需求的工具，并禁用其他工具。

选择工具的建议

简单易用：选择 UFW（适合桌面用户或初学者）。
动态管理：选择 firewalld（适合服务器或需要频繁更新规则的场景）。
精细控制：选择 iptables 或 nftables（适合高级用户）。

2. 禁用其他防火墙工具

如果你决定使用某个工具，请确保禁用其他工具。

禁用 firewalld

sudo systemctl stop firewalld
sudo systemctl disable firewalld

禁用 UFW

sudo ufw disable

禁用 iptables（如果使用 firewalld 或 UFW）

如果你使用 firewalld 或 UFW，通常不需要手动禁用 iptables，因为它们会管理 iptables 规则。
如果你直接使用 iptables，请确保没有其他工具干扰。

3. 检查当前使用的工具

检查 firewalld 是否运行

sudo systemctl status firewalld

检查 UFW 是否运行

sudo ufw status

检查 iptables 规则

sudo iptables -L -v -n

4. 避免手动修改底层规则

如果你使用 firewalld 或 UFW，尽量避免直接使用 iptables 或 nftables 修改规则，因为这可能导致冲突。
如果你需要直接操作底层规则，请确保了解工具之间的交互方式。

5. 规则持久化

确保规则在重启后仍然有效，避免因规则丢失而导致的安全问题。

firewalld

使用 --permanent 参数保存规则：

sudo firewall-cmd --zone=public --add-service=ssh --permanent
 sudo firewall-cmd --reload

UFW

启用 UFW 并添加规则：

sudo ufw enable
 sudo ufw allow ssh

iptables

使用 iptables-save 保存规则：

sudo iptables-save > /etc/iptables/rules.v4

6. 示例：从 firewalld 切换到 UFW

如果你决定使用 UFW，可以按照以下步骤切换：

停止并禁用 firewalld

sudo systemctl stop firewalld
sudo systemctl disable firewalld

启用 UFW

sudo ufw enable

添加规则

sudo ufw allow ssh
sudo ufw allow http

检查状态

sudo ufw status

7. 总结

只使用一个防火墙工具，避免同时启用多个工具。
禁用其他工具，确保规则不会被覆盖。
确保规则持久化，避免重启后丢失。

默认防火墙工具

发行版	默认工具	特点	其他支持工具
Ubuntu	UFW	简单易用，适合初学者	iptables, firewalld, nftables
Debian	UFW	简单易用，适合初学者	iptables, firewalld, nftables
CentOS	firewalld	动态管理，支持 zones 和 services	iptables, nftables
RHEL	firewalld	动态管理，支持 zones 和 services	iptables, nftables
Fedora	firewalld	动态管理，支持 zones 和 services	iptables, nftables
Arch Linux	无默认工具	用户自行选择	iptables, nftables, firewalld
openSUSE	SuSEfirewall2 / firewalld	旧版使用 SuSEfirewall2，新版使用 firewalld	iptables, nftables

理论上，大多数防火墙工具可以在所有 Linux 发行版上使用，但实际使用中可能会受到以下限制：

发行版的默认工具：不同发行版可能有自己的默认防火墙工具。
软件包管理器的支持：某些工具可能需要从源码编译安装，或者依赖特定的库。
兼容性问题：同时使用多个防火墙工具可能会导致规则冲突。

但是强烈建议就用默认的工具或者使用非默认的工具时一定要禁用其他工具，不要混用不同的防火墙工具，导致规则覆盖或不一致的行为！！！

前后端划分

✅ 后端（内核级防火墙工具）：

这些直接与 Linux 内核的网络过滤框架交互，负责执行具体的包过滤和网络规则：

iptables（旧的内核防火墙后端，广泛使用多年）
nftables（iptables 的继任者，设计更现代，已成为新的内核防火墙框架）

✅ 前端（用户空间防火墙管理工具）：

这些工具提供更简化或结构化的接口，帮助用户管理底层防火墙规则（调用 iptables 或 nftables 实际应用规则）：

firewalld（基于 zone 和服务概念的高级防火墙管理器，可以使用 iptables 或 nftables 作为后端）
UFW（Uncomplicated Firewall）（Ubuntu 上常见的防火墙简化工具，主要基于 iptables，也在逐步支持 nftables）

总结对照表：

名称	类型	说明
iptables	后端	旧版 Linux 防火墙核心组件，低层次规则设置
nftables	后端	新一代内核防火墙系统，功能更强，替代 iptables
firewalld	前端	支持动态规则和区域，默认使用 nftables（新系统）
UFW	前端	面向用户简化命令行操作，默认基于 iptables（Ubuntu）

防火墙和安全组

防火墙：

是一种网络安全系统，用于监控和控制进出网络的流量。

通常部署在单个服务器或网络边界（如路由器、网关）。
基于规则（如 IP 地址、端口、协议）来决定是否允许或拒绝流量。
安全组：

是一种虚拟防火墙，通常用于云计算环境（如 AWS、阿里云、腾讯云）。

作用于虚拟机实例（如云服务器）或网络接口。
基于规则（如 IP 地址、端口、协议）来控制进出实例的流量。

特性	防火墙	安全组
应用场景	物理服务器、网络边界	云计算环境中的虚拟机实例
实现方式	软件（如 iptables）或硬件	云计算平台的虚拟网络层
规则管理	静态，需手动保存	动态，修改后立即生效
部署位置	网络边界或单个主机	虚拟机实例或网络接口
性能	取决于硬件或软件实现	由云计算平台提供
管理复杂度	较高，适合高级用户	较低，适合普通用户

对于云服务器来说，安全组和防火墙相当于双重保障，在使用时如果发现某一端口开放了但是无法使用，就要查看安全组和防火墙是否都开放了该端口。

MySQL 开启和关闭远程访问权限

Tue, 04 Mar 2025 01:40:37 +0800

正文

在 MySQL 中，可以通过操作** mysql 数据库中的 user 表**来开启和关闭远程访问权限。

如下所示：

MySQL 是通过用户名（user）和客户端ip（host）来唯一确定一个用户。host 字段指定了允许用户连接的主机，它与 user 字段一起组成一个用户账户的唯一标识（即 'user'@'host'）。

也就是说，可以设置同一个用户名在不同的客户端登陆时的密码不同，登陆后的权限也不同。通过查看mysql.user的表结构也可以看出，host和user是作为联合主键存在的。

所以说，我们只要修改相应的 host 字段就可以开启和关闭远程访问权限。host字段的常见值如下：

localhost：

表示用户只能从本地主机（即 MySQL 服务器所在的机器）连接。

例如：'root'@'localhost' 表示用户 root 只能从本地连接。
%：

表示用户可以从任意主机连接。

例如：'user'@'%' 表示用户 user 可以从任何 IP 地址或主机名连接。
具体的 IP 地址或主机名：

表示用户只能从指定的 IP 地址或主机名连接。

例如：'user'@'192.168.1.100' 表示用户 user 只能从 IP 地址 192.168.1.100 连接。
127.0.0.1：

表示用户只能从本地主机的环回接口（即 localhost 的 IP 形式）连接。

例如：'user'@'127.0.0.1' 表示用户 user 只能从 127.0.0.1 连接。

在修改 mysql.user 表后，我们运行 FLUSH PRIVILEGES; 命令就可以使更改生效。

更多关于 host 字段的知识如下：

补充资料

在 MySQL 中，mysql.user 表存储了用户账户和权限信息，其中 host 字段是一个非常重要的字段，它决定了用户可以从哪些主机连接到 MySQL 服务器。

`mysql.user` 表中的 `host` 字段

1. `host` 字段的作用

host 字段指定了允许用户连接的主机。
它与 user 字段一起组成一个用户账户的唯一标识（即 'user'@'host'）。
MySQL 通过 user 和 host 字段的组合来判断用户是否有权限连接到服务器。

2. `host` 字段的常见值

localhost：

表示用户只能从本地主机（即 MySQL 服务器所在的机器）连接。

例如：'root'@'localhost' 表示用户 root 只能从本地连接。
%：

表示用户可以从任意主机连接。

例如：'user'@'%' 表示用户 user 可以从任何 IP 地址或主机名连接。
具体的 IP 地址或主机名：

表示用户只能从指定的 IP 地址或主机名连接。

例如：'user'@'192.168.1.100' 表示用户 user 只能从 IP 地址 192.168.1.100 连接。
127.0.0.1：

表示用户只能从本地主机的环回接口（即 localhost 的 IP 形式）连接。

例如：'user'@'127.0.0.1' 表示用户 user 只能从 127.0.0.1 连接。

3. `host` 字段的匹配规则

MySQL 在验证用户连接时，会按照以下顺序匹配 host 字段：

精确匹配（例如 'user'@'192.168.1.100'）。

通配符匹配（例如 'user'@'%'）。
如果找不到匹配的记录，连接会被拒绝。
注意：

如果有多个匹配的记录，MySQL 会选择最具体的一个。

例如，'user'@'192.168.1.100' 比 'user'@'%' 更具体，因此会优先匹配。

4. 修改 `host` 字段

如果需要修改用户的 host 字段，可以使用以下 SQL 语句：

修改用户的 `host` 值

UPDATE mysql.user SET host = ‘新的host值’ WHERE user = ‘用户名’ AND host = ‘旧的host值’; FLUSH PRIVILEGES;

例如，将用户 user 的 host 从 localhost 改为 %：

UPDATE mysql.user SET host = ‘%’ WHERE user = ‘user’ AND host = ’localhost’; FLUSH PRIVILEGES;

创建新用户时指定 `host`

CREATE USER ‘用户名’@‘host值’ IDENTIFIED BY ‘密码’;

例如，创建一个用户 user，允许从任意主机连接：

CREATE USER ‘user’@’%’ IDENTIFIED BY ‘password’;

5. 查看 `mysql.user` 表中的 `host` 字段

可以运行以下 SQL 语句查看 mysql.user 表中的 host 字段：

SELECT user, host FROM mysql.user;

输出示例：

+——————+———–+ | user | host | +——————+———–+ | root | localhost | | user | % | | testuser | 192.168.1.100 | +——————+———–+

6. 注意事项

安全性：

使用 % 允许从任意主机连接时，可能会增加安全风险。建议仅在必要时使用，并确保设置强密码。

权限刷新：

修改 mysql.user 表后，必须运行 FLUSH PRIVILEGES; 以使更改生效。

备份：

在修改 mysql.user 表之前，建议备份数据，以防止误操作。

总结

mysql.user 表中的 host 字段决定了用户可以从哪些主机连接到 MySQL 服务器。
常见的 host 值包括 localhost、%、具体的 IP 地址或主机名。
可以通过 UPDATE 语句修改 host 字段，或通过 CREATE USER 创建用户时指定 host。
修改后需要运行 FLUSH PRIVILEGES; 以使更改生效。

如果你有其他问题或需要进一步帮助，请告诉我！

从 Git 历史提交中删除文件

Tue, 04 Mar 2025 00:00:47 +0800

注意！！！

亲测！！！两个方案都会在删除提交记录的同时把原文件删除！！！一定要记得备份文件再操作！！！如果仓库非常重要的话建议操作前备份整个仓库！！！

方案一：使用git filter-repo工具

安装 git-filter-repo 工具

pip install git-filter-repo

运行命令删除example.txt文件提交记录，–path后跟文件路径，如“src/main/resources/1.txt”

git filter-repo --path example.txt --invert-paths

方案二：使用git filter-branch命令

运行命令删除example.txt文件提交记录，如果不在当前目录，请加上相对路径，如“src/main/resources/example.txt”：

git filter-branch --force --index-filter 'git rm --cached --ignore-unmatch example.txt' --prune-empty --tag-name-filter cat -- --all

同步远程仓库

如果有远程 git 仓库，请在操作前先同步所有分支，删除文件后再执行以下命令。

git push origin --force --all：强制推送所有分支。
git push origin --force --tags：强制推送所有标签。

如果有 fork 仓库的话，除了让 fork 仓库的所有人删除仓库，否则就没办法了。

参考文章

Git Git: 如何从历史提交中删除文件|极客教程

Linux 安装 MySQL 8.0.26

Mon, 03 Mar 2025 00:01:59 +0800

原文链接：https://www.cnblogs.com/MrYoodb/p/15811199.html

1、MySQL 8.0.26 下载

官方网站下载 MySQL 8.0.26 安装包，下载地址：

https://downloads.mysql.com/archives/community

需要注意：Linux操作系统是32位还是64位，本案例采用Linux 64位操作系统进行讲解，通过wget命令下载安装包。

使用df -lh命令查看，磁盘大小，尽量安装在比较大的磁盘下，防止空间不够使用。

[root@VM-0-4-centos home]# df -lh
Filesystem Size Used Avail Use% Mounted on
devtmpfs 3.9G 0 3.9G 0% /dev
tmpfs 3.9G 24K 3.9G 1% /dev/shm
tmpfs 3.9G 604K 3.9G 1% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
/dev/vda1 50G 3.8G 44G 9% /
tmpfs 783M 0 783M 0% /run/user/0

通过上述命令可以看出根目录空间比较充足，那么就把安装包下载到home目录了，执行wget命令。

[root@VM-0-4-centos home]# wget https://downloads.mysql.com/archives/get/p/23/file/mysql-8.0.26-linux-glibc2.12-x86_64.tar.xz

2、解压缩文件

解压 mysql-8.0.26-linux-glibc2.12-x86_64.tar.xz 文件，使用tar -xvf mysql-8.0.26-linux-glibc2.12-x86_64.tar.xz 命令。

[root@VM-0-4-centos home]# tar -xvf mysql-8.0.26-linux-glibc2.12-x86_64.tar.xz 
mysql-8.0.26-linux-glibc2.12-x86_64/bin/
mysql-8.0.26-linux-glibc2.12-x86_64/bin/myisam_ftdump
mysql-8.0.26-linux-glibc2.12-x86_64/bin/myisamchk
mysql-8.0.26-linux-glibc2.12-x86_64/bin/myisamlog
mysql-8.0.26-linux-glibc2.12-x86_64/bin/myisampack
mysql-8.0.26-linux-glibc2.12-x86_64/bin/mysql
....
mysql-8.0.26-linux-glibc2.12-x86_64/share/
mysql-8.0.26-linux-glibc2.12-x86_64/share/install_rewriter.sql
mysql-8.0.26-linux-glibc2.12-x86_64/share/uninstall_rewriter.sql

3、移动文件

将压缩包移动到usr/local目录下，并重命名文件为mysql，使用mv /home/mysql-8.0.26-linux-glibc2.12-x86_64 /usr/local/mysql命令。

[root@VM-0-4-centos home]# mv mysql-8.0.26-linux-glibc2.12-x86_64 /usr/local/mysql
[root@VM-0-4-centos home]# cd /usr/local/mysql/
[root@VM-0-4-centos mysql]# ls
bin docs include lib LICENSE man README share support-files
[root@VM-0-4-centos mysql]# cd ..
[root@VM-0-4-centos local]# ls
bin etc games include lib lib64 libexec mysql qcloud sbin share src yd.socket.server
[root@VM-0-4-centos local]#

4、创建数据存放目录

在mysql根目录下新建一个目录data，主要用于存放数据库数据文件，使用mkdir data命令。

[root@VM-0-4-centos local]# cd mysql/
[root@VM-0-4-centos mysql]# mkdir data
[root@VM-0-4-centos mysql]# ls
bin data docs include lib LICENSE man README share support-files
[root@VM-0-4-centos mysql]#

5、创建用户组和用户

创建mysql用户组和mysql用户，使用groupadd mysql和useradd -g mysql mysql命令。

[root@VM-0-4-centos mysql]# groupadd mysql
[root@VM-0-4-centos mysql]# useradd -g mysql mysql

6、改变mysql目录权限

修改mysql目录权限，可以使用chown -R mysql.mysql /usr/local/mysql/命令。

修改mysql目录权限也可以通过chown -R mysql .和chgrp -R mysql .两个命令。注意：这两个命令都需要执行的，还有那个点不要忽视掉。

7、数据库初始化

数据库初始化./bin/mysqld --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --initialize命令，得到临时密码。

[root@VM-0-2-centos mysql]# ./bin/mysqld --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --initialize
2022-01-16T07:32:18.729960Z 0 [Warning] [MY-011070] [Server] 'Disabling symbolic links using --skip-symbolic-links (or equivalent) is the default. Consider not using this option as it' is deprecated and will be removed in a future release.
2022-01-16T07:32:18.729960Z 0 [System] [MY-013169] [Server] /usr/local/mysql/bin/mysqld (mysqld 8.0.26) initializing of server in progress as process 7691
2022-01-16T07:32:18.740975Z 1 [System] [MY-013576] [InnoDB] InnoDB initialization has started.
2022-01-16T07:32:19.800287Z 1 [System] [MY-013577] [InnoDB] InnoDB initialization has ended.
2022-01-16T07:32:21.721672Z 0 [Warning] [MY-013746] [Server] A deprecated TLS version TLSv1 is enabled for channel mysql_main
2022-01-16T07:32:21.722106Z 0 [Warning] [MY-013746] [Server] A deprecated TLS version TLSv1.1 is enabled for channel mysql_main
2022-01-16T07:32:21.787669Z 6 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: j-6lA2aXv=Pz

需要注意：记录一下mysql数据库的临时密码 j-6lA2aXv=Pz，后面安装步骤是需要使用的，否则需要重新安装数据库或其他方式获取密码，此处问题省略。

8、修改my.cnf文件

修改my.cnf文件，使用vi /etc/my.cnf命令。

[mysqld]
 basedir = /usr/local/mysql
 datadir = /usr/local/mysql/data
 socket = /usr/local/mysql/mysql.sock
 character-set-server=utf8
 port = 3306
 sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
 [client]
 socket = /usr/local/mysql/mysql.sock
 default-character-set=utf8
#[mysqld]
#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks
#symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd
 
#[mysqld_safe]
#log-error=/var/log/mariadb/mariadb.log
#pid-file=/var/run/mariadb/mariadb.pid
 
#
# include all files from the config directory
#
#!includedir /etc/my.cnf.d

直接将上述配置内容复制到my.cnf文件中，或者自行修改，然后执行:wq命令，保存并退出。

9、创建mysql服务

1）将mysql.server启动文件复制到/etc/init.d目录，使用cp -a /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld命令。

2）赋予权限，使用chmod +x /etc/rc.d/init.d/mysqld命令；

3）使用chkconfig --add mysqld创建mysql服务。

[root@VM-0-4-centos mysql]# cp -a /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
[root@VM-0-4-centos mysql]# chmod +x /etc/rc.d/init.d/mysqld
[root@VM-0-4-centos mysql]# chkconfig --add mysqld

检查mysql服务是否生效，使用chkconfig --list mysqld命令。

[root@VM-0-4-centos mysql]# chkconfig --list mysqld
 
Note: This output shows SysV services only and does not include native
 systemd services. SysV configuration data might be overridden by native
 systemd configuration.
 
 If you want to list systemd services use 'systemctl list-unit-files'.
 To see services enabled on particular target use
 'systemctl list-dependencies [target]'.
 
mysqld 0:off 1:off 2:on 3:on 4:on 5:on 6:off

10、配置全局环境变量

编辑/etc/profile文件，使用vi /etc/profile命令，在profile文件中添加如下两行配置，使用:wq命令保存后退出。

export PATH=$PATH:/usr/local/mysql/bin:/usr/local/mysql/lib
export PATH

设置环境变量立即生效使用source /etc/profile命令。

[root@VM-0-4-centos ~]# source /etc/profile
[root@VM-0-4-centos ~]#

11、启动mysql服务

启动mysql服务，使用service mysql start命令；使用service mysql status命令，查看是否启动成功。

[root@VM-0-4-centos ~]# service mysql start
Redirecting to /bin/systemctl start mysql.service
[root@VM-0-4-centos ~]# service mysql status
Redirecting to /bin/systemctl status mysql.service
● mysqld.service - LSB: start and stop MySQL
 Loaded: loaded (/etc/rc.d/init.d/mysqld; bad; vendor preset: disabled)
 Active: active (running) since Sun 2022-01-16 17:17:55 CST; 8s ago
 Docs: man:systemd-sysv-generator(8)
 Process: 27231 ExecStart=/etc/rc.d/init.d/mysqld start (code=exited, status=0/SUCCESS)
 CGroup: /system.slice/mysqld.service
 ├─27242 /bin/sh /usr/local/mysql/bin/mysqld_safe --datadir=/usr/local/mysql/data --pid-file=/usr/local/mysql/data/VM-0-4-centos.pid
 └─27408 /usr/local/mysql/bin/mysqld --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --plugin-dir=/usr/local/mysql/lib/plugin --user=mysql --log-error=VM-0-4-cent...
 
Jan 16 17:17:54 VM-0-4-centos systemd[1]: Starting LSB: start and stop MySQL...
Jan 16 17:17:54 VM-0-4-centos mysqld[27231]: Starting MySQL.Logging to '/usr/local/mysql/data/VM-0-4-centos.err'.
Jan 16 17:17:55 VM-0-4-centos mysqld[27231]: SUCCESS!
Jan 16 17:17:55 VM-0-4-centos systemd[1]: Started LSB: start and stop MySQL.

12、登录mysql修改密码

登录mysql数据库，使用mysql -uroot -p密码命令，临时密码是j-6lA2aXv=Pz。

[root@VM-0-4-centos ~]# mysql -uroot -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 13
Server version: 8.0.26
 
Copyright (c) 2000, 2021, Oracle and/or its affiliates.
 
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
 
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
 
mysql>

修改mysql临时密码，也就是将第七步数据库初始化生成的临时密码修改成自己需要设置的密码。

修改mysql数据库密码，使用ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '123456';命令。

mysql> ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '123456';
Query OK, 0 rows affected (0.01 sec)
mysql>

注意：此处123456修改为自己的需要密码即可。

13、设置mysql远程登录

1）切换数据库，使用use mysql;命令。

2）修改mysql库中host值，使用update user set host='%' where user='root' limit 1;命令。

3）刷新mysql权限，使用flush privileges;命令。

mysql> use mysql;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
 
Database changed
mysql> update user set host='%' where user='root' limit 1;
Query OK, 1 row affected (0.01 sec)
Rows matched: 1 Changed: 1 Warnings: 0
 
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
 
mysql>

14、mysql客户端连接数据库

客户端连接mysql数据库，连接名（自定义名称）、主机（IP）、端口号及用户名和密码，点击测试连接按钮，显示连接成功即可。

注意：若提示无法连接，需要测试服务器3306端口是否开放。若服务器端可以通过查看防火墙情况，此时方式验证省略；而从客户端测试可以使用“telnet IP 端口号”命令。

wordpress更改固定链接后网页出现404

Sun, 02 Mar 2025 01:08:09 +0800

问题描述

在wordpress后台更改固定链接结构后网页出现404的情况。

解决方法

在宝塔后台打开网站设置，在伪静态中加入以下代码。

if (-f $request_filename/index.html){
rewrite (.*) $1/index.html break;
}
 
if (-f $request_filename/index.php){
rewrite (.*) $1/index.php;
}
 
if (!-f $request_filename){
rewrite (.*) /index.php;
}

问题原理

With Nginx there is no directory-level configuration file like Apache’s .htaccess or IIS’s web.config files. All configuration has to be done at the server level by an administrator, and WordPress cannot modify the configuration, like it can with Apache or IIS.（Nginx没有像Apache的.htaccess或IIS的web.config文件那样的目录级配置文件。所有配置都必须由管理员在服务器级别完成，WordPress无法修改配置，就像Apache或IIS一样。）

Since Nginx does not have .htaccess-type capability and WordPress cannot automatically modify the server configuration for you, it cannot generate the rewrite rules for you.（由于Nginx没有. htaccess类型功能，WordPress无法自动为您修改服务器配置，因此无法为您生成重写规则。）

如果你的服务器是 Nginx，那么 WordPress 自动生成的 .htaccess 文件 不会生效，因为 Nginx 根本不支持 .htaccess 文件。.htaccess 是 Apache 服务器的配置文件，而 Nginx 使用的是完全不同的配置方式。由于 Nginx 并不支持.htaccess文件，因此你需要手动在Nginx配置中添加重写规则。

添加的Nginx服务器的重写规则，作用如下：

检查是否存在index.html：

if (-f $request_filename/index.html){ rewrite (.*) $1/index.html break; }

如果请求的URL对应一个目录，并且该目录下存在index.html文件，Nginx会将请求重写到该index.html文件并停止进一步处理。
检查是否存在index.php：

if (-f $request_filename/index.php){ rewrite (.*) $1/index.php; }

如果请求的URL对应一个目录，并且该目录下存在index.php文件，Nginx会将请求重写到该index.php文件。
默认重写到index.php：

if (!-f $request_filename){ rewrite (.*) /index.php; }

如果请求的URL不对应任何实际存在的文件或目录，Nginx会将请求重写到index.php。这是WordPress处理路由的关键部分，所有的请求都会被发送到index.php，然后由WordPress根据URL决定显示哪个页面。

这段代码的核心是将所有不匹配实际文件的请求重写到index.php。这正是WordPress处理固定链接的方式。WordPress通过index.php解析URL并显示相应的内容。

不加重写规则时，服务器会按照默认行为尝试直接访问与URL路径对应的文件或目录。由于WordPress的固定链接不对应实际文件，因此会返回404错误。重写规则的作用是告诉服务器：“将所有不匹配实际文件或目录的请求交给 index.php 处理。” 这样，WordPress才能根据URL路径动态生成内容。

参考文章

【图文解释】解决wordpress更改固定链接后网页出现404；站点创建成功页面无法显示_wordpress搭建的本地网站出现网页暂时无法打开-CSDN博客

Nginx – Advanced Administration Handbook | Developer.WordPress.org

修改 Linux 终端命令行提示符颜色

Wed, 26 Feb 2025 02:14:45 +0800

临时设置 `PS1`

PS（Prompt Sign）命令提示符，PS1是Linux终端用户的一个环境变量，用来定义命令行提示符的参数。在设定PS1环境变量时，需要用到预设的一些参数来设定PS1。

查看当前PS1的设置：

echo $PS1

设置PS1示例：

PS1='[\033[01;32m]\u@\h[\033[00m]\n[\033[01;34m]\w[\033[00m]\$'

PS1的常用参数以及含义：

\d ：代表日期，格式为weekday month date，例如："Mon Aug 1"
\H ：完整的主机名称
\h ：仅取主机名中的第一个名字
\t ：显示时间为24小时格式，如：HH：MM：SS
\T ：显示时间为12小时格式
\A ：显示时间为24小时格式：HH：MM
\u ：当前用户的账号名称
\v ：BASH的版本信息
\w ：完整的工作目录名称
\W ：利用basename取得工作目录名称，只显示最后一个目录名
\# ：下达的第几个命令
\$ ：提示字符，如果是root用户，提示符为 # ，普通用户则为 $

修改 `~/.bashrc` 文件

如果 ~/.bashrc 文件中无内容，则直接在 ~/.bashrc 文件中写入：

PS1='[\033[01;32m]\u@\h[\033[00m]\n[\033[01;34m]\w[\033[00m]\$'

然后运行：

source ~/.bashrc

如果 ~/.bashrc 文件中已有内容，则先打开 .bashrc 文件，查看是否存在 force_color_prompt=yes 行。然后，删除其前面的注释（# 符号）并保存文件（如果该行存在）。

查找定义 PS1 变量的行。

接下来定义新的 PS1 变量。但是，为了安全起见，我们将其注释掉，这样如果我们搞砸了，我们可以随时参考它。

然后，我们将通过添加以下行来创建一个新的 PS1 变量，该变量会为您的 Linux 终端提示符着色。

PS1='\&#91;\033&#91;1;32m\]\u\&#91;\033&#91;1;37m\]@\&#91;\033&#91;1;36m\]\h\&#91;\033&#91;00m\]:\&#91;\033&#91;1;34m\]\w\&#91;\033&#91;00m\]\$ '

然后运行：

source ~/.bashrc

常见问题

如果没有正常加载效果，则检查以下文件，确保它们没有覆盖 PS1：

/etc/profile

~/.bash_profile

~/.profile

~/.bash_aliases

/etc/bash.bashrc

参考配置

PS1='\[\033[01;31m\]\u\[\033[01;33m\]@\[\033[01;32m\]\h\[\033[00m\] \[\033[01;36m\][\D{%Y-%m-%d} \t]\[\033[01;37m\] : \[\033[01;33m\]\w\[\033[00m\]\n\[\033[01;34m\]\$\[\033[00m\] '

PS1="\[\033[01;31m\]\u\[\033[00m\]@\[\033[01;32m\]\h\[\033[00m\][\[\033[01;33m\]\t\[\033[00m\]]:\[\033[01;34m\]\w\[\033[00m\]\n$ "

参考文章

Linux命令行提示符颜色格式设置_kali命令提示符只有白色-CSDN博客

如何在 Linux 上更改 Bash Shell 提示符的颜色

开发实践 on 蛋蛋忧桑

.bash_profile配置-命令行工具代理

.vimrc配置文件

httpclient与hertzclient在处理Host header时的差别

问题提出

httpclient

hertzclient

Host header作用

apollo配置实时生效：监听器与channel实现

问题提出

监听器

channel实现

在 Golang 中复用 HTTP 连接

问题提出

原理探寻

流式与非流式有什么区别

问题提出

原理探寻

服务端

客户端

参考资料

昇思+香橙派 AI 开发实践：DeepSeek 全流程指南（基于 openEuler）

一、 环境准备

1. 镜像烧录

balenaEtcher制卡⼯具下载

openEuler镜像下载

镜像烧录

2. 连接开发板

首次配置

MobaXterm连接

Vscode连接

3. 软件环境升级

Toolkit升级（8.0.0_linux-aarch64）

Kernels升级（310b_8.0.0_linux-aarch64）

MindSpore升级（MindSpore2.5.0）

Swap检查与配置

Gradio安装

Mindnlp安装

其他python依赖安装

二、 运行代码

1. 下载代码

2. 运行代码

deepseek-r1-distill-qwen-1.5b-lora.py

deepseek-r1-distill-qwen-1.5b-gradio.py

deepseek-r1-distill-qwen-1.5b-jit.py

三、常见问题

1. 无法连接外部网络

2. 运行代码时出现权限相关问题

3. 运行代码时提示Ascend显存不足

4. 运行代码时有RuntimeError以及ValueError

5. jit第二次对话报错

Hadoop配置——两个节点（master和slave1）

配置要求

修改hosts、hostname

SSH 配置免密

1. 生成 SSH 密钥对（如果尚未生成）

2. 将自己的公钥添加到目标机器的 authorized_keys 中

配置Hadoop的配置文件

1. core-site.xml

2. hdfs-site.xml

3. mapred-site.xml

4. yarn-site.xml

5. workers（以前叫 slaves）

复制配置文件

启动 Hadoop

验证是否成功

前置参考资料

安装Hadoop

安装JDK

1.下载JDK1.8安装包

2.解压下载的JDK1.8安装包

3.移动并重命名JDK包

4.配置Java环境变量（如果说不想修改原有使用的Java版本，可以跳过）

5.查看Java是否成功安装

安装Hadoop

1.下载Hadoop安装包

2.解压Hadoop安装包至/opt/hadoop

3.配置Hadoop环境变量

4.修改配置文件yarn-env.sh和hadoop-env.sh

5.测试Hadoop是否安装成功

一、环境准备

二、运行代码