Linux系统中MinIO的安装教程

2 02 3 年3 月1 5 日,我的一个朋友在测试MinIO独立版安装时遇到了一些问题。

安装独立版需要仔细准备环境。
创建目录: sudo mkdir -p /data/minio sudo chown -R $USER:$USER /data/minio
下载 MinIO: wget https://dl.min.io/server/minio/release/linux-amd6 4 /minio chmod +x 迷你 sudo mv minio /usr/local/bin/
设置环境变量: sudo vi /etc/default/minio 记下用户名、密码、端口等。

创建systemd服务: sudo vi /etc/systemd/system/minio.service User=$USER 行需要更正。

启动服务:sudo systemctl daemon-reload sudo systemctl启用--现在minio sudo systemctl status minio
只需在浏览器中访问 http://serverIP:9 001 即可。

部署集群版本需要4 个以上节点。
每个节点必须准备一块数据盘。

设置主机文件: echo "1 9 2 .1 6 8 .1 .1 01 minio-node1 " | sudo tee -a /etc/hosts sudo tee -a /etc/hosts 必须添加每个节点。

创建 systemd 服务文件也是如此,但您需要更改 MINIO_VOLUMES。
MINIO_VOLUMES="http://minio-node1 /data/minio1 http://minio-node2 /data/minio2 http://minio-node3 /data/minio3 http://minio-node4 /data/minio4 "
然后每个节点启动一个服务。
sudo systemctl 守护程序重新启动 sudo systemctl Enable --now minio
使用 mc 工具检查集群状态: mc admin info myminio
这部分我不太清楚,你可以弄清楚。

linux搭建集群需要啥硬件

说实话,在搭建Linux集群时,硬件选型确实是一个技术活,要看你想做什么。
我之前帮朋友搭建过一个中小型集群,现在给大家讲一下我的经验。

不要对CPU挑剔。
我记得i3 是在测试环境中使用的。
当时就想着跑一些小脚本,但是负载来了,就卡在PPT里了。
后来我换了 Xeon E5 ,感觉就像从自行车换到跑车一样。
特别是对于科学计算,我建议每个节点至少有 1 6 个核心,否则您必须等待整晚才能运行矩阵乘法。
但这也取决于预算。
有时购买二手服务器可以节省很多钱。

内存比较关键。
我遇到的问题是第一次没有分配足够的内存,结果一运行数据库就OOM了。
对于中小型集群来说8 GB-1 6 GB就足够了,但如果是做大数据分析,就从1 6 GB开始。
我看到有些人使用 6 4 GB。
DDR4 比 DDR3 快得多,所以不要含糊其辞。
不过说实话,买多一点内存也没什么错。
反正系统一旦运行起来,哪怕是几百兆也会很慢。

在硬盘上,我建议设置RAID。
此前,集群中的单个磁盘崩溃并丢失了所有数据,几乎损失了老板的赏金。
RAID5 /6 是常见的选择,读写性能足够。
如果您正在进行实时分析,使用 SSD 硬盘可以节省大量时间。
我记得使用 SSD 运行数据库速度快如闪电。
在购买网卡时不要图便宜。
早期我用的是1 000Mbps,后来想升级到更高速的计算,发现网速跟不上。
现在集群都使用1 0G甚至2 5 G网卡,尤其是使用InfiniBand时,速度令人难以置信。
使用双网卡也是一个好主意。
我见过有些人用它来防止单点故障。
在替代硬件方面,GPU变得越来越重要。
机器我做了一个教程,一旦加载A1 00卡,训练速度就会加倍。
但是,这取决于您的需求。
并非所有集群都应该配备 GPU。
专业卡足以完成某些图形工作。
电源也是同样的道理。
起初可以使用单个电源,但后来我意识到当集群满载时电源开始发出蜂鸣声。
后来又加了更不稳定的电源,让我感觉更不舒服。

供暖需要特别提及。
我见过有人把服务器堆得太密集,导致 CPU 被烧毁。
很伤心。
大量部署需要液体冷却,否则热量会导致人被蒸汽压死。
保留也非常重要。
热插拔硬盘省去了很多麻烦,无需关闭硬盘即可更换。
在特殊需求方面,如果要做超级计算,就需要专门的加速器。
我见过有人用FPGA来运行加密算法,但速度比不上CPU。
RDMA技术现在也很流行,减少延迟,特别适合高性能计算。

选择型号时,平衡的配置是关键。
不要只看CPU能力,内存不够的话是不行的。
不要忽视兼容性,一些制造商的驱动程序在 Linux 上有点不完整。
从性价比来说,有时候花再多的钱也不一定能买到合适的产品,要看实际需要。
例如,我后来发现一些集群通过使用开放计算标准可以节省很多钱。
总的来说,集群建设是一项战略工程,硬件只是其中的一部分。
如果预算有限,可以从小集群开始,逐步升级。
一开始不要建几千个节点,压力太大。
说实话,有时候慢的不是硬件,而是大脑。

Linux下MinIO安装教程

那是2 02 2 年的事了,当时我还在Linux下做MinIO,现在还记得很清楚。
单节点部署,CentOS7 系统。
首先创建安装路径 mkdir -p /data/minio/{bin,data,conf,logs},其中必须包含二进制、数据、配置和日志这四个部分。
然后下载MinIO二进制文件,wget -P /data/minio/bin https://dl.min.io/server/minio/release/linux-amd6 4 /minio,然后授予执行权限,chmod +x /data/minio/bin/minio。

然后设置环境变量,编辑/etc/profile,echo 'export MINIO_HOME=/data/minio' >> /etc/profile,echo 'export PATH=$PATH:$MINIO_HOME/bin' >> /etc/profile,然后输入/etc/profile作为变量生效的来源。
通过运行minio --version来检查,看是否有版本号,就说明已经安装了。

再次创建专用用户,useradd -s /sbin/nologin -M minio。
该用户无法登录并且没有主目录。
然后调整目录权限, chown -R minio:minio /data/minio 并将所有权授予该用户。

启动服务并手动运行,./minio server /data/minio/data,默认端口为9 000。
要配置开机自动启动,需要创建一个systemd服务文件,/etc/systemd/system/minio.service,粘贴内容:
[单位] 描述=MinIO 对象存储服务器 After=network.target
[服务] 用户=minio 组=迷你 环境文件=/etc/profile ExecStart=/data/minio/bin/minio 服务器/data/minio/data 重新启动=始终
[安装] WantedBy=多用户.target
然后激活systemctl minio,启动systemctl minio,检查状态systemctl status minio并简单地运行它。

分布式部署此时至少需要4 台设备。
每台设备必须重复单节点部署的步骤1 -6 ,并且环境必须一致。
然后初始化集群并在任意计算机上运行 ./minio Cluster init --host-list minio1 .example.com、minio2 .example.com、minio3 .example.com、minio4 .example.com。
必须预先使用 DNS 或主机配置主机名。
在其他设备上运行 ./minio member add minio2 .example.com:9 000 并将主机名更改为实际主机名。

要检查集群状态,请在任意节点上运行 ./minio admin info http://minio1 .example.com:9 000 来查看集群是否健康。
我当时就很迷茫,搞了好久。
存储路径必须独立,不能冲突。
网络配置成功,9 000、9 001 端口开放。
采用数据冗余、纠删码进行分发,节点数量最好是4 的倍数。
版本兼容,所有节点必须使用相同版本。

要解决该问题,服务无法启动。
查看日志/data/minio/logs/minio.log。
无法添加集群。
主机名解析是否正确?节点之间的时间是否同步?必须使用NTP服务。
存在权限问题。
Minio 用户必须具有读写权限。
就这样,到了2 02 2 年,又过了很长一段时间。