纯好奇，工作地点的某个科室因为储存空间需求量大，所以长官在一年多前(吧)，就在推 minIO(S3) 的储存机制，感觉好处是可以一直扩充空间，那个科室因为预算及需求量不成比例，所以虽然以 T 为单位採购储存设备，但因为无法一次买很大，以致我所知道的已陆续的又买了两座，因为好像是以网路磁盘的方式连接，所以他们电脑上好像有了三个磁盘代号。不知道为什么，同事一直很不认同 minIO 这套系统，他们一直提「超融合」架构，可是超融合可以取代 minIO(S3) 吗？

有可能是我一直排斥超融合，所以虽然看了些资料，但还是有看没有懂。

目前 minIO 的空间已使用了 45T ，尚有许多资料还没从原本的储存设备里转过来，目前知道是需求空间大约要 600T 以上。

长官在问 minIO 的备份备援机制为何？这..........

恳请前辈先进解惑。

谢谢！

2 个回答

6

Ray

iT邦大神 1 级 ‧ 2025-02-10 09:25:55

只讲一个超融合, 很难準确了解实际需求的资源有哪些?

超融合的好处:
Computing Node 和 Storage Node 可以同时扩张 (Scale-out)

但坏处也是:
这两个 Node 必须一起扩张, 可能会有某一方资源被浪费的状况

要把超融合的好处发挥到最大, 使用单位在技术面必须有能力:

  1. 寻求最佳的 Node 数量和规格平衡点 (Computing vs Storage)
  2. 确认两种类型的负载程度不会卡死对方的运作 (I/O Bound vs CPU Bound)
  3. 能够忍受同时损失 Computing+Storage (因为死一个 Cluster 是两种一起挂)

我不知道使用单位有没有思考过以上的问题? 在未釐清之前, 很难说:好? 或不好?

还有一种可能是管理面的: 工程师只想学一种技术, 就想要维运所有的资源, 他不想同时学 Computing Cluster + Storage Cluster 两种维运技能.

回到 Minio 的备份, 有几种方法:

  1. 建一个 Geolocation Replication 複写过去 (但这比较像备援, 不是备份)
  2. 用 Restic 备份软体
  3. 用 mcli mirror 指令把所有 Bucket 拉走

Multi-Site Active-Active Replication

How to Back Up with Restic and MinIO

Restore Backup with Minio (Minio <----> Local)


  • 2

canchang

iT邦新手 3 级 ‧
2025-02-10 17:12:50

谢谢大神回覆，所以就我提到的状况，只会有储存空间的扩充，至少就那个单位的需求，是否其实不适合超融合。

关于 minIO 备份，您提到的 1 跟 3 我都知道，但是这样似乎要两倍的硬体，没钱呀！使用 Restic 备份软体，晚点来看看。

再来研究一下超融合，当学习新知。

再次感谢！

修改

vc0528

iT邦新手 3 级 ‧
2025-02-13 07:47:43

以大容量储存需求，用超融合成本很贵，除非用ceph.

修改

1

williamtzeng168

iT邦新手 5 级 ‧ 2025-02-12 14:41:12

先针对你的需求与结构讨论：

  1. MinIO是Object Storage, 一般传统的超融合（例如：nutanix, vSAN...) 基本上是Block或File Storage。两种本质有差别
  2. 读取档案的方式：S3採用网路https读取，基本上是Block或File一般来说使用直接连线存取(NAS结构不同，是File Storage非Object Storage)

所以看你的疑问应该是偏向NAS的方式操作需求，利用网路读取，符合贵单位的需求

MinIO的底层容错机制是採用 纠删码(Erasure Coding), 档案储存时就分散于各个硬碟上，达到分散存取机制, 如果你的安装方式是基于原厂建议的架构下，你可以用32个节点(使用NVMe SSD及100GB网路)建立起的MinIO，可达官方最高读取效率325GB/s,写入177GB/s，非常适合大量读写的需求。单一档案最大支援50TiB
扩增部分以伺服器集区的概念进行水平扩展（横向扩展），不改变现有环境及设定融入更大资源。

另外针对S3的备份方案，你可以调整为资料生命週期管理和分层，设定Hot tier, warm tier, cold tier,当然cold tier可以转移到公有云Cold Tier，都是降低成本的好方法

对于MinIO更多使用者是拿来用 Data Lakehouse(取代Hadoop DataLake), 或同步备份, 甚至于AI training(支援S3 over RDMA)GPUDirect Storage ...

如果你和传统的超融合功能差异，更不甚枚举：弹性部署（不绑特定硬体)和多租户管理, 资料生命週期管理和分层, 多站点主动複製, 可扩充的物件存储, 快速备份与还原(支援备份软体immutable storage), 档案加密。 除此之外商用版本还有AiHub, promptObject, cache, KMS, objectFirewall, Global console....


  • 2

canchang

iT邦新手 3 级 ‧
2025-02-15 10:46:45

谢谢回覆。
工作地方的那个科室因为有大容量储存空间的需求，因为之前几次是採用直接购买 Storage 的方式来扩充，所以资讯部门主管才会提出用 minIO 来替代，另一点也是因为某系统有利用 Hadoop 在储存档案，他也想把这个也纳入。
就我浅薄的认知，minIO 可以先建个 300T 空间，如果不够用了，再扩充 300T ，如此的扩充而不用去修改前端的操作方式。
只是看同事一直排斥 minIO 而推崇超融合，而我对超融合不熟，看了几个网站资料还是不懂他们可能推崇的原因，所以才有一此问。
不好意思，关于您提到的备份部份的资讯，是否有资料可以参考，虽然可能因为资质的关係看不懂，但还是想知道一下。
再次感谢。

修改

williamtzeng168

iT邦新手 5 级 ‧
2025-02-19 17:19:31

MinIO基于纠删码会在环境建构时设定，所以之后无法以加硬碟或是增加一台节点方式扩增，但可以一座一座Cluster增加，在MinIO标準架构下，在节点前会需要一台LB, 对应到每一个节点，所以当你增加新的Cluster时，不需要修改前端的接入方式。另外扩增可以不对称扩增，例如：现在300T，下次想增加1PB也可以
可参考官方Doc

关于备份，看你的需求，以下两种方式都是Object建议的方案：Life Cycle management可以参考这个Youtube，有画面和说明，你可以更容易理解。

另外Active-Active Replication这你可以看这个Youtube比较容易理解

修改