如何模拟实现分布式文件存储

如何解决海量数据存不下的问题

传统做法是是在宕机存储。但随着数据变多会遇到存储瓶颈

单机纵向扩展内存不够加内存磁盘不够家磁盘。有上限限制不能无限制加下去

多机横向扩展采用多台机器存储一台不够就加机器。理论上可以无线

多台机器存储也就意味迈入了分布式存储

如何解决海量数据文件查询便捷问题

当文件被分布式存储在多台机器之后后续获取文件的时候如何能快速找到文件位于哪台机器上呢。可以借助元数据记录来解决这个问题。把文件和其存储的机器的位置记录下来类似图书馆查阅图书系统这样就可以快速定位存储在哪台机器上了

如何解决大文件传输效率慢的问题

大数据使用的场景下GB,TB级别的大文件是常见的。当单个文件过大的时候如何提高传输效率通常的做法是分块存储把大文件拆分成若干个小块(bolock)分别存储在不同机器上并行操作提高效率。

此外分块存储还可以解决数据存储负载均衡问题。此时元数据记录信息也应该更加详细文件分类几块分别位于哪些机器上。

如何解决硬件故障数据丢失问题

机器、磁盘等硬件出现故障时难以避免的事情如何保证数据存储的安全性。如果某台机器故障数据丢失对于文件来说整体就是不完整的。冗余存储是个不错的选择。采用副本机制。副本越多数据越安全、当然冗余也会越多、通过“不要把鸡蛋放在一个篮子里”的思想可以把数据丢失的方向分散在各个机器上。

如何解决用户查询视角统一规则问题

随着存储的进行数据文件越来越多与之对应元数据信息也越来越多如何让用户视觉层面感觉不到元数据的凌乱同时也与传统的文件系统操作体验保持一致传统的文件系统拥有所谓的目录数结构带有层次感的namespace(命名空间)因此可以把分布式文件系统的元数据记录这一块也抽象成统一的目录树结构。