文件类数据存储系统架构优化实践经验
7其乐融融 发布于 2023/10/25 01:10:24
GPFS是一种高性能的并行文件系统,其底座很多也是使用FC组网的SAN存储。GPFS大多适用于高性能计算场景,或者是和企业其他IT技术生态捆绑使用。另一方面,GPFS在构建同城或异地容灾时,也有一定的局限性,很多也是基于底层SAN存储来做的数据级容灾。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/10/25 01:10:24
GPFS是一种高性能的并行文件系统,其底座很多也是使用FC组网的SAN存储。GPFS大多适用于高性能计算场景,或者是和企业其他IT技术生态捆绑使用。另一方面,GPFS在构建同城或异地容灾时,也有一定的局限性,很多也是基于底层SAN存储来做的数据级容灾。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/10/25 01:10:20
从Ceph的架构原理上来看,我们不难看出其定义当中的“扩展性、稳定性”。但是关于“优秀性能”这个描述的特性来讲,其实是需要斟酌其语境的。我们不能从其架构的分布式模式上简单判断多个节点服务的性能一定是最优秀的。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/10/25 01:10:17
数据量的爆发式增长催生了数据应用领域的各种新需求,数据应用领域的各种新需求驱动了数据管理层面以及数据载体层面的分布式变革。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/10/25 01:06:27
网络附属存储在密度和性能方面的改进以非结构化数据工作负载为目标。以下是NAS服务器的工作原理、NAS与SAN的不同之处以及它在文件级存储中的用途。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/10/25 01:06:24
项目启动,预估超过10亿的文档数据要存储,那么我们选择Elasticsearch or Mongodb?
阅读()评论(0)赞 ()
其乐融融 发布于 2023/10/25 01:06:21
遵循有效的数据清理流程可以减少组织的数据被盗或泄露的机会,并提高合规性。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/10/25 01:01:36
如今,随着超快固态硬盘 (SSD) 和高速非易失性内存 (Non-Volatile Memory Express, NVMe) 的问世,网络存储已经发生了翻天覆地的变化。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/10/25 01:01:29
存储与计算及网络并称是ICT产业的三大件,SSD则是存储的现在及未来,而SSD的核心组件在于控制器,主控芯片的品质直接决定了SSD的品质。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/10/25 00:55:17
随着应用程序的数据保护要求变得越来越独特,许多企业正在考虑采用超融合数据保护解决方案,以便他们可以通过进入节点来满足扩展需求。从表面上看,这听起来像是一种灵活而简单的方法,但它消耗了数据中心预算和宝贵的空间,并且无法提供最佳的资源利用率。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/09/09 02:15:06
纠删码则是将用户的原始数据进行切分,形成 K 个大小相等的分片,然后对这些分片进行编码,形成 M 个校验分片。校验分片的大小和数据分片相同。K+M 个分片会被分布在不同的机器上。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/08/31 02:15:05
配置存储策略不是必须的,如果是标准vSAN,可以配置多个存储策略,比如网络RAID1,RAID5等,创建虚拟机的时候,可以根据虚拟机的重要程度选择不同的策略。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/08/08 23:10:29
根据研究机构的预测,到2025年,40%以上的企业存储将部署在边缘,与2022年的15%相比显著增长。此外,到2025年,大型企业存储在内部部署设施、边缘设施或公共云中的文件或对象存储的非结构化数据容量将是2022年的三倍。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/08/07 02:15:16
在我们的一些内部系统中,用户信息是每个页面都要用到的,尤其是 userId 字段,会与每个获取数据接口挂钩,但这个数据是不会变的,一直请求是没有意义的,为减少接口的访问次数,可以将主要数据缓存在 localStorage 内,方便其他接口获取。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/08/07 02:15:13
用户写入数据,实际就是先写入到 wal 中,写到 wal 之后,你会得到一个位置信息 ChunkPosition,然后把 Key+ChunkPosition 存储到内存数据结构中即可。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/08/07 02:15:06
如果在实现用户的某些需求时,需要编写一组复杂的SQL语句才能实现的时候,那么我们就可以将这组复杂的SQL语句集提前编写在数据库中,由JDBC调用来执行这组SQL语句。把编写在数据库中的SQL语句集称为存储过程。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/07/26 03:40:16
我们在使用Linux的时候,有的时候会发现系统盘不够用的情况。如果系统盘或者其它盘能够做到弹性就好了。也就是需要更多空间的时候可以动态扩容,而不需要的时候可以缩容。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/06/24 02:01:38
存储的最主要目的就是确保数据的安全、可靠,高效,无论数据存储在本地数据中心、私有云、公有云,还是多云中,都要确保更好的管好数据、消除数据孤岛,降低使用成本
阅读()评论(0)赞 ()
其乐融融 发布于 2023/06/24 02:01:32
华为希望与学术界在以数据为中心的存储体系结构创新、面向新型应用的数据高效使用与治理技术、数据韧性及主动防护技术等多个方向共同攻坚,构筑高质量的数据存储系统。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/06/24 02:01:29
2023年华为确定了政企业务战略:“聚焦三类市场,联合伙伴,加速政企客户数字化转型”。面向三类市场客户,华为聚焦行业和场景,为行业找技术,围绕价值场景持续创新。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/06/24 02:01:18
华为全面阐述了拥抱新兴应用生态、高效处理海量非结构化数据、全面提升数据韧性等数据存储产业演进方向,助力企业释放数据价值。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/06/24 02:01:15
正是基于对用户需求的深入了解,才使得IBM构建了从边缘到核心再到云端的存储解决方案,并围绕混合云和AI两大平台,以及数据保护和弹性,为用户提供全面的存储解决方案。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/06/23 02:15:56
Ceph是当前非常流行的开源分布式存储系统,具有高扩展性、高性能、高可靠性等优点,同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs),Ceph在存储的时候充分利用存储节点的计算能力,在存储每一个数据时都会通过计算得出该数据的位置,尽量的分布均衡。目前也是OpenStack的主流后端存储。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/06/23 02:15:42
既然用户的购物车数据存放在MySQL或Redis各有优劣。那能否把购物车数据存在MySQL,并用Redis缓存?不就兼顾二者优势?若可行,如何保证Redis中的数据和MySQL数据一致性?
阅读()评论(0)赞 ()
其乐融融 发布于 2023/06/23 02:01:55
截止到2022年12月28日,激扬创新动能,掘金数字时代|2022年第十七届中国企业年终评选榜单正式揭晓。在产品与技术维度的评选中,宏杉科技MacroCosm27000万象分布式存储凭借出色的技术创新和功能特性,斩获2022年度中国IT行业超大规模分布式存储优秀产品奖。
阅读()评论(0)赞 ()
其乐融融 发布于 2023/06/22 02:15:53
华为 OceanStor 5310/5510/5610/5810系列针对闪存架构的全新设计和新五大融合,在性能、功能和品质上都达到业界领先水平,满足数据库OLTP/OLAP、虚拟化、文件等高品质服务的同时,为容器、分布式数据库等业务蓄力,引领新型数据中心存储服务。
阅读()评论(0)赞 ()