文章最后更新时间:2023-12-20,由天天资讯负责审核发布,若内容或图片失效,请联系客服!
双十二的结束意味着2023年所有重大促销活动都已结束。 全网双十一11.386亿元的销售额背后是一场消费的狂欢,也有数据的洪流。 双十一期间天猫平台累计访问用户数已超过8亿,数据访问压力怎么强调都不为过。 并比喻。
面对瞬时流量、高并发、海量数据查询等应用场景,固态硬盘凭借高吞吐量、低延迟等特点,逐渐成为大数据时代数据存储的重要载体。 它们目前是本地部署的数据仓库产品的重要硬件。 ,可以满足电商促销场景中大规模数据的存储和查询需求。
为了更好地应对电商等数据密集型行业高性能、高可靠的存储需求,亿联特携手国内大数据仓储领军企业南大通用(以下简称GBase),共同探索大数据时代。 开发用于数字化转型的新存储解决方案。
1、GBase 8a MPP简介 Nanda通用大型分布式并行数据库集群系统(简称GBase 8a MPP)是在GBase 8a系列存储数据库基础上开发的架构分布式并行数据库集群。 它具有高性能和高可用性。 、高扩展性等特点,可为各种规模的数据管理提供高性价比的通用计算平台,广泛用于支持各种数据仓库系统、BI系统和决策支持系统。
图1:GBase 8a MPP技术架构图
GBase 8a MPP采用MPP+的分布式联邦架构。 节点之间通过TCP/IP网络进行通信,每个节点使用本地磁盘来存储数据。 GBase 8a MPP系统中的每个节点都是相对独立和自给自足的。 整个系统具有非常强的扩展性,可以从几个节点扩展到数百个节点,满足业务规模增长的要求。
2. GBase 8a MPP 方案下易联的验证 1. 验证环境 本次验证硬件配置
本次验证软件配置
本次验证网方案
图2:本次GBase 8a MPP组网规划架构图
2.验证方法步骤1:配置6个SAS Raid5。 步骤2:创建数据库和表。 使用TPC-H工具评估数据库分析和处理能力。 您需要提前创建TPC-H的数据库和内置的8张表。 使用TPC-DS工具评估数据库分析和处理能力。 提前创建数据库和TPC-DS。 25 个内置桌子。 步骤3:参数调优 根据GBase推荐进行相关参数调优。 步骤4:数据生成TCH-H可以使用dbgen工具通过设置参数来生成所需的测试数据。 命令参数为/dbgen -C 10 -S 1 -s 3000 –vf; TPC-DS可以使用该工具通过设置参数来生成所有需要的测试数据。 需要的测试数据,命令参数为./ -scale 3000 -dir -force - 10 -child 1、第五步:数据加载导入数据时,在GBASE集群本地节点架设FTP服务器,通过加载数据FTP。 当一张表包含多个数据文件时,将单表的多个数据文件整合到一条导入语句中,将测试数据以单表为粒度加载到8个数据库表中。 步骤6:SQL执行独立客户端,通过业务面网络与GBase集群通信,使用gccli工具执行TPC-H 22 SQL用例。 参考命令如下:/home/GBase////bin/gccli -h 10.28。 100.38 -uroot -Dtpch -vvv < .sql。
3、验证结果 GBase 8a MPP场景下的验证结果如下: 易联SAS SSD在Raid逻辑卷带宽性能测试下的表现
图3:易联SAS盘Raid逻辑卷带宽性能测试下的表现
本次测试中,6块SAS SSD配置Raid5和12个SATA配置,在主机上使用FIO测试工具进行128KB顺序读写带宽性能压力测试。 从图3的结果可以看出,SAS SSD具有更好的读写带宽。 读取带宽比SATA高约19.6%,写入带宽高约34%。 展现了SAS SSD在Raid逻辑卷带宽下的绝对优势,并且可以提供高并发。 为各种业务场景提供稳定、流畅的数据服务体验。
易联SAS SSD单盘故障降级及重建读取性能表现
图4:易联SAS SSD单盘故障降级&重建读取性能下的表现
单盘降级读性能是指单个盘发生故障或被移除时,RAID组逻辑卷的读服务性能。 重建性能是指单盘故障后RAID热备盘数据重建和服务同时交付。 业务端表现。 这次在Raid5中配置6块亿联SAS SSD后,在其中1块SSD故障的情况下进行测试。
如图4所示,无论单盘读性能下降还是读带宽重构,SAS盘的性能均优于SATA。 单盘的降级读取性能比SATA提升约22.7%。 重构后的读带宽性能相比SATA最大提升约38.4%,满足各种复杂场景下业务不中断、数据不丢失的超高可用性需求。
3、易联SAS SSD在TPC-DS场景下的表现
图5:亿联SAS SSD在TPC-DS场景下的性能表现
TPC-DS测试通过FTP协议将数据加载到GBase数据库表中。 从图5可以看出,在相同的物理硬件环境下,SAS SSD无论是数据导入还是SQL案例执行时间都比SATA SSD略少。 它具有一定的时间优势,通过减少系统延迟来提供更快的数据。 访问速度提高用户体验。
4、易联SAS SSD在TCP-H场景下的表现
图6:TPC-H场景下内存SAS SSD的性能
TPC-H测试通过FTP协议将数据加载到GBase数据库表中。 图6显示了SAS SSD和SATA SSD在TPC-H测试下的性能。 SAS SSD的总时间略好于SATA SSD。 数据导入时间比SATA缩短约6%。 SQL用例的执行时间低于SATA SSD。 占比3%左右,可以为业务系统提供快速、可靠的决策支持服务。
小结:本次验证充分体现了亿联SAS SSD在GBase 8a MPP场景下的性能优势。 能够有效支撑业务高效发展。 具有更高的单盘带宽、更好的磁盘故障重构和降级性能等特点,不仅可以帮助企业节省硬件采购成本,还可以帮助互联网数据中心和运营商解决海量下的大数据存储和计算问题。数据,高效处理海量结构化数据。
亿联深耕固态硬盘领域多年,发布了多款高性能、高可靠性产品,具备应对复杂业务环境和数据库挑战的能力,能够满足海量数据存储需求。行业用户的数据处理需求。 未来,易联将继续与GBase携手打造数字化转型背景下的全新存储解决方案。
继续阅读: