MPP架构概念
1.什么是MPP
MPP (Massively Parallel Processing),即。
并行处理是什么?
在数据库集群中,首先每个节点都有一个独立的磁盘存储系统和内存系统,根据数据库模型和应用特性将业务数据划分为每个节点,MPP将任务并行分散到多个服务器和节点上,在每个节点计算完成后,总结各自部分的结果,得到最终结果。
什么是大规模?
每个数据节点通过专用网络或商业网络相互连接,并相互计算,作为一个整体提供数据库服务。整个集群被称为非共享数据库集群。非共享数据库集群具有用性、高性能、性价比优异、资源共享等优点。
MPP 处理数据的想法
面对海量数据和计算,采用大事化小的思路对数据进行分割,数据分割后单独存储,数据处理消耗的资源相互分离MPP就数据库而言,整个数据库由多个完全独立的数据库组成,每个数据库都具有完整的数据存储、数据管理和数据操作能力。节点互联实现节点互联,形成整体外部服务,节点间互不干扰,即Share Nothing,磁盘和计算能力不共享。
2.MPP架构特性
MPP 具有以下技术特点: ● 并行执行任务;
● 数据分布式存储(本地化);
● 分布式计算;
● 高可用性和易于维护:数据提供冗余保护、自动故障检测和管理、自动同步元数据和业务数据。提供图形工具,简化管理员对数据库的管理;
● 高并发性:读写不相互排斥,支持数据加载查询,单节点并发性大于 300 用户;
● 高扩展、高可靠性:支持集群节点的扩容和缩容,支持备份/恢复全增量;
● 行列混合存储:提供行列混合存储方案,提高列存数据库特殊查询场景的查询响应时间;
● 标准化:支持SQL92 标准,支持 C API、ODBC、JDBC、ADO.NET 等接口规范。
3.Master和Worker
"worker"过程自然来了"干活"你看到的是真正负责处理请求的过程"worker"进程,那么"master"过程有什么用? “master"过程实际上负责管理"worker"除管理外,流程除外 worker"进程,master"该过程还负责阅读和判断配置文件的语法,master进程"也叫"一般来说,主"master"只有一个过程"worker"可以有多个过程,worker"管理员可以自己定义流程的数量