系统层次上遵循Meta和Data分离的原则，架构类似HDFS系统的NameNode和DataNode分离，同时利用数据读写和Meta节点低耦合、Meta节点高可用和Meta节点水平扩展等技术方案来规避Meta的单点问题。在盘古系统中NameNode对应盘古的Master节点，DataNode对应盘古的ChunkServer节点。针对块设备，盘古在文件系统上增加block层来将块设备的随机读写映射到顺序读写的文件上，保证块设备数据的强一致。在上述两层之外，增加系统管控层次，可以让存储系统同其他例如流计算、NoSQL、MapReduce等系统协调一致共享硬件资源，在系统运维方面可以从各个节点获取监控、Trace、日志信息，给出运维建议和硬件故障自动处理。

　　盘古系统支持ErasureCoding编码，可以在降低数据可靠性的前提下，将数据存储成本降低一半以上，同时利用集成度非常高的存储机型，降低对网络、内存、CPU等的均摊成功，这是一个软硬件同时进行优化达到极大降低成本的事例。为了在降低成本不降低性能的目的，在单机的硬件上盘古采用SSD介质Cache的技术手段，在享受HDD低成本的同时还可以体验到接近于SSD的高性能，同时在整个盘古系统范围内，可以设置文件的多个拷贝分别放在不同的介质上，在多个副本间做不同的介质分布，在系统级别将介质混合使用的方案发挥到极致。在和其他系统共享使用硬件的方案上，盘古提供本地磁盘接口，当用户程序需要使用本地盘存储数据的时候，直接向盘古申请一块块设备，按照自己的要求格式化成需要的各种文件系统，所有数据流均经过盘古做统一的I/O调度。这种方案不但没有造成由于共享硬件带来的管理复杂性和硬件效率降低，还给用提供了兼容所有现在本地磁盘操作所有数据操作接口。有了这基础，盘古系统和其他计算类系统可以有效共享网络、磁盘、内存、CPU资源，达到硬件使用效率的增加。

        5.高性能
　　为了实现高性能，系统在各个模块应该尽量降低软件实现对时间和资源的消耗，常用的技术手段有：使用Cache；降低多线程访问防止锁冲突带来的时间消耗和上下文切换；在数据处理过程中国利用内存零拷贝的处理方式降低时间消耗；并发使用多组硬件；硬件处理同软件处理在时间上并行处理；数据处理流水线化增大吞吐；借助新硬件技术对某个数据阶段进行加速。
　　上述技术虽然不能完全应用的所有模块，但是针对不同模块的特点选择尽量多得手段组合可以将性能优化的极致。例如盘古的Master节点使用了所有文件Meta池化缓存在内存中的Cache方式，细粒度目录锁，处理流水线，操作日志合并落盘，软件处理和落盘并行处理等技术，单组盘古Master的读写混合OPS可以达到10万/秒。盘古在块存储数据通路上采用全链路无锁，全程无内存拷贝，磁盘操作和数据验证并行处理，操作Session使用线程级别Cache等技术，可以充分发挥NVMeSSD和双25Gb网络的极限性能，延时小于30微妙，数据流量将网络带宽用满的效果。
　　6.规模和隔离
　　规模增大有利于平滑各种由于瞬时并发带来的系统波动，同时规模增大会带来单集群多租户的场景顺势产生，多个租户隔离和优先级控制可以防止高优先级用户收到其他用的影响。
　　在MaxCompute系统需要调度的作业规模比较大，单个计算任务使用的数据量可以达到PB级别，任务众多，每天处理的作业量在百万级别，在每天凌晨开始到早上结束的这段时间内部系统均处于众多用户并行使用的阶段，白天更多的资源会闲下来给开发调试软件版本和模型训练使用。
　　针对这样的计算规模，盘古系统可以提供单集群1万台的存储系统，整个MaxCompute系统会在不同集群间调度计算资源，导致链接单个盘古集群的客户端数量远远大于一个集群的国模。在盘古系统中为了应对规模个盘古Master带来的管理压力，将目录树进行静态划分，用多组Master来提供更大的处理能力，同时在各个处理阶段采用优先级队列的方式来做到多用户的隔离个优先级目的。在MaxCompute使用情况下，盘古单集群使用3组Master来对外服务，每个Master可以并行处理70万客户端的并发访问，每个任务需要在请求中提供用户信息，Master通过用户信息和用户访问的请求数在多个用户间做公平性调度。当相同优先级的多个用户的请求同时到达Master且超过处理能力时，发送请求最多的任务的请求会优先被丢弃，这样可以保证整个集群中小任务可以尽快执行完成释放出资源，大任务有效利用Master处理能力尽快完成处理的目的。在数据路径上使用相同的处理方法，做到不同用户的I/O做到优先级控制和相同优先级内部的公平。

　　针对MaxCompute这种大规模数据处理任务的计算特点，大部分中间数据只在计算过程中用，计算完毕后就会被删除，例如MapReduce过程中产生Shuffle数据，盘古为这类数据的操作提供了特殊处理，这类文件的创建、打开、读写、关闭、重命名等操作不经过Master节点，只会存储于单台机器跨网络读取，删除操作跟随任务的生命周期由Master节点负责。这种类型文件的增加有效的解决了Master节点在大规模计算过程中OPS能力不足的问题，增大了系统规模。

　　分布式文件存储
　　免费课程：https://edu.aliyun.com/course/32
　　本课程针对分步式文件存储系统的实现进行讲解，首先分析为什么要使用这种分步式存储系统，以及这种系统在设计时需要注意的问题，并比较现在市面常见的分步式存储系统（HDFS、Ceph等），展示阿里Pangu系统针对其中问题的解决方法，并结合Pangu系统说明分步式存储系统的设计要点。