大数据存储计算平台架构
平台基于Hadoop生态,能够无缝对接多种数据仓库,提供了对数据仓库的可视化监控、任务管理;提供多种计算框架,满足复杂的数据处理场景;同时平台提供高可靠、安全易用的集群管理机制,支持集群线性扩展和大规模集群自动部署、性能调优,提升工作效率
针对大容量静态数据集,提供分布式存储、列存储引擎,提供分布式计算、并行计算能力,灵活应对海量数据集的离线分析;平台支持TB级、PB级离线数据处理
提供流数据的实时计算能力,将结果可及时投递到在线系统,毫秒级低延迟,实现实时数据流的快速处理和反馈
提供交互式SQL查询,千万级数据查询秒级响应,给数据分析人员提供快速实验、验证想法的大数据分析能力
提供全局的ES搜索功能,支持实时全文检索,支持多值索引模糊搜索,搜索接口秒级响应,满足企业数据查询、文件检索等多种需求
控制台可提供可视化管理界面,提供全面的资源管理能力;支持大规模集群的多维监控、统一告警、性能调优、安全防护
平台具备稳定的扩展能力,保障当前任务正常运行,实现零感知服务器、节点扩容