onenet云平台(one mining network下载

随着物联网技术和应用的普及,以运营商、互联网以及实体经济行业为代表的企业产生了越来越多的数据,大数据的发展越来越蓬勃。

从2007年开始,大数据APP成为许多企业的需求,2012年兴起并产生了大数据平台,使用者主要是程序员; 2013年至2017年间,数据逐渐增加,大数据平台成为融合大数据平台,使用者从程序员成为数据管理员和数据分析师; 从2018年开始,大数据进入了企业数据智能的新阶段,普通工程师也可以轻松应用。

数据增长、需求增长、环境复杂、分析处理方法多样,对平台要求更高。

华为FusionInsight是顺应这一趋势开发的混合负载开放、统一的大数据平台。

从高清、MPP DB到AI、数据智能、

FusionInsight平台满足四个场景的需要

华为FusionInsight平台以大数据为中心提供了一系列产品,最主要的是与Hadoop兼容的开源平台FusionInsight HD、MPP DB平台、数据挖掘和人工智能平台。 其中,FusionInsight HD是一个融合的大数据平台,在满足不同用户需求的同时混合负载,开放APP应用。

在企业中,大数据平台的主体是Hadoop平台,其业务场景主要是离线处理、实时流处理、交互检索或数据集市和实时检索。 这四个场景都是随着大数据的发展而逐渐出现的。

对于脱机处理场景,FusionInsight HD由HDFS负责存储所有数据的组件实现。 Yarn计划在离线平台上执行的所有任务,包括数据加工、数据挖掘和数据分析。 Mapreduce和Hive专门从事离线的具体任务,其中Mapreduce处理非SQL类,Hive处理SQL类。 对应的是被称为离线处理引擎的2个组件——Spark和Spark SQL,和Mapreduce和Hive起到相同的作用。 通过将这些组件和数据收集组件组合起来,可以进行脱机处理。 FusionInsight HD也提供了许多功能和组件。

要交互式查询场景,通常必须在3秒钟内实现。 FusionInsight HD的Elk提供交互式查询的引擎是一个集成了存储和查询(如Hadoop )的组件,但功能更强大。 数据收集可以使用华为提供的工具,也可以使用第三方的工具。

由于流处理场景的核心要求很快,因此也称为实时流处理,通常在4秒到5秒之内使用。 FusionInsight HD满足流处理方案的主要是三个组件,Kafka接收数据作为缓存,流处理的引擎——Spark Streaming和Fhink (虽然前者相对较慢,

实时搜索场景常见于运营商、银行、公安等行业,性能要求高、合并大,其查询条件比较简单且相对固定。 用华为FusionInsight HD实现,主要是Hbase和Solr/ESX,两个组件的组合可以满足低延迟、高同时且查询条件相对固定的搜索。

合作伙伴和客户都可以轻松地在FusionInsight HD高清平台上开发满足四个业务场景的APP。

FusionInsight HD高清组件的六大特征

FusionInsight HD有鲜明的特色。

01

统一的SQL接口

华为的统一SQL接口支持各种组件的统一查询,而无需将数据从一个组件迁移到另一个组件。

02

FusionInsight SparkSQL

虽然SparkSQL的概念不是华为提出的,但是华为为社区做出了很多贡献,自身的产品能力更强,比如中国主要引导Sp

ark SQL贡献的CPU优化器,使得稳定性和高性能比社区的开源的SQL更强。

03

完全自研的SQL引擎Elk

让华为的SQL引擎更接近数据库甚至超过数据库,用户能够得到跟数据库一样甚至超过数据库交互体验效果。

04

Apach

CarbonData是华为主导的一个社区开展项目,参与者有国内众多互联网公司和大型企业,也有国外IT企业,其特点是对上层的应用无感知,提升了数据分析、数据查询的性能。

05

多级租户管理功能

FusionInsight提供的多级租户管理功能来匹配企业的组织架构,也就是说,可以有这种公司级的租户和管理员,有部门级的综合管理员,还有子部门租户和管理员,在给用户设置权限、设置资源配合有更方便的对应。

06

对异构设备支持。

FusionInsight提供了对异构设备支持,既支持高低配的设备在同一个大集群里,又支持开发应用可以指定某些应用运行在不同的机器上。

除此之外,华为FusionInsight还具备资源的灵活配置、多租户的能力、分级存储、超大集群、滚动升级、异构磁盘集群热点数据均衡、Flink流数据引擎、可视化的集群管理与运维、可信产品、可信开发流程等十大优势,是一个帮助用户以最低的成本解决最复杂问题的可信平台。

用户实践与启迪

中国60%的TOP 10金融、保险、银行,全球Top50运营商中的25%都用了华为的大数据平台;中国的平安城市建设有30%的客户选择了华为。华为在全球的项目、合作伙伴相当可观。

迄今为止,FusionInsight HD已经交付了700多个项目,产生了300多个合作伙伴和客户;这些项目覆盖到金融、公共安全、交通、政务、电信、电力、石油等各个行业。

选择FusionInsight HD作为大数据的承载平台和处理平台,可以尽可能地将大数据价值发挥到极致。

更多精彩内容,请关注“华为企业业务中国”公众号。

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注