360私有云平台Elasticsearch服务初探

Elasticsearch

Elasticsearch 是一款基于Apache Lucene框架构建的开源的、分布式的、可扩展的、(准)实时的文档存储和搜索引擎。在提供搜索服务以及日志分析方面已经日趋成熟,尤其是在Elasticsearch 5.x发布之后,在规范性、功能、性能等方面都有了极大的改进,并且进入了迅速迭代的过程,版本发布之快令人乍舌。

360Hulk云平台,作为业界首屈一指的私有云平台,绝不甘落寞,也在Elasticsearch上做了很多尝试,推出了面向搜索的Elasticsearch服务和面向日志分析的ELK服务。目前已经在公司内部大范围应用,承载数据量200+TB,日访问量超1000亿次。今天小编就为大家带来Elasticsearch在360私有云平台的实践。 

Elasticsearch服务架构

Master节点独立

因为master承担着集群元数据管理的职责,例如indices、sharding等信息的维护,如果master节点和data节点混用的话,master相关功能的性能没法保证,而且一旦发生故障,集群恢复时间将被大大拉长。因此我们的Elasticsearch集群采用3个独立的master方案(有且只有唯一的一个节点真正承担着master的角色),一方面保证master相关功能的稳定,另一方面通过配置discovery.zen.minimum_master_nodes: 2降低了master选举时出现脑裂的几率。

负载均衡

我们使用data节点承接访问,但是为了业务使用的便捷性,集群使用了LVS将请求均衡的分担到各个data节点;同时提供了RS的动态监测机制,当data节点失联的时候,LVS会自动过滤掉该节点的请求。

业务独享集群

结合360业务的特点,为了尽量适配不同业务的需求场景,同时尽量降低各个业务线之间的相互影响,每个业务线可以申请自己独享的集群。同时,这种方案还大大降低了Elasticsearch集群不可用(当然这种情况出现几率极低,但不能保证不发生)的时候影响业务的范围。

用户认证和权限隔离

集群集成了SearchGuard(不要问我为啥不用X-Pack,因为穷,且懒),实现了用户认证和访问权限控制,做到了集群内部更细粒度的隔离,实现了各个子业务线内部应用之间的访问隔离。

分词支持

集群默认集成了ik分词(小编在这给各位看官一点提示:因为Elasticsearch 5.x之后关闭了Site Plugins的支持,所以需要自己编译然后拷贝相应文件到Elasticsearch Plugin目录),并且支持扩展分词词典和stopword扩展词典的动态更新。

用户端功能

基于Hulk私有云平台的自助功能

集群申请

状态查看

常用性能监控图表

indices展示

权限申请等自助服务

新建集群

提供多种类型配置的套餐

提供多种类型配置的套餐可供业务选择,兼顾空间、成本和性能的考量。

界面化展示

默认提供配置好的Kibana服务,用户可以开箱即用,不用自己搭建和维护。

管理员功能

基于Hulk私有云平台的管理功能

群集的配置

集群初始化

节点启停管理

资源回收等功能

Zabbix监控

基于FromDual框架的自定义监控指标,全面监控集群运行状态,及时告警;并且实现了简单场景的故障自动恢复(例如由节点存活报警自动触发的进程自启动等)

WebAdmin管理功能扩展

Elasticsearch 5.x之后关闭了对Site Plugins的支持,直接导致了诸如head、kopf等一批插件死翘翘。不过作者对kopf功能进行了彻底的重构(using Scala, Play Framework, AngularJS and Bootstrap),推出和Elasticsearch完全解耦的Cerebro,不仅外观看起来更加高大上,支持独立部署,而且在易用性以及对Elasticsearch更高版本特性的支持上都有了很大提升。

总结

怎么样,看了上面的介绍,各位看官是不是都想跃跃欲试了呢。欢迎大家积极留言探讨。

我们后续也会持续推出Elasticsearch服务在360私有云平台实践过程中的诸多技术点来跟大家分享,敬请期待吧。

扩展阅读:

《谨慎前行-浅谈Elasticsearch安全策略》

《Elasticsearch认证及安全》

AIOps时代下的利器:ELK

扫描下方
二维码
了解更多内容

Published by

风君子

独自遨游何稽首 揭天掀地慰生平