银行大数据监控，一起来看看吧，希望能帮助到您，更多请关注安防网。
银行大数据监控
简介
随着G-line业务的快速发展，业务系统的规模日益增大，监控和管理的成本也在不断上升。现有的监控手段不能很好地满足监控和管理的需要。因此，G银行启动了ZABBIX开源监控项目。通过本项目的建设，在节约监控管理成本的同时，也完善了国产软件和开源软件的监控手段，增强了g银行的自动化监控能力和自控能力。
一、ZABBIX开源监控的建设背景
很多行业和单位使用商用监控软件来监控自身信息系统的日常运行，但是商用监控软件的管理存在很多痛点。
图1监控管理的难点
为了解决传统监控管理在日常运维中存在的痛点和问题，G银行从监控能力、灵活性、兼容性、易用性等方面对比选择了几款开源监控软件，选择了ZABBIX作为未来的主要监控工具。ZABBIX是一个强大的开源监控软件。操作简单，适用于各种平台，可以支持虚拟化、云环境等场景的监控。它还提供了一个开放的通用API接口，广泛应用于各个行业。
支持多平台的企业级分布式开源监控； 可实现复杂多条件告警； 提供多种API接口，支持二次开发； 自动发现和低级别发现功能； 有丰富的社区资源支持。
图2 ZABBIX支持多种监控场景
二。G线的ZABBIX开源监控项目
经过前期调研和选择，选择ZABBIX作为我行主要监控工具，从开源软件监控开发和测试环境监控入手，逐步覆盖总行和分行生产环境中的所有主机和监控指标，平稳替代我行传统的商用监控软件，并在此基础上逐步实现平台化、自动化监控和统一管理。下面从监控部署架构、监控采集方式、监控报警策略、监控自动化四个方面介绍G银行开源监控在ZABBIX的实践历程。
1。监控部署架构
按照总公司、分公司、生产、测试的划分，使用多套ZABBIX软件，采用服务器-代理-代理的分布式监控架构，有效减轻了服务器端的催收压力；同时，根据不同环境的特点，采用不同的监控方案:
图3总分行生产测试环境监控框架
1)开发一个测试环境
对策略的开发、测试和验证环境进行监控，同时结合开发和测试环境的特点(被监控主机生命周期短)，采用自动发现+自动注册的监控模式进行自动监控。
2)总部生产
根据监控对象的类型，每组代理承担不同的监控责任，实现监控压力的均衡，准确定位不同组件的范围。
3)分支生产
ZABBIX Server部署在总行，集中化统一管理。 按地域划分，每家分行部署独立Proxy，Proxy各模块容器化部署，灵活调度、易于迁移和扩展。 Proxy与Server之间数据采用压缩模式、加密传输，保障网络无压力和数据安全。
2。完全支持开源/字母创建
依托ZABBIX的开源属性，全面支持银行内开源软件和新创产品的监控管理，推进自主可控监控，具体包括:
操作系统：中标麒麟LINUX，银河麒麟ARM等； 数据库：DAMENG，MySQL，KINGbase等； 中间件：宝兰德，NGINX，ROCKETMQ等； 大数据：KAFKA，SPARK，ES等。
3。监控采集方法
ZABBIX支持多种采集方式，可以根据不同的监测项目自由定制:
使用Agent或SSH、WMI监控服务器软件运行情况。 使用DBforBix插件、JDBC协议或Agent监控数据库。 使用JMX（java管理扩展）、T3协议监控java类服务。 使用ping及web检测监控WEB应用。 使用log日志主动监控及时发现应用的异常。 使用system.run调度现有监控脚本与工具，保证现有监控工具的顺利切换。 使用相关项与预处理功能对监控结果解析解析拆分使用，实现一次采集多次使用，提高监控效率，降低被监控端性能压力。
图4异构对象的综合监控
4。监控报警策略
ZABBIX支持通过邮件、短信、微信、界面等方式发送给指定的人。银行调用ZABBIX API，读取告警数据，对告警数据进行规则分析、浓缩处理和维护周期处理，然后将告警数据推送到统一的监控管理平台进行集中显示和告警。
5。监控自动化
g数据中心管理已经标准化，标准化是实现监控自动化的前提。
ZABBIX Agent通过母带、SMDB下发或脚本一键式自动部署。 Agent开机自启动、状态检测，支持远程重启及停用。 LLD自动发现，可自动发现系统分区、网卡，还可自定义发现主机上的数据库或中间件多实例。 自动注册，自动监控新设备、创建主机、关联模板、开启监控。 通过API实现批量添加监控主机，关联监控模版。 统一的监控模版与组合告警触发器相结合，满足多种监控场景。 简单故障自愈功能，可对报警进行分类、分级，结合脚本对一些低级本的告警固化处理方法，满足条件即可自动进行相应操作（如指定文件清理、服务拉起等），达到快速恢复故障，保障系统可用率。
三。ZABBIX开源监控的阶段性成果
经过四期的持续建设，G银行基本完成了商业软件的监控覆盖，在开源软件的监控能力和监控自助服务方面取得了长足的进步。丰富和完善了监控手段，在总分行生产系统监控管理中发挥了重要作用。ZABBIX已经完成了开发和测试环境，以及对总行和39家分行的监控覆盖。ZABBIX系统用于细粒度的监控生产环境中的HPUX系统，实现商用监控软件的能力替代。同时，Zabbix已完成39家分行的全面覆盖，商用监控软件正在全面更换。
图5 Zabbix阶段建设成果
四。总结和展望
数字银行离不开强大的科技支撑。紧跟新技术发展步伐，从基础设施、技术架构、新技术应用等领域夯实科技基础支撑能力，为众多新技术、新架构的引入提供全方位的监测服务。
监控思维的转变
数字化思维要求运维人员树立数据意识，以商业价值为导向，以数据服务为目标，实现监控的数字化转型。
监控智能化
依托大数据技术，通过海量数据和机器算法，实现报警根源分析、动态基线、自动预测等智能场景监控应用。
技术创新
保持技术创新能力，使用更多的新技术、新架构，有助于我们更加便捷、高效地应对数字化转型中遇到的各种问题。
监控管理+服务
强化监控标准化管控能力，以监控标准化为标杆，进一步优化自助式、自助式运维监控模式，提升监控服务覆盖面。
作者马文杰
来源:微信官方账号:巧妙、独特、有效(ID: GH _ 54f52b20027d)
DBA社区欢迎技术人员的贡献。电子邮件地址是editor@dbaplus.cn。
更多精彩
今晚8: 00 ，【云原生时间序列数据库关键技术及落地应用】主题分享即将开始。华为云数据库研发工程师曹将介绍云原生时间序列数据库的关键技术，并基于华为云的落地经验对云进行分析。
直播地址:http://z-mz.cn/5UB5y
关于我们
dbaplus社区是一个围绕数据库、大数据和AIOps的企业级专业社区。资深大咖，技术干货，每日原创文章推送，每周线上技术分享，每月线下技术沙龙，每季GDEVOPS DAMS行业会议。
关注微信官方账号【dbaplus社区】更多原创技术文章和精选工具下载。
综上所述，介绍银行大数据监控,银行数据监控工作好吗就到这里结束了，注意，选择正确的方式，才能解决根本问题，希望我们的介绍能帮助到您，更多请关注本网站。
