数据端点可见性的五个好处

      数据端点可见性的五个好处无评论

尽管市场上有许多可见性工具,但大多运行在应用和基础设施层,无法提供对数据端点(数据库、数据管道、数据仓库等)的详细可见性。依然难以跟踪各种数据端点的性能和使用指标。

随着全世界的开发团队逐渐投入云原生架构的怀抱:用持续集成/持续交付(CI/CD)替代瀑布式发布,以多层微服务换下独立整体应用,用数据网格替换单个数据库;跨多层多种通信模式的实时可见性,成为了管理、故障排除和保障的关键。

尽管市场上有许多可见性工具,但大多运行在应用和基础设施层,无法提供对数据端点(数据库、数据管道、数据仓库等)的详细可见性。各种数据端点的性能和使用指标仍然难以跟踪,一些常见问题也难以回答,例如:

  • 大部分请求执行时间由哪些服务负责?
  • 每个访问服务的请求数量如何随时间变化,能否确定瓶颈?
  • 哪些用户表现出可疑的数据读取模式?

借助数据端点的实时可见性,团队可以快速查明哪些部分在拖慢速度、哪些部分是非预期、哪些部分已遭到破坏。Cyral首席执行官Manav Mital以多年行业经验给出了数据端点可见性的几个样例和种种好处。

好处1:软件即服务(SaaS)业务智能(BI)工具性能监测

Looker等很多业务智能(BI)工具以单个服务用户访问数据库,使用该工具的所有用户均通过此服务用户提交请求。即使有用户提交了不良请求占用太多执行时间,影响到此数据端点上运行的其他工作负载,也难以查明到底是谁提交的执行请求。

以细粒度的最终用户信息丰富数据端点可见性,能够监测长时间运行的请求,并追溯到特定用户,发出警报并快速修复。

好处2:数据库即服务(DBaaS)使用率监测

Snowflake和BigQuery等现代DBaaS会根据利用率向客户收费,服务用户所花费的累积执行时间直接影响费用。若能按每天或每周跟踪高累积使用率用户的执行时间,查明其使用率高的原因,那账户和计费管理员就可以轻松预测服务成本,采取整改措施来降低成本。

好处3:抽取、转换和加载(ETL)吞吐量问题诊断

ETL(抽取、转换和加载)作业的吞吐量和性能受多种因素影响,比如连接池大小、接收批处理规模和提交频率。因为无法跟踪这些指标,数据端点通常缺乏必要的信息来推断执行不佳的ETL作业。

借助此类细粒度指标来提高数据端点的可见性,开发运维(DevOps)和站点可靠性工程(SRE)团队就可以轻松监控ETL作业,诊断由于意外更改而影响性能的问题。

好处4:涓流数据渗漏检测

涓流渗漏是用复杂机制从端点渗漏数据。攻击者的目标是通过少量慢速渗漏的方法,规避网络监视和安全监测工具。

所有涓流渗漏攻击都依赖于所谓的点请求(获取少量特定行)、范围请求(获取少量行)和偏移请求(每次从不同的偏移位置获取少量行)。

跟踪请求率和数据记录读取量等指标,并与该时间段内的其他数据活动相关联,可以增加额外的可见性,更易于监测攻击者或内部人员主动参与敏感数据窃取的情况。

好处5:异常服务行为检测

ETL作业等应用的凭证盗窃与滥用通常很难检测到,因为数据端点没有办法区分常规应用与恶意应用。如果能够检测到行为的变化,例如ETL作业突然停止从惯常读取的位置向数据端点写入,开发运维和安全团队就能确定数据端点的凭证是否受到破坏。

转载自:数世咨询

发表评论