互联网

星环科技StellarDB4.0:万亿级图数据库挖掘海量数据互联价值

来源:互联网    作者:      2022年05月06日 09:10

导语:

Transwarp StellarDB是星环科技自主研发的分布式图数据库,兼容openCypher查询语言,提供海量图数据的存储和分析能力,支持原生图存储结构,支持万亿边PB级数据存储。同时,StellarDB具备毫秒级点边查询能力,10+层的深度链路分析能力,提供近30种的图分析算法,具备数据2D和3D展示能力。星环科技StellarDB在金融、政府和社交网络等领域应用,并且在某地电信关系图谱场景实现了9700亿边规模的存储和稳定运行,真正意义上将万亿级图数据库能力应用落地。

近日,星环科技分布式图数据库正式发布StellarDB 4.0,在数据导入、多跳查询和图算法性能方面实现了数倍升级,同时在易用性、安全性、运维管理、和开放性等方面全面升级,帮助企业用户更快、更高效地挖掘海量数据互联价值。

全新的分布式架构,数据加载、查询和算法性能数倍提升

随着互联网时代的快速发展,企业数据呈现爆发式的增长,数据之间的关联愈发复杂,这些给图数据库的性能带来很大的挑战,数据存储、查询和计算能力成为衡量数据库性能的关键能力。StellarDB 4.0对分布式存储和计算架构进行升级,数据加载、查询和算法性能提升数倍,达到行业领先水平。

在相同的测试环境中,在十亿级边规模数据集Twitter-2010下,StellarDB数据加载速度是开源图数据库Neo4j的2倍。

StellarDB4.0在多跳查询方面具有优异的性能表现,当路径长度设为6跳时,StellarDB查询响应速度是Tigergraph的2-4倍,在Twitter-2010数据集上,其余两款图数据库产品在半小时内未返回结果。

在图算法性能方面,StellarDB4.0具有很大性能提升,在常用的四种图算法PageRank、弱连通子图、强连通子图和LPA算法方面,StellarDB具有显著的性能优势。

在PageRank方面,StellarDB性能是TigerGraph的2-3倍,是Neo4j的3-6倍,可以帮助用户更加快速高效的实现计算网络中点的相关性。例如在网页排名场景中,StellarDB可以帮助用户更加快速高效的实现网页排名。

在强连通子图方面,StellarDB性能是TigerGraph的6-7倍,是Neo4j的3-6倍,可以帮助用户更加快速高效的遍历有向图中每个点和每条边。例如在社交网络中的社区发现,洗钱环节的账户闭环查询跟踪等场景,StellarDB通过全局遍历,快速发展某社区人员或有洗钱嫌疑账户的关联关系分析。

在LPA方面,StellarDB表现出更加优异的性能,在千万级边Graph500数据集下,接近TigerGraph的4倍,是Neo4j的8倍以上,而在十亿级边Twitter-2010数据集下,只有StellarDB在秒级响应,其余图数据库产品在30min内均无响应结果。该算法可以帮助用户实现从已标记的节点标签信息来预测未标记的节点标签信息。

StellarDB优异的性能将满足用户PB级数据量存储,K跳邻居查询和算法快速响应需求,带给用户极致的使用体验,帮助用户更快、更高效地挖掘数据价值。

更多算法、更多数据类型,易用性多重提升

易用性是企业图数据库选型的重要指标,关系到用户用图数据库解决业务问题的效率和成本。星环科技StellarDB支持openCypher查询语言,简洁易懂,即可实现复杂场景的查询任务,并且在openCypher基础上进行了扩展,引入数据导入,图算法,建模等语法,以更好地提高用户使用效率。

StellarDB4.0支持更多的数据类型,支持Array、Decimal高精度数据类型。同时支持类SQL语言定义图schema,让图建模和图导入更加便捷。在图算法方面,StellarDB4.0实现更多的算法支持涵盖中心调度类、社区发现类、相似度类等近30种常见的图算法以满足不同的业务场景需求。

此外,StellarDB支持2D和3D的图可视化展示,利用可视化技术帮助用户快速获取数据基于关联性的深度洞察,并且提供可视化的数据导入、集群监控、图查询任务和图计算任务监控等功能。

数据加密和脱敏支持,保障数据安全

随着《网络安全法》《数据安全法》《个人信息保护法》相继公布并实施,数据安全成为企业越来越关注的问题。星环科技StellarDB支持面向图的权限管理以及支持管理平台角色认证,以保证图数据的安全。StellarDB4.0面向图的权限管理进一步精细化,不仅支持图(Graph)级别的权限设置(增、删、改、查及图管理),还支持标签(Label)和属性(Property)级别的权限设置,以实现更加精细化的权限控制。同时,在数据加密方面,StellarDB4.0支持数据静态加密,其支持SM4分组加密算法,具有加密效率高,加密速度快等特性,让数据管理更安全。

StellarDB4.0新增数据脱敏能力对某些敏感信息进行数据的脱敏处理,防止隐私数据在未经脱敏的情况下从企业流出,满足一定场景下的监管合规要求。丰富的内置脱敏算法可以有效的降低脱敏的复杂度和风险,实现敏感隐私数据的可靠保护。

StellarDB4.0可视化页面支持HTTPS安全传输,保障页面传输数据的安全。此外,还支持安全认证,支持对接已有身份认证系统,可以实现用户及权限的迁移。

企业级数据库功能,提高运维管理效率

数据库系统作为IT业务系统的核心,对整个业务系统的连续性和数据完整性起着至关重要的作用。StellarDB支持权限认证、备份恢复、集群监控、日志审计、资源管控等企业级数据库功能。例如,StellarDB提供系统级别的高可用性,元信息服务采用多节点HA方式提供高可用服务。StellarDB数据服务使用Raft协议,可以提供秒级副本切换服务。

StellarDB 4.0在原有支持数据全量备份恢复的基础上,新增增量数据的备份和恢复,帮助企业提高数据备份效率,满足企业提供不同场景的备份需求。同时StellarDB 4.0新增副本迁移功能,在磁盘异构等问题导致部分节点数据磁盘负载不均衡的情况下,实现分区副本的跨节点迁移,以保证系统稳定性。

此外,为了提高副本故障问题解决效率,StellarDB 4.0新增故障副本修复功能,通过简单的openCypher语句即可删除受损分区副本并重建分区的新副本,使所有分区恢复到健康状态,保证系统可靠性。

更强大的兼容能力,支撑更多实际业务场景

图数据库的兼容性是企业实际系统建设中必须考虑的重要因素。星环科技StellarDB兼容星环大数据一体机Txdata、申威等国产服务器,并可运行于TCOS星环云操作系统、中标麒麟、银河麒麟等国产操作系统环境中。

同时,星环科技StellarDB提供丰富的接口,支持Python SDK、JDBC SDK与RESTful API与第三方系统进行对接,openCypher可以帮助用户完成大部分的图查询操作和基本图算法。

在数据接入方面,StellarDB支持事务型数据库、与HDFS、Hive等大数据平台导入数据,并且支持Text、ORC、CSV、Parquet等文件格式。在4.0版本中StellarDB新增通过Kafka、Flink、Spark Streaming等方式接入流式数据源,从而增强图的实时更新和实时查询能力,结合全量和增量数据导入能力,满足更多复杂的业务场景。

目前,星环科技分布式图数据库Transwarp StellarDB在人员社交网络探索、金融风险传播分析等场景发挥着重大的作用,广泛应用于金融、政府和社交网络等领域。未来,星环科技将继续在图技术领域深耕,为企业提供查询速度更快、分析能力更强、稳定性更高的图数据库产品。同时,作为国内领先的企业级大数据基础软件公司,星环科技是国内同时具备图数据库、知识图谱平台、图挖掘应用开发能力的企业,其全栈自研的图技术能力可以助力企业快速挖掘图数据价值,推动业务高效高质量发展。

典型案例

国内某Top证券公司使用开源图数据库Neo4j构建了企业图谱平台,但随着数据量的不断增加以及管理要求的不断提高,原先批数据处理依赖手工导入的方式操作繁琐,给企业带来很大的管理和成本压力。该过程还需要中断数据库服务,影响数据库业务的正常运行。此外,原系统的数据更新速度,深度关系查询性能以及维护管理等方面也无法满足该证券公司要求。

星环科技StellarDB与Neo4j的Cypher语法高度兼容,快速实现了多个业务的平滑迁移和上线。内置的ETL工具直接从事务数据库中抽取数据,避免数据手工导入导出的麻烦,相应的ETL组件实现对加工任务的协调调度,整个过程不中断服务,有效保障业务连续性。

同时,StellarDB支持标签级数据秒级删除,极大提升企业每天数据更新效率。StellarDB可视化数据建模功能帮助数据分析师快速、便捷地进行企业关联关系、股权渗透分析,在3亿数据量下的12度以内的最上层实控公司和母公司的控股企业查询时间缩短为原先的1/3。

与原先用户管理维护依赖手工的方式相比,星环科技StellarDB数据库管理支持多种认证方式,数据库层支持Kerberos和LDAP,web层支持CAS和OAuth2, 快速实现了与集团系统的统一对接认证,企业可以根据用户部门工号统一配置权限和认证。目前该证券公司已和星环科技合作完成对公企业图谱平台建设,后续将进一步拓展反洗钱图谱,反欺诈图谱等多图应用。

(文章为作者独立观点,不代表艾瑞网立场)
  • 合作伙伴

  • 官方微信
    官方微信

    新浪微博
    邮件订阅
    第一时间获取最新行业数据、研究成果、产业报告、活动峰会等信息。
     关于艾瑞| 业务体系| 加入艾瑞| 服务声明| 信息反馈| 联系我们| 合作伙伴| 友情链接

Copyright© 沪公网安备 31010402000581号沪ICP备15021772号-10

扫一扫,或长按识别二维码

关注艾瑞网官方微信公众号