背景 随着公司业务快速发展，对业务数据进行增长分析的需求越来越迫切，与此同时我们的业务数据量也在快速激增、每天的数据新增量大概在30w 左右，一年就会产生1 个亿的数据，显然基于传统MySQL数据库已经无法支撑满足以上需求 基于上述需求和痛点，决定提供一个灵活的多维实时查询和分析平台，帮助业务线做精细化运营。 业务分析 现有业务数据有以下特点，查询多、更新少，基本不会更新1 个月以前的数据，但是查询范围较大，有时需要查询几年前的数据，而且数据会以年、月等不同维度统计来进行增长分析 因此以上场景使用 OLTP 引擎不…

今天给大家分享一个阿里开源的数据同步工具DataX，在Github拥有14.8k的star，非常受欢迎，官网地址：https://github.com/alibaba/DataX 什么是 Datax? DataX 是阿里云 DataWorks数据集成 的开源版本，使用Java 语言编写，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、M…

当我们使用 Mysql数据库到达一定量级以后，性能就会逐步下降，而解决此类问题，常用的手段就是引入数据库中间件进行分库分表处理，比如使用 Mycat、ShadingShpere、tddl，但是这种都是过去式了，现在使用分布式数据库可以避免分库分表 为什么不建议分库分表呢？ 分库分表以后，会面临以下问题 分页问题，例如：使用传统写法，随着页数过大性能会急剧下降 分布式事务问题 数据迁移问题，例如：需要把现有数据通过分配算法导入到所有的分库中 数据扩容问题，分库分表的数据总有一天也会到达极限，需要增大分片 开发模式变化…

今天给各位分享一个非常牛的实时分析型数据库Apache Doris，几乎国内的一二线大厂都在使用它做数据分析，如下图，这只是一小部分 同时我司也在使用它，他目前支撑了我们亿级业务数据的多维实时查询分析，而且性能很不错 Doris 介绍 官方地址：https://doris.apache.org/ Apache Doris源于百度2008年启动的产品Palo在2018年捐献给Apache基金会，是一个基于 MPP 架构的高性能、实时的分析型数据库，他非常简单易用，而且性能还不错，仅需亚秒级响应时间即可获得查询结果，不…