背景 随着公司业务快速发展，对业务数据进行增长分析的需求越来越迫切，与此同时我们的业务数据量也在快速激增、每天的数据新增量大概在30w 左右，一年就会产生1 个亿的数据，显然基于传统MySQL数据库已经无法支撑满足以上需求 基于上述需求和痛点，决定提供一个灵活的多维实时查询和分析平台，帮助业务线做精细化运营。 业务分析 现有业务数据有以下特点，查询多、更新少，基本不会更新1 个月以前的数据，但是查询范围较大，有时需要查询几年前的数据，而且数据会以年、月等不同维度统计来进行增长分析 因此以上场景使用 OLTP 引擎不…

今天给大家分享一个阿里开源的数据同步工具DataX，在Github拥有14.8k的star，非常受欢迎，官网地址：https://github.com/alibaba/DataX 什么是 Datax? DataX 是阿里云 DataWorks数据集成 的开源版本，使用Java 语言编写，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、M…

在这篇文章中，我们将深入研究 Kubernetes 部署概念和一些常见策略，了解每种策略的优缺点。合适的部署策略使我们能够在发布应用程序时最大限度地减少停机时间、增强客户体验并提高可靠性。 什么是 Kubernetes 部署策略？ Kubernetes 部署是一种声明性语句，通常在 YAML 文件中配置，用于定义应用程序生命周期以及如何管理对该应用程序的更新。 当将应用程序部署到 K8s 集群时，所选择的部署策略将决定如何将应用程序从旧版本更新到新版本。某些策略可能会导致停机时间，而其他策略则可能引入测试概念并允许…

大家好，我是蜗牛哥，跨系统转账网上教程很多，但是都是讲的比较浅，这个功能看似简单，但是细节很多，要做好没那么容易，因为涉及到分布式事务、交易安全性等方面，做不好就出现资损，本文讲一下如何设计一个高可靠跨系统转账，以及要关注的重点 示例说明 假设有用户 A在 银行A 转账给B银行的用户B 100 元 这里只是为了便于理解，所以才把系统命名为银行A/B，具体可能与银行的流程有点细微区别 会遇到哪些问题？ 转账失败，不能直接回滚 要根据返回的异常来判断，如果接收到的异常是一个业务异常，并且异常码是双方约定好的，那么可以进…

在金融系统中，我们会跟钱打交道，而保证在高并发下场景下，对账户余额操作的一致性，是非常重要的，如果代码写的时候没考虑并发一致性，就会导致资损，本人在金融行业干了 8 年多，对这块稍微有点经验，所以这篇聊一下，如何在并发场景下，保证账户余额的一致性 1. 扣款流程是什么样的？ public void payout(long uid,var payAmount){ # 查询账户总额 var amount= "SELECT amount FROM account WHERE uid=$uid"; # 计算账户余额 var…