RocketMQ介绍及基本概念
RocketMQ介绍
RocketMQ是阿里巴巴在2012年开发的分布式消息中间件,专为万亿级超大规模的消息处理而设计,具有高吞吐量、低延迟、海量堆积、顺序收发等特点。它是阿里巴巴双十一购物狂欢节和众多大规模互联网业务场景的必备基础设施。在同一年,阿里巴巴正式开源了RocketMQ的第一个版本。
2015年,RocketMQ在消息传递方面迎来了一批重量级功能发布,包括事务消息、SQL过滤、轨迹追踪、定时消息、高可用多活等,以满足阿里巴巴日益丰富的业务场景。由于这些优势,RocketMQ取代了阿里巴巴自主研发的另一款MQ产品Notify,成为阿里巴巴的首选消息中间件,实现内部应用的百分百接入。
Apache RocketMQ自诞生以来,因其架构简单、业务功能丰富、具备极强可扩展性等特点被众多企业开发者以及云厂商广泛采用、历经十余年的大规模场景打磨,RocketMQ已经成为业内共识的金融级可靠业务消息首选方案,被广泛应用在互联网、大数据、移动互联网、物联网等领域的业务场景。
接下来我们主要介绍Apache RocketMQ的基本概念,以便更好的理解和使用Apache RocketMQ。
RocketMQ基本概念
RocketMQ主要有四大核心组成部分:NameServer、Broker、Producer以及Consumer。
这些角色通常以集群的方式存在,RocketMQ基于Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。
RocketMQ系统架构图,如下图示:
主题(Topic)
Apache RocketMQ中消息传输和存储的顶层容器,用于标识同一类业务逻辑的消息。主题通过TopicName来做唯一标识和区分。
消息类型(MessageType)
Apache RocketMQ中按照消息传输特性的不同而定义的分类,用于类型管理和安全校验。
Apache RocketMQ支持的消息类型有:普通消息、顺序消息、事务消息、定时/延时消息。
消息队列(MessageQueue)
队列是Apache RocketMQ中消息存储和传输的实际容器,也是消息的最小存储单元。Apache RocketMQ的所有主题都是由多个队列组成,以此实现队列数量的水平拆分和队列内部的流式存储。队列通过QueueId来做唯一标识和区分。
消息(Message)
消息是Apache RocketMQ中的最小数据传输单元。生产者将业务数据的负载和拓展属性包装成消息发送到服务端,服务端按照相关语义将消息投递到消费端进行消费。
消息视图(MessageView)
消息视图是Apache RocketMQ面向开发视角提供的一种消息只读接口。通过消息视图可以读取消息内部的多个属性和负载信息,但是不能对消息本身做任务修改。
消息标签(MessageTag)
消息标签是Apache RocketMQ提供的细粒度消息分类属性,可以在主题层级之下做消息类型的细分。消费者通过订阅特定的标签来实现细粒度过滤。
消息位点(MessageQueueOffset)
消息是按到达Apache RocketMQ服务端的先后顺序存储在指定主题的多个队列中,每条消息在队列中都有一个唯一的Long类型坐标,这个坐标被定义为消息位点。
消费位点(ConsumerOffset)
一条消息被某个消费者消费完成后不会立即从队列中删除,Apache RocketMQ会基于每个消费者分组记录消费过的最新一条消息的位点,即消费位点。
消息索引(MessageKey)
消息索引是Apache RocketMQ提供的面向消息的索引属性。通过设置的消息索引可以快速查找到对应的消息内容。
生产者(Producer)
生产者是Apache RocketMQ系统中用来构建并传输消息到服务端的运行实体。生产者通常被集成在业务系统中,将业务消息按照要求封装成消息并发送至服务端。
事务检查器(TransactionChecker)
Apache RocketMQ中生产者用来执行本地事务检查和异常事务恢复的监听器。事务检查器应该通过业务侧数据的状态来检查和判断事务消息的状态。
事务状态(TransactionResolution)
Apache RocketMQ中事务消息发送过程中,事务提交的状态标识,服务端通过事务状态控制事务消息是否应该提交和投递。
事务状态包括事务提交、事务回滚和事务未决。
消费者分组(ConsumerGroup)
消费者分组是Apache RocketMQ系统中承载多个消费行为一致的消费者的负载均衡分组。和消费者不同,消费者分组并不是运行实体,而是一个逻辑资源。在Apache RocketMQ中,通过消费者分组内初始化多个消费者实现消费性能的水平扩展以及高可用容灾。
消费者(Consumer)
消费者是Apache RocketMQ中用来接收并处理消息的运行实体。消费者通常被集成在业务系统中,从服务端获取消息,并将消息转化成业务可理解的消息,供业务逻辑处理。
消费结果(ConsumerResult)
Apache RocketMQ中PushConsumer消费监听器处理消息完成后返回的处理结果,用来标识本次消息是否正确处理,消费结果包含消费成功和消费失败。
订阅关系(Subscription)
订阅关系是Apache RocketMQ系统中消费者获取消息、处理消息的规则和状态配置。订阅关系由消费者分组动态注册到服务端系统,并在后续的消息传输中按照订阅关系定义的过滤规则进行消息匹配和消费进度维护。
消息过滤
消费者可以通过订阅指定消息标签(Tag)对消息进行过滤,确保最终只接收被过滤后的消息合集。过滤规则的计算和匹配在Apache RocketMQ的服务端完成。
重置消费位点
以时间轴为坐标,在消息持久化存储的时间范围内,重新设置消费者分组对已订阅主题的消费进度,设置完成后消费者将接收设定时间点之后,由生产者发送到Apache RocketMQ服务端的消息。
消息轨迹
在一条消息从生产者发出到消费者接收并处理过程中,由各个相关节点的时间、地点等数据汇聚而成的完成链路信息。通过消息轨迹,能清晰定位消息从生产者发出,经由Apache RocketMQ服务端,投递给消费者的完整链路,方便定位排查问题。
消息堆积
生产者已经将消息发送到Apache RocketMQ的服务端,但由于消费者的消费能力有限,未能在短时间内将所有消息正确消费掉,此时在服务端保存着未被消费的消息,该状态即消息堆积。
事务消息
事务消息是Apache RocketMQ提供的一种高级消息类型,支持在分布式场景下保障消息生产和本地事务的最终一致性。
定时/延时消息
定时/延时消息是Apache RocketMQ提供的一种高级消息类型,消息被发送至服务端后,在指定时间后才能被消费者消费。通过设置一定的定时时间可以实现分布式场景的延时调度触发效果。
顺序消息
顺序消息是Apache RocketMQ提供的一种高级消息类型,支持消费者按照发送消息的先后顺序获取消息,从而实现业务场景中的顺序处理。
参考文档:
RocketMQ基本概念
https://rocketmq.apache.org/zh/docs/introduction/02concepts
(完)