跳转至

📬 中间件技术

📖 概述

本模块涵盖分布式系统中常用的中间件技术，包括消息队列、服务治理、配置中心等。重点聚焦于 Kafka 消息队列和现代化中间件实践。

🎯 核心要点

  • 消息队列的核心概念和应用场景
  • Kafka 的架构设计和实现原理
  • 高可用、高性能的分布式消息系统构建
  • 生产环境的最佳实践和故障排查

📚 内容导航

📬 消息队列

章节 内容 状态
01-Kafka基础入门 Kafka 简介、架构、安装部署、快速开始 ✅
02-Kafka核心概念 Topic、Partition、Producer、Consumer、Consumer Group ✅
03-Kafka实战应用 Java 客户端使用、Spring Boot 集成、生产实践 ✅
04-Kafka高可用与性能优化 副本机制、ISR、性能调优、监控告警 🔵 规划中
05-Kafka与其他消息队列对比 Kafka vs RabbitMQ vs RocketMQ 🔵 规划中

🔧 服务治理

章节 内容 状态
Dubbo RPC 框架、服务注册发现 🔵 规划中
Zookeeper 分布式协调、配置管理 🔵 规划中
Nacos 服务发现、配置中心 🔵 规划中
Consul 服务网格、健康检查 🔵 规划中

📦 配置中心

章节 内容 状态
Apollo 配置管理、动态刷新 🔵 规划中
Nacos Config 配置中心、多环境管理 🔵 规划中

🔧 消息队列技术对比

特性 Kafka RabbitMQ RocketMQ
消息模型 发布订阅 队列、发布订阅 队列、发布订阅
吞吐量 ⭐⭐⭐⭐⭐ 极高 ⭐⭐⭐ 中等 ⭐⭐⭐⭐ 高
延迟 毫秒级 微秒级 毫秒级
消息顺序 ✅ Partition 内有序 ✅ 队列有序 ✅ 队列有序
事务消息 ✅ ✅ ✅
消息回溯 ✅ ❌ ✅
适用场景 大数据、日志收集 业务解耦、异步处理 电商、金融
学习曲线 ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐

💡 为什么选择 Kafka？

✅ 优势

  1. 高吞吐量 - 单机百万级消息/秒，支持水平扩展
  2. 持久化存储 - 消息持久化到磁盘，支持消息回溯
  3. 分布式架构 - 天然支持集群，高可用、可扩展
  4. 流式处理 - 支持流式数据处理，与 Flink、Spark 集成
  5. 生态丰富 - 与大数据生态无缝集成

⚠️ 劣势

  1. 运维复杂 - 需要 Zookeeper/KRaft，运维成本较高
  2. 功能相对简单 - 没有 RabbitMQ 那么多高级特性（如优先级队列）
  3. 延迟相对较高 - 相比 RabbitMQ，延迟稍高（毫秒级）

🎓 适用场景

✅ Kafka 适用场景

  • ✅ 日志收集 - 集中式日志收集和分析
  • ✅ 流式数据处理 - 实时数据流处理（如 Flink、Spark Streaming）
  • ✅ 事件溯源 - 事件驱动架构，事件存储和回放
  • ✅ 消息总线 - 微服务间的消息通信
  • ✅ 大数据集成 - 与 Hadoop、Spark 等大数据组件集成
  • ✅ 指标监控 - 应用指标和监控数据收集

❌ 不适用场景

  • ❌ 简单队列 - 如果只是简单的任务队列，RabbitMQ 更合适
  • ❌ 低延迟要求 - 需要微秒级延迟的场景
  • ❌ 小规模应用 - 小规模应用可能过度设计

📖 内容组织

1️⃣ 基础部分

  • Kafka 架构和核心概念
  • 单机 Kafka 环境搭建
  • Topic 和 Partition 的理解
  • Producer 和 Consumer 的基本使用

2️⃣ 进阶部分

  • Kafka 集群搭建和高可用
  • Consumer Group 和负载均衡
  • 消息顺序性和幂等性保证
  • 性能调优和监控

3️⃣ 实战部分

  • Spring Boot 集成 Kafka
  • 实际业务场景应用
  • 故障排查和最佳实践
  • 与其他中间件的集成

🔗 相关资源

官方资源

社区资源

学习资源

  • Kafka 官方教程
  • Confluent 博客文章
  • 技术社区实战分享

📞 项目实战

🖥️ AI 算力共享平台中的应用

使用场景：任务状态变更通知、资源使用统计、日志收集

架构特点： - 任务状态变更事件发布 - 实时资源使用统计 - 集中式日志收集和分析 - 与 Elasticsearch 集成进行日志检索

💡 技术提示：Kafka 是分布式系统的核心基础设施，掌握 Kafka 对于构建高可用、高性能的分布式系统至关重要。

🔄 持续更新中... | 最后更新：2025年1月