disgare 的博客
首页
博客
分类
标签
首页
博客
分类
标签
  • 网络

    • 计算机网络学习笔记
    • 网络安全相关
    • 域名和子网掩码
    • CORS 跨域资源共享
    • DNS、HTTP 与 HTTPS
    • Server-Sent Events (SSE)
    • WebSocket 长连接
  • 计算机基础

    • 操作系统 IO 相关知识
    • 操作系统学习笔记
    • 程序的机器级表示
    • 音频文件基础
    • 正则表达式相关概念
    • ffmpeg 的安装以及实现音频切分功能
    • Hex 和 Base64 编码
    • XML 的使用
  • 数据结构与算法

    • 动态规划算法学习笔记
    • 基于比较的排序算法的最坏情况下的最优下界为什么是O(nlogn)
    • 集合与数据结构学习笔记
    • 面试常见算法总结
    • 算法导论第二部分排序学习笔记
    • 算法导论第一部分学习笔记
  • Java

    • 对象之间的映射与转换
    • 反射学习笔记
    • 泛型相关概念
    • 关于 boolean 类型的坑
    • 如何使用 lambda 表达式实现排序
    • CompletableFuture 相关用法
    • CompletableFuture 源码浅要阅读
    • FutureTask 源码阅读
    • Guava 常用 API
    • Guava 源码阅读:Multimap 相关
    • Jackson 的各种使用
    • Java 的 Excel 相关操作
    • java 的常见性能问题分析以及出现场景
    • java 基础知识
    • JAVA 枚举的基础和原理
    • Java 图片文件上传下载处理
    • Java 序列化
    • Java 异常
    • Java 语法糖
    • Java 中关于字符串处理的常用方法
    • Java 中强、软、弱、虚引用
    • JAVA 注解小结
    • Java Http 访问框架
    • Java Stream 的使用
    • Java8 新特性
    • netty 学习笔记
    • Scanner 的各种用法
    • Servlet 学习笔记
    • String、StringBuffer、StringBuilder 学习笔记
  • JVM

    • 虚拟机执行子系统
    • JVM 自动内存管理
    • Linux 中 JVM 常用工具以及常见问题解决思路
  • Linux

    • crontab 表达式
    • Linux 常见命令
    • Linux 文件系统
  • 中间件

    • 关于定时任务原理
    • 详解 kafka
    • ES 搜索引擎
    • flink 提交流程
    • Grape-RAG
    • Hadoop 基础原理
  • 多线程

    • 多线程基础学习笔记
    • 简单了解并发集合
    • 如何手写单例
    • 深入理解 java 多线程安全
    • 生产者消费者问题
    • 线程池作用、用法以及原理
    • AQS 组件
    • ThreadLocal 原理以及使用
  • 非关系型数据库

    • Redis 集群
    • Redis 数据结构、对象与数据库
    • Redis 学习笔记
  • 关系型数据库

    • B+ 树的插入、删除和数据页分裂机制
    • MySQL 的 binglog、redolog、undolog
    • MySQL 的记录存储结构、存储引擎与 Buffer Pool
    • MySQL 基本的特性
    • MySQL 开发规范
    • MySQL 事务与锁与 MVCC
    • MySQL 数据类型、字符集相关内容
    • MySQL 索引与索引优化
    • PostgreSQL 更新数据时 HOT优化
    • PostgreSQL 相关用法
  • Python

    • Python 基础语法
    • Python 学习
  • Spring 项目

    • Lombok 的常用注解
    • maven 小结
    • MyBatis 框架的使用
    • MyBatis 重要知识点总结
    • MybatisPlus 的使用
    • Spring 框架基础使用
    • Spring 事务相关
    • Spring IOC 的原理及源码
    • Spring AOP 的使用和原理
    • SpringBoot 的原理
    • SpringBoot 基础使用
    • SpringWeb 重要知识点
  • 分布式

    • 初步了解 docker
    • 从 ACID 到 BASE 事务处理的实现
    • 访问远程服务
    • 分布式 id
    • 分布式缓存相关问题
    • 分布式集群理论和分布式事务协议
    • 分布式架构的观测
    • 分布式一致性算法
    • 负载均衡 Load Balancing
      • 按层分类
        • 数据链路层负载均衡
        • 网络层负载均衡
        • 应用层负载均衡
      • 按端分类
        • 服务端负载均衡
        • 客户端负载均衡
      • 均衡策略与实现
        • 轮询与随机
        • 随机权重与加权轮询
        • 一致性 hash
        • 最少活跃数(最少连接数)
    • 关于分布式系统 RPC 中高可用功能的实现
    • 集群间数据同步的目的
    • 三高问题下的系统优化
    • 数据库分库分表
    • 详解 Spring Cloud
    • Dubbo 基础概念
    • Gossip 协议
    • nginx 学习笔记
    • Protobuf 通信协议
    • Zookeeper 基础学习
  • 架构设计

    • 参数校验与异常处理
    • 抽象方法与设计模式
    • 代码整洁之道
    • 权限系统设计
    • 用低内存处理大量数据
    • 设计模式——策略模式
    • 设计模式——过滤器模式在 Spring 中的实践
    • 状态模式
    • 统一结果返回
    • 为什么要打日志?怎么打日志?打什么日志?
    • 运维监控常见指标含义
    • 资深研发进阶
    • DDD 架构学习笔记
    • Java 常用的规则引擎
    • MVC 架构学习笔记
  • AI

    • 如何编写 Prompt
    • Agent 工程架构
    • LLM 相关内容
    • NLP 相关知识
    • vibe coding 最佳实践
    • windows 下 ollama 迁移到 D 盘
  • 开发工具

    • 如何画时序图、流程图、状态流转图
    • excel 关于 =vlookup 的用法
    • git 的学习以及使用
    • IDEA 插件推荐
    • IDEA 常用快捷键以及调试
    • Shell 脚本
    • swagger 的使用
  • 前端

    • 简单了解前端页面开发
    • 伪静态是什么
    • GitHub Pages 部署教程
    • Vercel 部署教程
    • vue-admin-template 简单使用
    • VuePress 博客搭建指南
  • 项目

    • 面试刷题网——技术方案
    • 影视资源聚合站——技术方案
  • 问题记录

    • 定时任务单线程消费 redis 中数据导致消费能力不足
    • 提供可传递的易受攻击的依赖项
    • Liteflow 在 SpringBoot 启动时无法注入组件问题 couldn‘t find chain with the id[THEN(NodeComponent)]
  • 金融

    • 股票分析——关于电力
    • 股票技术面——量价关系
    • 股票技术面——盘口
    • 股票技术面——基础
    • 基础的金融知识
    • 基金与股票
    • 韭菜的自我总结
    • 聊聊价值投资
  • 其他

    • 程序员职场工作需要注意什么
    • 创业全链路SOP:从灵光一现到系统化增长的实战指南
    • 观罗翔讲刑法随笔
    • 价格和价值
    • 立直麻将牌效益理论
    • 梅花易数学习笔记
    • 压力管理
2023-06-26
分布式
目录

负载均衡 Load Balancing

对于电商平台而言,随着业务的不断发展壮大,网站访问量和数据量也随之急剧增长,该情况的产生给服务器带来了一定的负担。从用户体验层面而言,由于服务器端数据处理带来的时延,往往导致页面的响应速度过慢、操作流畅性受阻等问题。这在某种程度上甚至会潜在影响平台的成交量。提供高效率,高质量的服务成为亟待解决的问题。负载均衡策略的出现和发展成为缓解上述问题的有效途径

# 按层分类

# 数据链路层负载均衡

数据链路层的负载均衡由硬件实现,这种负载均衡一般通过修改 MAC 地址来将请求转发到相应的机器上,因为只对数据链路层做处理,因此不会修改 IP 地址,需要保证负载均衡器与处理请求的机器使用同一 IP。如果不处于同一 IP,返回给客户端的报文中的源地址就会对不上

也正是因为实际处理请求的真实物理服务器 IP 和数据请求中的目的 IP 是一致的,所以响应结果就不再需要通过负载均衡服务器进行地址交换,可将响应结果的数据包直接从真实服务器返回给用户的客户端,避免负载均衡器网卡带宽成为瓶颈,因此数据链路层的负载均衡效率是相当高的

这种负载均衡模式也常被很形象地称为直接路由

# 网络层负载均衡

网络层负载均衡同样是由硬件实现,主要起到转发的作用。负载均衡器通过修改 IP 来实现负载均衡,这种方式效率也非常高

修改 IP 由两种方式,一种是套娃式,即将收到的请求再包一层 Headers,原来请求中的 Headers 与 Payload 变成新请求中的 Payload,在这个新数据包的 Headers 中写入真实服务器的 IP 作为目标地址。在一般的 Linux 系统中,大部分都已经实现了拆解这种请求的算法了。因为没有修改请求中的任何东西,因此服务器可以直接返回请求给客户端,这种方式被称为 IP 隧道

另外一种方式是直接把数据包 Headers 中的目标地址改掉,修改后原本由用户发给均衡器的数据包,也会被三层交换机转发送到真实服务器的网卡上,而且因为没有经过 IP 隧道的额外包装,也就无须再拆包了。但问题是这种模式是通过修改目标 IP 地址才到达真实服务器的,如果真实服务器直接将应答包返回客户端的话,这个应答数据包的源 IP 是真实服务器的 IP,也即均衡器修改以后的 IP 地址,客户端不可能认识该 IP,自然就无法再正常处理这个应答了。因此,只能让应答流量继续回到负载均衡,由负载均衡把应答包的源 IP 改回自己的 IP,再发给客户端

# 应用层负载均衡

前面介绍的四层负载均衡工作模式都属于转发,即直接将承载着 TCP 报文的底层数据格式(IP 数据包或以太网帧)转发到真实服务器上,此时客户端到响应请求的真实服务器维持着同一条 TCP 通道。但工作在四层之后的负载均衡模式就无法再进行转发了,只能进行代理,此时真实服务器、负载均衡器、客户端三者之间由两条独立的 TCP 通道来维持通信

应用层负载均衡一般是由软件实现的,因为可以获取到数据包中的信息,因此可以实现更多操作,比如获取上层协议中的某个数据进行一致性哈希操作。如果做后端开发接触最多的应该是这种类型的负载均衡,会接触到的 nginx、feign、dubbo、redis 等组件都会有相关概念

# 按端分类

负载均衡按端分又分服务端负载均衡和客户端负载均衡,他们各自有各自的特点

# 服务端负载均衡

服务端负载均衡是最传统、最常见的模式。它需要一个独立的、位于客户端和后端服务器集群之间的负载均衡器(硬件或软件)

它的工作原理为所有客户端请求首先发送到一个统一的、对外的入口(负载均衡器的 IP 或域名),负载均衡器根据预设的算法从健康的服务器池中选择一台,然后将客户端的请求转发给选中的服务器

注意服务器处理完请求后,将响应返回给负载均衡器,负载均衡器再将其返回给原始的客户端。对客户端而言,它只知道负载均衡器的存在,完全感知不到后端有多少台真实的服务器

典型应用为 nginx,所有流量都经过负载均衡器,它本身可能成为瓶颈。虽然可以通过集群化来避免单点故障,但这增加了架构的复杂性,这种负载均衡也对应反向代理

# 客户端负载均衡

客户端负载均衡是一种更智能的模式,它将负载均衡的逻辑集成到每个客户端或一个轻量级的代理中

工作原理为,客户端首先会查询一个服务注册中心(例如:Consul, Etcd, Zookeeper,或 Nacos、Eureka 等),以获取某个服务的所有可用实例的地址列表

客户端在本地通过内置的负载均衡算法实现,客户端会从注册中心中定期拉取或者订阅获取到服务端列表,然后使用负载均衡算法来选择一个实例。然后客户端直接向选中的服务实例发送请求,不再经过任何中央代理

这种架构需要注册中心,一般分布式架构中经常使用,比如 feign、dubbo 等,对应正向代理

# 均衡策略与实现

负载均衡的另外一项重要职责就是选择谁来处理用户请求(本来就是为了做这个的,如果只是将用户的请求转发出去,那就不叫负载均衡了),以下是几个比较常见的负载均衡策略

# 轮询与随机

两个很普通的负载均衡策略

普通的轮询,轮到哪台机器哪台机器处理请求。而普通的随机均衡,则是将客户端的请求随机分配给内部的多个服务器

# 随机权重与加权轮询

每一台服务器都有一个设定权重,负载均衡器将所有权重进行统计得到每个服务器的服务概率,根据这个概率进行随机选择,这就是随机权重

轮询就是把请求依次分配给每个服务提供者,加权轮询就是在轮询的基础上,让更多的请求落到权重更大的服务提供者上

但是他们内部是怎么实现的呢?加权轮询基础原理是每台服务器被赋予一个权重值,权重越高分配的请求越多。按权重比例循环分配请求,而非简单轮流

基础实现步骤:

1,计算权重总和:total_weight = 3 + 2 + 1 = 6 2,维护动态计数器:每轮选择当前权重最高的服务器,如第一轮选 A 3,被选中服务器的当前权重减去总权重(A = 3 - 6 = -3),其他服务器权重累加初始权重。然后循环执行(B: 2 + 2 = 4,C: 1 + 1 = 2)

这东西叫平滑加权轮询,一些故障机器直接设置权重为0,我们会直接排除权重为0的节点,直到其恢复健康状态

# 一致性 hash

使用一个哈希函数对请求中的某些特征值进行计算,计算结果是哪台服务器就选择哪台服务器,简单来说是这样的,但是我们还漏了一致性,这里的一致性指保证服务集群的某个真实服务器出现故障或者向集群新增加一个机器后(这种情况很常见),节点之间的数据迁移只限于两个节点之间,不会造成全局的网络问题

这么做的目的重要为了解决在存储时,当集群中数据量很大时,采用一般的哈希函数,在节点数量动态变化的情况下会造成大量的数据迁移,导致网络通信压力的剧增,严重情况,还可能导致数据库宕机

根据业务需求,一致性哈希可以玩出很多花样,比如以下的是 redis 使用的一致性 hash 算法:

一致性 Hash 算法也是使用取模的方法,不过,上述的取模方法是对服务器的数量进行取模,而一致性的 Hash 算法是对 2 的 32 方取模,这导致一致性 Hash 算法将整个 Hash 空间组织成一个虚拟的圆环

利用服务器的一些参数进行同样的 hash 计算,同样可以唯一确定一个位置,数据在环上顺时针查找必定可以找到一台服务器

此时的数据倾斜怎么处理呢?同一个结点存放了大量的数据这种情况叫数据倾斜,可以将一台服务器虚拟化成多个服务器结点,就是所谓的虚拟节点技术 image-2026-01-31-21-05-58.png 这种负载均衡偏向存储类,比如数据库,但是如果只做请求转发的话,普通哈希也是可以的

# 最少活跃数(最少连接数)

永远选择处理业务最少的那一台机器,每收到一个请求后,对应的服务提供者的活跃数+1,当这个请求处理完之后,活跃数-1

因为只有长连接猜可以这么做记录,这种策略就比较适合长时处理的请求服务,比如 FTP 传输

#负载均衡
最后更新: 2/24/2026, 12:56:39 PM
分布式一致性算法
关于分布式系统 RPC 中高可用功能的实现

← 分布式一致性算法 关于分布式系统 RPC 中高可用功能的实现→

最近更新
01
vibe coding 最佳实践
02-24
02
立直麻将牌效益理论
02-23
03
伪静态是什么
02-08
更多文章>
Theme by Vdoing
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式