单机架构

从零搭建,所有的东西都在一台服务器上,例如应用和数据库在一起,就像一个小餐馆,夫妻店,老板娘是前台,老板负责后厨。

适用场景:初创项目、访问量小、团队规模小(1-3人)

优点:简单、成本低、快速上线

瓶颈:单点故障、资源争抢、无法扩展


应用与数据分离

能解决资源争抢的问题,例如同时大量请求涌入同一台服务器,带宽资源不足以支持应用和数据库同时处理请求,那就把应用和数据库分开,每个单独一个服务器,这样就有足够的资源去供给应用和数据库了。

核心思想:专业的事交给专业的机器做

典型架构:应用服务器 + 数据库服务器(物理分离)


应用集群 + 负载均衡

请求再次激增,如果应用服务器挂了就直接瘫痪的话,那就很影响可用性,这时候就增加服务器进行处理。但是增加服务器的同时,如果只让一台服务器处理等爆掉再转下一台也不行,所以引入负载均衡服务器,将请求进行分发,减轻单台服务器压力。

负载均衡策略:

  • 轮询:按顺序分配请求
  • 加权轮询:根据服务器性能分配不同权重
  • IP Hash:同一IP的请求固定分配到某台服务器
  • 最少连接:分配到当前连接数最少的服务器

常用组件:Nginx、HAProxy、LVS


多级缓存

客户从浏览器查询一个东西,从浏览器到应用服务器,再到数据库,这需要一定的时间,如果客户查的东西频率比较频繁那就可以进行缓存。例如在浏览器进行缓存,或者应用服务器缓存也可以在数据库缓存一些资源,如果命中缓存的话查询速度是很快的,这样就能提高查询性能、缓解数据库压力。

缓存层次:

1
浏览器缓存 → CDN缓存 → 网关缓存 → 应用本地缓存 → 分布式缓存(Redis/Memcached) → 数据库缓存

缓存策略:

  • Cache-Aside:先读缓存,缓存没有再读数据库,然后更新缓存
  • Read-Through:应用只和缓存交互,缓存负责读数据库
  • Write-Through:写操作同步更新缓存和数据库
  • Write-Behind:写操作先更新缓存,异步更新数据库

数据库读写分离

有时候数据库进行写操作的时候会加锁,那就会影响读的性能,而且一般读操作比写操作更频繁,那就可以将数据库进行读写分离,让主库进行写操作,从库进行读操作,从库订阅主库进行数据更新,解决数据库读写阻塞的问题。

架构图:

1
2
3
4
应用服务器 → 主库(写) 
→ 从库1(读)
→ 从库2(读)
→ 从库N(读)

数据同步方式:

  • 主从复制(MySQL Replication)
  • Binlog订阅(Canal)
  • 中间件代理(MyCat、ShardingSphere)

分库分表 + 分布式数据库

这时候做大做强了,海量数据需要处理,一两个数据库处理起来效率太低了,那就将数据库进行分离,例如订单表、用户表、积分表进行拆分作为单独的数据库,还可以将表进行水平或者垂直拆分来将表变得更小提升查询效率,同时可以将数据库进行分布式部署,来保证数据库的可用性。

拆分方式:

  • 垂直拆分:按业务模块拆分(用户库、订单库、商品库)
  • 水平拆分:按数据规则拆分(user_001, user_002, …)

分布式数据库:

  • TiDB(NewSQL,兼容MySQL)
  • OceanBase(蚂蚁金服自研)
  • CockroachDB(云原生数据库)

CDN + 反向代理

假设客户在新疆,但是我们的服务器在海南,那客户要访问服务器上的资源就会比从北京访问更慢,这时候想提升客户访问速度和体验,就可以将服务器上的资源放到离客户较近的服务器上,这叫CDN。同时把服务器上的资源直接放到互联网上也不安全,就设置一个反向代理服务器,接收到客户的请求之后通过反代转发到后端服务器上进行处理。

CDN工作原理:

1
用户请求 → DNS解析 → 就近CDN节点 → 命中返回/回源获取

反向代理作用:

  • 安全防护:隐藏真实服务器IP
  • 负载均衡:分发请求到后端服务器
  • SSL终结:处理HTTPS加密解密
  • 缓存加速:缓存静态资源

常用组件:Nginx、Varnish、Squid


搜索引擎 + NoSQL

当业务发展到一定阶段,你会发现关系型数据库(MySQL、PostgreSQL)开始”力不从心”——不是它不好,而是有些场景它天生不擅长。这时候就需要引入搜索引擎和NoSQL来”各司其职”。

为什么需要搜索引擎和NoSQL?

关系型数据库的瓶颈:

  • 全文搜索慢:LIKE '%关键词%' 无法走索引,百万级数据查询可能需要几秒甚至几十秒
  • 高并发写入压力:日志、用户行为等场景,每秒几十万次写入,单机MySQL扛不住
  • 数据模型僵化:每次加字段都要ALTER TABLE,业务迭代慢
  • 复杂关系查询低效:社交网络中”朋友的朋友”这种多层关系,JOIN查询性能差

核心思想:没有银弹,不同场景用不同工具。关系型数据库负责”事务一致性”,NoSQL负责”高可用高性能”,搜索引擎负责”快速检索”。


NoSQL的四大类型及应用场景

1. 键值存储(Redis、Memcached)

特点:最简单的数据模型,Key-Value存储,读写速度极快(10万+ QPS)

典型场景:

  • 会话管理:用户登录Token存储,设置过期时间
  • 购物车:高频读写,容忍短暂丢失
  • 排行榜:Redis Sorted Set天然支持
  • 限流计数器:滑动窗口限流
  • 分布式锁:Redlock算法

实际案例:电商大促时,Redis集群承载每秒百万级的库存查询和扣减请求

2. 文档数据库(MongoDB、CouchDB)

特点:存储JSON/BSON文档,Schema灵活,支持嵌套结构

典型场景:

  • 用户画像:每个用户的属性不同(普通用户vs企业用户),字段差异大
  • 商品信息:不同品类的商品属性不同(手机有CPU、内存,衣服有尺码、颜色)
  • CMS内容管理:文章、视频、图文等多种内容类型
  • 日志存储:半结构化日志数据,格式可能随版本迭代变化

实际案例:电商商品库,一个商品可能有几十个属性,不同品类属性完全不同,MongoDB的灵活Schema完美适配

3. 列族存储(HBase、Cassandra)

特点:按列存储,适合海量数据(PB级)的高吞吐写入

典型场景:

  • 时序数据:IoT设备采集的传感器数据、监控指标
  • 用户行为日志:点击流、浏览记录、搜索历史
  • 大数据分析:数据仓库、离线分析

实际案例:某短视频平台用HBase存储用户观看记录,每天新增数十亿条记录,支撑”猜你喜欢”推荐算法

4. 图数据库(Neo4j、JanusGraph)

特点:以图论为基础,天然适合关系网络查询

典型场景:

  • 社交网络:好友关系、一度/二度人脉
  • 推荐系统:”买了这个的人还买了…”
  • 知识图谱:实体关系、语义网络
  • 风控反欺诈:识别团伙作案、关联账户

实际案例:LinkedIn用图数据库实现”你可能认识的人”推荐,毫秒级返回六度人脉关系


搜索引擎(Elasticsearch)详解

为什么关系型数据库做不好搜索?

1
2
-- 这个查询在百万级数据上可能需要几秒
SELECT * FROM articles WHERE content LIKE '%微服务%' AND title LIKE '%架构%';

MySQL的B+树索引对”前缀匹配”有效,但对”全文搜索”无能为力。而Elasticsearch基于倒排索引,天然为搜索而生。

ES核心能力:

能力 说明 实际场景
全文检索 分词+倒排索引,毫秒级响应 商品搜索、文章搜索
模糊匹配 支持拼音、同义词、纠错 “京东”搜”JD”,”手机”搜”iPhone”
聚合分析 多维度统计分析 销售报表、用户画像分析
地理位置 地理围栏、距离排序 附近的人、附近门店
高亮显示 关键词高亮 搜索结果红色高亮

实际场景举例:

场景1:电商商品搜索

1
2
3
用户输入:"2000元左右的拍照手机"
ES查询:价格区间(1500-2500) + 品类(手机) + 标签(拍照)
结果:毫秒级返回,支持按销量、价格、评分排序

场景2:日志分析(ELK Stack)

1
2
3
Elasticsearch + Logstash + Kibana
用途:实时收集、分析、可视化系统日志
场景:线上故障排查,秒级定位错误日志

场景3:知识库搜索

1
2
3
企业内部文档搜索
支持:PDF、Word、PPT全文检索
效果:输入关键词,毫秒级找到相关文档

关系型数据库 vs NoSQL vs 搜索引擎

维度 关系型数据库(MySQL) NoSQL(Redis/MongoDB) 搜索引擎(ES)
核心优势 事务一致性、复杂JOIN 高性能、灵活Schema 全文检索、聚合分析
数据模型 结构化表格 键值/文档/列族/图 倒排索引
一致性 强一致性(ACID) 最终一致性 近实时
扩展方式 垂直扩展为主 天然支持水平扩展 天然支持水平扩展
适用场景 订单、交易、账户 缓存、日志、社交关系 搜索、日志分析

技术选型建议

不要为了用而用,根据实际场景选择:

  1. 数据量小、查询简单 → 用MySQL就够了
  2. 需要毫秒级响应的热数据 → 加Redis缓存
  3. Schema频繁变化 → 用MongoDB
  4. 海量日志/时序数据 → 用HBase/Cassandra
  5. 需要全文搜索/复杂聚合 → 用Elasticsearch
  6. 需要关系网络查询 → 用Neo4j

常见组合方案:

1
MySQL(核心交易数据)+ Redis(缓存/会话)+ ES(搜索/日志)

业务拆分 + 分布式

再次做大做强,应用集群太大了,显得很臃肿,想改一个订单服务的代码需要将整个应用重新发布,或者想给下单服务加机器也需要将整个应用扩容,将业务按照业务边界进行拆分,然后通过RPC框架进行服务间通信。

单体应用的问题:

  • 代码耦合:改一个功能影响全局
  • 部署低效:发布一个功能需要整个应用重新部署
  • 扩展困难:无法针对热点服务单独扩容
  • 技术栈锁定:整个应用只能用一种技术栈

分布式解决方案:

  • 服务拆分:按业务边界拆分为独立服务(用户服务、订单服务、支付服务)
  • RPC通信:Dubbo、gRPC、Thrift 等远程调用框架
  • 消息队列:RabbitMQ、Kafka、RocketMQ 解耦服务
  • 分布式事务:Seata、TCC、SAGA 保证数据一致性

典型架构:

1
2
3
4
5
6
7
8
┌─────────────┐    ┌─────────────┐    ┌─────────────┐
│ 用户服务 │←──→│ 订单服务 │←──→│ 支付服务 │
└─────────────┘ └─────────────┘ └─────────────┘
↑ ↑ ↑
└──────────────────┼──────────────────┘
┌─────┴─────┐
│ 消息队列 │
└───────────┘

微服务架构

微服务是分布式架构的进一步演进,强调服务自治、去中心化和领域驱动设计(DDD)。

微服务 vs 分布式:

  • 分布式:关注物理部署,服务可以部署在不同机器上
  • 微服务:关注架构设计,强调服务的独立性、自治性

微服务核心组件:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
┌──────────────────────────────────────────────────────────┐
│ API Gateway │
│ (路由、鉴权、限流、熔断、灰度发布) │
└──────────────────────────────────────────────────────────┘
↓
┌──────────────────────────────────────────────────────────┐
│ Service Registry │
│ (服务注册与发现:Nacos、Eureka、Consul) │
└──────────────────────────────────────────────────────────┘
↓
┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐
│ 用户服务 │ │ 订单服务 │ │ 商品服务 │ │ 支付服务 │
└─────────┘ └─────────┘ └─────────┘ └─────────┘
↑ ↑ ↑ ↑
└──────────────┴──────────────┴──────────────┘
┌─────────────────────┐
│ 消息队列/事件总线 │
│ (Kafka/RabbitMQ) │
└─────────────────────┘

微服务治理:

  • 服务注册与发现:Nacos、Eureka、Consul
  • 配置中心:Apollo、Nacos Config
  • 负载均衡:Ribbon、LoadBalancer
  • 熔断降级:Hystrix、Sentinel
  • 链路追踪:SkyWalking、Zipkin、Jaeger
  • 网关:Spring Cloud Gateway、Zuul

领域驱动设计(DDD):

  • 限界上下文:明确服务边界
  • 聚合根:数据一致性边界
  • 领域事件:服务间异步通信

微服务优势:

  • 独立部署:每个服务独立发布
  • 独立扩展:针对热点服务单独扩容
  • 技术异构:不同服务可用不同技术栈
  • 团队自治:小团队独立负责一个服务

微服务挑战:

  • 分布式复杂性:网络延迟、数据一致性
  • 运维成本:需要完善的监控、日志、链路追踪
  • 服务治理:限流、熔断、降级策略

云原生架构

云原生(Cloud Native)是一种充分利用云计算优势的架构理念,核心是容器化、微服务、DevOps和持续交付。

云原生四大支柱:

1
2
3
4
5
6
┌─────────────────────────────────────────────────────────┐
│ 云原生 Cloud Native │
├─────────────┬─────────────┬─────────────┬─────────────┤
│ 容器化 │ 微服务 │ DevOps │ 持续交付 │
│ Container │ Microservice│ DevOps │ CI/CD │
└─────────────┴─────────────┴─────────────┴─────────────┘

容器技术(Docker):

  • 镜像:打包应用及其依赖环境
  • 容器:轻量级虚拟化,秒级启动
  • 优势:环境一致、快速部署、资源隔离

容器编排(Kubernetes):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
┌─────────────────────────────────────────────────────────┐
│ Kubernetes 集群 │
├─────────────────────────────────────────────────────────┤
│ Master Node │
│ ├── API Server(集群入口) │
│ ├── Scheduler(调度器) │
│ ├── Controller Manager(控制器管理) │
│ └── etcd(配置存储) │
├─────────────────────────────────────────────────────────┤
│ Worker Nodes │
│ ├── Pod(最小部署单元) │
│ ├── Service(服务发现与负载均衡) │
│ ├── Deployment(滚动更新、回滚) │
│ └── ConfigMap/Secret(配置管理) │
└─────────────────────────────────────────────────────────┘

K8s核心能力:

  • 自动伸缩:根据CPU/内存自动扩缩容
  • 自愈能力:容器故障自动重启/迁移
  • 滚动更新:零停机发布
  • 服务发现:内置DNS和服务负载均衡
  • 配置管理:ConfigMap和Secret

云原生技术栈:

层次 技术 作用
容器运行时 Docker、containerd、CRI-O 运行容器
容器编排 Kubernetes 管理容器集群
服务网格 Istio、Linkerd 服务间通信治理
可观测性 Prometheus、Grafana、ELK 监控、日志、告警
CI/CD Jenkins、GitLab CI、ArgoCD 持续集成与交付
云平台 AWS、阿里云、腾讯云 基础设施即服务

云原生优势:

  • 弹性伸缩:按需自动扩缩容,资源利用率最大化
  • 高可用:多副本部署、自动故障恢复
  • 快速交付:容器化+CI/CD,分钟级发布
  • 成本优化:按需付费,告别资源浪费
  • 环境一致:开发、测试、生产环境完全一致

云原生挑战:

  • 技术复杂度高:需要掌握容器、K8s、服务网格等
  • 运维门槛高:需要专业的云原生运维团队
  • 架构改造成本:从单体到云原生需要逐步演进

架构演进总结

演进路线图

1
2
3
单机架构 → 应用数据分离 → 应用集群+负载均衡 → 多级缓存 → 读写分离 
→ 分库分表 → CDN+反向代理 → 搜索引擎+NoSQL → 业务拆分+分布式
→ 微服务架构 → 云原生架构

核心思维

  1. 架构演进本质:从单机到云原生,每一步都是为解决业务增长带来的新问题,形成”发现问题→引入组件→解决问题”的迭代闭环。

  2. 没有最好,只有最合适:架构选择要匹配业务规模,不要过度设计,也不要滞后于业务发展。

  3. 用空间换时间,用复杂度换性能:缓存、索引、副本都是这个思路。

  4. 始终围绕五大目标:高性能、高可用、可伸缩、可扩展、安全。

各阶段适用场景

架构阶段 适用场景 典型用户量 团队规模 关键技术
单机架构 初创项目、MVP验证 <1万 1-3人 单体应用
应用数据分离 业务初步增长 1-10万 3-5人 应用服务器、数据库服务器
应用集群+负载均衡 流量快速增长 10-50万 5-10人 Nginx、HAProxy
多级缓存 高并发读场景 50-100万 5-10人 Redis、Memcached
数据库读写分离 读多写少场景 100-500万 10-20人 MySQL主从、Canal
分库分表 海量数据存储 500万-1000万 20-50人 ShardingSphere、TiDB
CDN+反向代理 全国/全球用户 1000万+ 20-50人 CDN、Nginx
搜索引擎+NoSQL 复杂查询需求 1000万+ 20-50人 Elasticsearch、MongoDB
业务拆分+分布式 业务复杂度高 1000万+ 50-100人 Dubbo、Kafka
微服务架构 大型互联网业务 5000万+ 100+人 Spring Cloud、K8s
云原生架构 超大规模、全球化 1亿+ 200+人 Docker、K8s、Istio

演进建议

  1. 渐进式演进:不要一步到位,根据业务发展逐步升级
  2. 问题驱动:遇到瓶颈再优化,避免过度设计
  3. 技术储备:提前学习下一代架构技术
  4. 成本控制:架构升级要权衡投入产出比
  5. 团队成长:架构演进要匹配团队技术能力

参考资料

  • 《微服务架构设计模式》- Chris Richardson
  • 《Kubernetes in Action》- Marko Lukša
  • 《云原生应用架构实践》- 阿里云

视频教程