系统架构演进之路:从单机到云原生
单机架构
从零搭建,所有的东西都在一台服务器上,例如应用和数据库在一起,就像一个小餐馆,夫妻店,老板娘是前台,老板负责后厨。
适用场景:初创项目、访问量小、团队规模小(1-3人)
优点:简单、成本低、快速上线
瓶颈:单点故障、资源争抢、无法扩展
应用与数据分离
能解决资源争抢的问题,例如同时大量请求涌入同一台服务器,带宽资源不足以支持应用和数据库同时处理请求,那就把应用和数据库分开,每个单独一个服务器,这样就有足够的资源去供给应用和数据库了。
核心思想:专业的事交给专业的机器做
典型架构:应用服务器 + 数据库服务器(物理分离)
应用集群 + 负载均衡
请求再次激增,如果应用服务器挂了就直接瘫痪的话,那就很影响可用性,这时候就增加服务器进行处理。但是增加服务器的同时,如果只让一台服务器处理等爆掉再转下一台也不行,所以引入负载均衡服务器,将请求进行分发,减轻单台服务器压力。
负载均衡策略:
- 轮询:按顺序分配请求
- 加权轮询:根据服务器性能分配不同权重
- IP Hash:同一IP的请求固定分配到某台服务器
- 最少连接:分配到当前连接数最少的服务器
常用组件:Nginx、HAProxy、LVS
多级缓存
客户从浏览器查询一个东西,从浏览器到应用服务器,再到数据库,这需要一定的时间,如果客户查的东西频率比较频繁那就可以进行缓存。例如在浏览器进行缓存,或者应用服务器缓存也可以在数据库缓存一些资源,如果命中缓存的话查询速度是很快的,这样就能提高查询性能、缓解数据库压力。
缓存层次:
1 | 浏览器缓存 → CDN缓存 → 网关缓存 → 应用本地缓存 → 分布式缓存(Redis/Memcached) → 数据库缓存 |
缓存策略:
- Cache-Aside:先读缓存,缓存没有再读数据库,然后更新缓存
- Read-Through:应用只和缓存交互,缓存负责读数据库
- Write-Through:写操作同步更新缓存和数据库
- Write-Behind:写操作先更新缓存,异步更新数据库
数据库读写分离
有时候数据库进行写操作的时候会加锁,那就会影响读的性能,而且一般读操作比写操作更频繁,那就可以将数据库进行读写分离,让主库进行写操作,从库进行读操作,从库订阅主库进行数据更新,解决数据库读写阻塞的问题。
架构图:
1 | 应用服务器 → 主库(写) |
数据同步方式:
- 主从复制(MySQL Replication)
- Binlog订阅(Canal)
- 中间件代理(MyCat、ShardingSphere)
分库分表 + 分布式数据库
这时候做大做强了,海量数据需要处理,一两个数据库处理起来效率太低了,那就将数据库进行分离,例如订单表、用户表、积分表进行拆分作为单独的数据库,还可以将表进行水平或者垂直拆分来将表变得更小提升查询效率,同时可以将数据库进行分布式部署,来保证数据库的可用性。
拆分方式:
- 垂直拆分:按业务模块拆分(用户库、订单库、商品库)
- 水平拆分:按数据规则拆分(user_001, user_002, …)
分布式数据库:
- TiDB(NewSQL,兼容MySQL)
- OceanBase(蚂蚁金服自研)
- CockroachDB(云原生数据库)
CDN + 反向代理
假设客户在新疆,但是我们的服务器在海南,那客户要访问服务器上的资源就会比从北京访问更慢,这时候想提升客户访问速度和体验,就可以将服务器上的资源放到离客户较近的服务器上,这叫CDN。同时把服务器上的资源直接放到互联网上也不安全,就设置一个反向代理服务器,接收到客户的请求之后通过反代转发到后端服务器上进行处理。
CDN工作原理:
1 | 用户请求 → DNS解析 → 就近CDN节点 → 命中返回/回源获取 |
反向代理作用:
- 安全防护:隐藏真实服务器IP
- 负载均衡:分发请求到后端服务器
- SSL终结:处理HTTPS加密解密
- 缓存加速:缓存静态资源
常用组件:Nginx、Varnish、Squid
搜索引擎 + NoSQL
当业务发展到一定阶段,你会发现关系型数据库(MySQL、PostgreSQL)开始”力不从心”——不是它不好,而是有些场景它天生不擅长。这时候就需要引入搜索引擎和NoSQL来”各司其职”。
为什么需要搜索引擎和NoSQL?
关系型数据库的瓶颈:
- 全文搜索慢:
LIKE '%关键词%'无法走索引,百万级数据查询可能需要几秒甚至几十秒 - 高并发写入压力:日志、用户行为等场景,每秒几十万次写入,单机MySQL扛不住
- 数据模型僵化:每次加字段都要ALTER TABLE,业务迭代慢
- 复杂关系查询低效:社交网络中”朋友的朋友”这种多层关系,JOIN查询性能差
核心思想:没有银弹,不同场景用不同工具。关系型数据库负责”事务一致性”,NoSQL负责”高可用高性能”,搜索引擎负责”快速检索”。
NoSQL的四大类型及应用场景
1. 键值存储(Redis、Memcached)
特点:最简单的数据模型,Key-Value存储,读写速度极快(10万+ QPS)
典型场景:
- 会话管理:用户登录Token存储,设置过期时间
- 购物车:高频读写,容忍短暂丢失
- 排行榜:Redis Sorted Set天然支持
- 限流计数器:滑动窗口限流
- 分布式锁:Redlock算法
实际案例:电商大促时,Redis集群承载每秒百万级的库存查询和扣减请求
2. 文档数据库(MongoDB、CouchDB)
特点:存储JSON/BSON文档,Schema灵活,支持嵌套结构
典型场景:
- 用户画像:每个用户的属性不同(普通用户vs企业用户),字段差异大
- 商品信息:不同品类的商品属性不同(手机有CPU、内存,衣服有尺码、颜色)
- CMS内容管理:文章、视频、图文等多种内容类型
- 日志存储:半结构化日志数据,格式可能随版本迭代变化
实际案例:电商商品库,一个商品可能有几十个属性,不同品类属性完全不同,MongoDB的灵活Schema完美适配
3. 列族存储(HBase、Cassandra)
特点:按列存储,适合海量数据(PB级)的高吞吐写入
典型场景:
- 时序数据:IoT设备采集的传感器数据、监控指标
- 用户行为日志:点击流、浏览记录、搜索历史
- 大数据分析:数据仓库、离线分析
实际案例:某短视频平台用HBase存储用户观看记录,每天新增数十亿条记录,支撑”猜你喜欢”推荐算法
4. 图数据库(Neo4j、JanusGraph)
特点:以图论为基础,天然适合关系网络查询
典型场景:
- 社交网络:好友关系、一度/二度人脉
- 推荐系统:”买了这个的人还买了…”
- 知识图谱:实体关系、语义网络
- 风控反欺诈:识别团伙作案、关联账户
实际案例:LinkedIn用图数据库实现”你可能认识的人”推荐,毫秒级返回六度人脉关系
搜索引擎(Elasticsearch)详解
为什么关系型数据库做不好搜索?
1 | -- 这个查询在百万级数据上可能需要几秒 |
MySQL的B+树索引对”前缀匹配”有效,但对”全文搜索”无能为力。而Elasticsearch基于倒排索引,天然为搜索而生。
ES核心能力:
| 能力 | 说明 | 实际场景 |
|---|---|---|
| 全文检索 | 分词+倒排索引,毫秒级响应 | 商品搜索、文章搜索 |
| 模糊匹配 | 支持拼音、同义词、纠错 | “京东”搜”JD”,”手机”搜”iPhone” |
| 聚合分析 | 多维度统计分析 | 销售报表、用户画像分析 |
| 地理位置 | 地理围栏、距离排序 | 附近的人、附近门店 |
| 高亮显示 | 关键词高亮 | 搜索结果红色高亮 |
实际场景举例:
场景1:电商商品搜索
1 | 用户输入:"2000元左右的拍照手机" |
场景2:日志分析(ELK Stack)
1 | Elasticsearch + Logstash + Kibana |
场景3:知识库搜索
1 | 企业内部文档搜索 |
关系型数据库 vs NoSQL vs 搜索引擎
| 维度 | 关系型数据库(MySQL) | NoSQL(Redis/MongoDB) | 搜索引擎(ES) |
|---|---|---|---|
| 核心优势 | 事务一致性、复杂JOIN | 高性能、灵活Schema | 全文检索、聚合分析 |
| 数据模型 | 结构化表格 | 键值/文档/列族/图 | 倒排索引 |
| 一致性 | 强一致性(ACID) | 最终一致性 | 近实时 |
| 扩展方式 | 垂直扩展为主 | 天然支持水平扩展 | 天然支持水平扩展 |
| 适用场景 | 订单、交易、账户 | 缓存、日志、社交关系 | 搜索、日志分析 |
技术选型建议
不要为了用而用,根据实际场景选择:
- 数据量小、查询简单 → 用MySQL就够了
- 需要毫秒级响应的热数据 → 加Redis缓存
- Schema频繁变化 → 用MongoDB
- 海量日志/时序数据 → 用HBase/Cassandra
- 需要全文搜索/复杂聚合 → 用Elasticsearch
- 需要关系网络查询 → 用Neo4j
常见组合方案:
1 | MySQL(核心交易数据)+ Redis(缓存/会话)+ ES(搜索/日志) |
业务拆分 + 分布式
再次做大做强,应用集群太大了,显得很臃肿,想改一个订单服务的代码需要将整个应用重新发布,或者想给下单服务加机器也需要将整个应用扩容,将业务按照业务边界进行拆分,然后通过RPC框架进行服务间通信。
单体应用的问题:
- 代码耦合:改一个功能影响全局
- 部署低效:发布一个功能需要整个应用重新部署
- 扩展困难:无法针对热点服务单独扩容
- 技术栈锁定:整个应用只能用一种技术栈
分布式解决方案:
- 服务拆分:按业务边界拆分为独立服务(用户服务、订单服务、支付服务)
- RPC通信:Dubbo、gRPC、Thrift 等远程调用框架
- 消息队列:RabbitMQ、Kafka、RocketMQ 解耦服务
- 分布式事务:Seata、TCC、SAGA 保证数据一致性
典型架构:
1 | ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ |
微服务架构
微服务是分布式架构的进一步演进,强调服务自治、去中心化和领域驱动设计(DDD)。
微服务 vs 分布式:
- 分布式:关注物理部署,服务可以部署在不同机器上
- 微服务:关注架构设计,强调服务的独立性、自治性
微服务核心组件:
1 | ┌──────────────────────────────────────────────────────────┐ |
微服务治理:
- 服务注册与发现:Nacos、Eureka、Consul
- 配置中心:Apollo、Nacos Config
- 负载均衡:Ribbon、LoadBalancer
- 熔断降级:Hystrix、Sentinel
- 链路追踪:SkyWalking、Zipkin、Jaeger
- 网关:Spring Cloud Gateway、Zuul
领域驱动设计(DDD):
- 限界上下文:明确服务边界
- 聚合根:数据一致性边界
- 领域事件:服务间异步通信
微服务优势:
- 独立部署:每个服务独立发布
- 独立扩展:针对热点服务单独扩容
- 技术异构:不同服务可用不同技术栈
- 团队自治:小团队独立负责一个服务
微服务挑战:
- 分布式复杂性:网络延迟、数据一致性
- 运维成本:需要完善的监控、日志、链路追踪
- 服务治理:限流、熔断、降级策略
云原生架构
云原生(Cloud Native)是一种充分利用云计算优势的架构理念,核心是容器化、微服务、DevOps和持续交付。
云原生四大支柱:
1 | ┌─────────────────────────────────────────────────────────┐ |
容器技术(Docker):
- 镜像:打包应用及其依赖环境
- 容器:轻量级虚拟化,秒级启动
- 优势:环境一致、快速部署、资源隔离
容器编排(Kubernetes):
1 | ┌─────────────────────────────────────────────────────────┐ |
K8s核心能力:
- 自动伸缩:根据CPU/内存自动扩缩容
- 自愈能力:容器故障自动重启/迁移
- 滚动更新:零停机发布
- 服务发现:内置DNS和服务负载均衡
- 配置管理:ConfigMap和Secret
云原生技术栈:
| 层次 | 技术 | 作用 |
|---|---|---|
| 容器运行时 | Docker、containerd、CRI-O | 运行容器 |
| 容器编排 | Kubernetes | 管理容器集群 |
| 服务网格 | Istio、Linkerd | 服务间通信治理 |
| 可观测性 | Prometheus、Grafana、ELK | 监控、日志、告警 |
| CI/CD | Jenkins、GitLab CI、ArgoCD | 持续集成与交付 |
| 云平台 | AWS、阿里云、腾讯云 | 基础设施即服务 |
云原生优势:
- 弹性伸缩:按需自动扩缩容,资源利用率最大化
- 高可用:多副本部署、自动故障恢复
- 快速交付:容器化+CI/CD,分钟级发布
- 成本优化:按需付费,告别资源浪费
- 环境一致:开发、测试、生产环境完全一致
云原生挑战:
- 技术复杂度高:需要掌握容器、K8s、服务网格等
- 运维门槛高:需要专业的云原生运维团队
- 架构改造成本:从单体到云原生需要逐步演进
架构演进总结
演进路线图
1 | 单机架构 → 应用数据分离 → 应用集群+负载均衡 → 多级缓存 → 读写分离 |
核心思维
架构演进本质:从单机到云原生,每一步都是为解决业务增长带来的新问题,形成”发现问题→引入组件→解决问题”的迭代闭环。
没有最好,只有最合适:架构选择要匹配业务规模,不要过度设计,也不要滞后于业务发展。
用空间换时间,用复杂度换性能:缓存、索引、副本都是这个思路。
始终围绕五大目标:高性能、高可用、可伸缩、可扩展、安全。
各阶段适用场景
| 架构阶段 | 适用场景 | 典型用户量 | 团队规模 | 关键技术 |
|---|---|---|---|---|
| 单机架构 | 初创项目、MVP验证 | <1万 | 1-3人 | 单体应用 |
| 应用数据分离 | 业务初步增长 | 1-10万 | 3-5人 | 应用服务器、数据库服务器 |
| 应用集群+负载均衡 | 流量快速增长 | 10-50万 | 5-10人 | Nginx、HAProxy |
| 多级缓存 | 高并发读场景 | 50-100万 | 5-10人 | Redis、Memcached |
| 数据库读写分离 | 读多写少场景 | 100-500万 | 10-20人 | MySQL主从、Canal |
| 分库分表 | 海量数据存储 | 500万-1000万 | 20-50人 | ShardingSphere、TiDB |
| CDN+反向代理 | 全国/全球用户 | 1000万+ | 20-50人 | CDN、Nginx |
| 搜索引擎+NoSQL | 复杂查询需求 | 1000万+ | 20-50人 | Elasticsearch、MongoDB |
| 业务拆分+分布式 | 业务复杂度高 | 1000万+ | 50-100人 | Dubbo、Kafka |
| 微服务架构 | 大型互联网业务 | 5000万+ | 100+人 | Spring Cloud、K8s |
| 云原生架构 | 超大规模、全球化 | 1亿+ | 200+人 | Docker、K8s、Istio |
演进建议
- 渐进式演进:不要一步到位,根据业务发展逐步升级
- 问题驱动:遇到瓶颈再优化,避免过度设计
- 技术储备:提前学习下一代架构技术
- 成本控制:架构升级要权衡投入产出比
- 团队成长:架构演进要匹配团队技术能力
参考资料
- 《微服务架构设计模式》- Chris Richardson
- 《Kubernetes in Action》- Marko Lukša
- 《云原生应用架构实践》- 阿里云