高并发架构相关概念

相关概念

  • QPS:每秒钟请求或者查询的数量,在互联网领域,指每秒相应请求数(HTTP请求)
  • 吞吐量:单位时间内处理的请求数量(通常由QPS与并发数决定)
  • 响应时间:从请求发出到收到相应花费的时间
  • PV:综合浏览量(Page View),即页面浏览量或者点击量,一个访客在24小时内访问的页面数量(同一个人浏览同一个页面,只记1个PV)
  • UV:独立访客(UniQue Vistor),即一定时间范围内相同访客多次访问网站,只计算为1个独立访客
  • 带宽:计算带宽大小需要关注两个指标,峰值流量和页面的平均大小

日网站带宽 = PV/统计时间(换算到秒)平均页面大小(单位KB)8
QPS不等于并发连接数 => QPS每秒HTTP请求数量,并发连接数是系统同时处理的请求数量
峰值每秒请求书(QPS) = (总PV数80%)/(6小时秒数20%)
80%的访问量集中在20%的时间


常用的性能测试工具:

  • ab
  • wrk
  • http_load
  • Web Bench
  • Siege
  • Apache JMeter

测试注意事项

  • 测试机器与被测试机器分开
  • 不要对线上机器做压力测试
  • 观察测试工具所在机器,以及被测试的前端机的CPU、内存、网络等都不超过最高限度的75%

QPS达到极限

随着QPS的增长,每个阶段需要根据实际情况来进行优化,优化的方案与硬件条件、网络带宽息息相关

  • QPS达到50
    • 可以称之为小型网站,一般的服务器可以应付
  • QPS达到100

    • 假设关系型数据库的每次请求在0.01秒完成
    • 假设单页面只有一个SQL查询,那么100QPS意味着1秒钟完成100次请求,但是此时我们并不能保证数据库查询能完成100次

      方案:数据库缓存层、数据库的负载均衡

  • QPS达到800

    • 假设使用百兆带宽,以为着网站出口实际带宽是8M左右
    • 假设每个页面只有10K,在这个并发条件下,百兆带宽已经吃完

      方案:CDN加速、负载均衡

  • QPS达到1000

    • 假设使用Memcache缓存数据库查询数据,每个页面对Memcache的请求远大于直接对DB的请求
    • Memcache的悲观并发在2W左右,但有可能在之前内网带宽已经吃完,表现出不稳定

      方案:静态HTML缓存

  • QPS达到2000

    • 这个级别下,文件系统访问锁都成为了灾难

      方案:做业务分离,分布式存储


高并发解决方案

  • 流量优化:防盗链处理、CDN加速、建立独立图片服务器
  • 前端优化:减少HTTP请求、添加异步请求、启用浏览器缓存和文件压缩
  • 服务端优化:页面静态化、并发处理、队列处理
  • 数据库优化:数据库缓存、分库分表、分区操作、读写分离、负载均衡
  • WEB服务器优化:负载均衡