[转]服务端高并发分布式架构演进之路

原文 服务端高并发分布式架构演进之路，本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。

  1. 0
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10. 9
  11. 10
  12. 11
  13. 12
  14. 13
  15. 14

架构设计的原则:

  1. N+1设计。系统中的每个组件都应做到没有单点故障；
  2. 回滚设计。确保系统可以向前兼容，在系统升级时应能有办法回滚版本；
  3. 禁用设计。应该提供控制具体功能是否可用的配置，在系统出现故障时能够快速下线功能；
  4. 监控设计。在设计阶段就要考虑监控的手段；
  5. 多活数据中心设计。若系统需要极高的高可用，应考虑在多地实施数据中心进行多活，至少在一个机房断电的情况下系统依然可用；
  6. 采用成熟的技术。刚开发的或开源的技术往往存在很多隐藏的bug，出了问题没有商业支持可能会是一个灾难；
  7. 资源隔离设计。应避免单一业务占用全部资源；
  8. 架构应能水平扩展。系统只有做到能水平扩展，才能有效避免瓶颈问题；
  9. 非核心则购买。非核心功能若需要占用大量的研发资源才能解决，则考虑购买成熟的产品；
  10. 使用商用硬件。商用硬件能有效降低硬件故障的机率；
  11. 快速迭代。系统应该快速开发小功能模块，尽快上线进行验证，早日发现问题大大降低系统交付的风险；
  12. 无状态设计。服务接口应该做成无状态的，当前接口的访问不依赖于接口上次访问的状态。

Google Code Review Guide

  1. 原则：给出技术上的建议，而不是个人偏好
  2. 写一个好的 commit：
    1. 第一行，改动的简短摘要
    2. 空行
    3. 详细提交信息
  3. 小修改，多提交
    1. 方便 review/merge/roll back
    2. 利于好的代码设计，减少 bug
  4. Code review 看什么？
    1. 设计
    2. 功能实现是否正确，以及复杂度
    3. 测试
    4. 命名，注释，代码风格，文档等
  5. 尽早 review，尽快 review
  6. 好的 code review comment
    1. Be kind
    2. 只指出问题，让开发人员自己决定怎么修改
    3. Encourage developers to simplify code

如何写出优雅的 Golang 代码

原文是一篇非常赞的工程总结，推荐。这里记录一些笔记

  1. 代码规范，gofmt, goimports, golangci-lint 等，配合 CI 自动化
  2. 目录结构 Standard Go Project Layout
    1. /pkg 可以被外部使用包模块
    2. /internal 私有模块，不可被外部使用
    3. 不要有 /src 目录
    4. /cmd 生成可执行文件
    5. /api 对外提供的 API 模块
    6. 不要有 model/controller 这样的模块，按照职责拆分，面向接口开发
  3. 不要在 init 做资源初始化，比如 rpc/DB/Redis 等，因为 init 会被隐式执行，会默默初始化资源连接
  4. 推荐的做法是 Client + NewClient，显式初始化连接
  5. init 阶段适合做一些简单、轻量的前置条件判断，比如 flag 设置
  6. 使用 GoMock/sqlmock/httpmock/monkey 做 mock + 测试

Simple techniques to optimise Go programs 介绍了一些简单却非常高效的性能提升方法：

  • Avoid using structures containing pointers as map keys for large maps, use ints or bytes
  • Use strings.Builder to build up strings
  • Use strconv instead of fmt.Sprintf

Power of g in Vim

:[range]g[!]/pattern/cmd

! means do not match pattern, cmd list:

  • d: delete
  • m: move
  • t: copy, or co
  • s: replace

for more info:

动态添加/删除 Hadoop DataNode

添加节点

  1. NameNode 添加节点 etc/hadoop/slaves
  2. 同步 etc/hadoop 配置
  3. 在新节点 ./sbin/hadoop-daemon.sh start datanode

删除节点

  1. 在 etc/hadoop/excludes 写入要删掉的节点地址
  2. 修改 etc/hadoop/ hdfs-site.xml:
  <property>
    <name>dfs.hosts.exclude</name>
    <value>/home/web/hadoop/etc/hadoop/excludes</value>
  </property>
  1. 修改 etc/hadoop/mapred-site.xml, 这个是下线 nodemanager
  <property>
    <name>mapred.hosts.exclude</name>
    <value>/home/web/hadoop/etc/hadoop/excludes</value>
    <final>true</final>
  </property>
  1. 修改 etc/hadoop/slaves，去掉要删除的节点
  2. 同步 etc/hadoop/excludes 和 etc/hadoop/slaves 到所有 NameNode
  3. 在 NameNode 执行 ./bin/hadoop dfsadmin -refreshNodes
  4. ./bin/hadoop dfsadmin -report 查看要删除的节点状态变化 Normal -> Decommission in progress -> Decommissioned
  5. 在要删除的节点 ./sbin/hadoop-daemon.sh stop datanode，等待 Admin State 变更为 Dead

Using special SSH key for Git

In ~/.ssh/config:

host github.com
    HostName github.com
    IdentityFile ~/.ssh/id_rsa_github
    User git

don’t forget chmod 600 ~/.ssh/config

Or, use GIT_SSH_COMMAND environment variable:

export GIT_SSH_COMMAND="ssh -i ~/.ssh/id_rsa_example -F /dev/null"

Regex Unicode Scripts

  1. \p{Han} 匹配中文、日语文字，支持简繁体。
  2. \p{Common} 匹配符号
  3. \p{Latin} 匹配拉丁语系
  4. 需要 grep perl 支持，即 grep -P "\p{Han}"，或者 rg/ag.
echo '中文/繁體/片仮名／かたかな／カタカナ/katakana' | rg "\p{Han}"   > 中文 繁體 片仮名
echo '中文@mail.com' | rg "\p{Common}"                                > @ .
echo '中文@mail.com' | rg "\p{Latin}"                                 > mail com

Unicode Scripts for more.

Octotree for Safari

From Safari 13, you can only install extension from Mac App Store.

brew install [email protected]
export PATH="/usr/local/opt/[email protected]/bin:$PATH"
# make sure node and npm is v10, cause octotree used gulp 3, which is not working with node 12.

git clone https://github.com/ovity/octotree.git ~/src/octotree
cd ~/src/octotree
git checkout master

npm i
npm install [email protected]
npm run dist
# extension locate in ~/src/octotree/tmp/safari/octotree.safariextension/

cd ~/Library/Safari/Extensions
mv ~/src/octotree/tmp/safari/octotree.safariextension .
  1. Enable Developer menu in Safari
  2. Developer - Show Extension Builder
  3. Add octotree.safariextension and Run

MySQL Prefix Index

CREATE TABLE `t1` (
  `bundle` varchar(300) DEFAULT '' COMMENT 'pkg name',
  `domain` varchar(200) DEFAULT '',
  UNIQUE KEY `idx_bundle_domain` (`bundle`(100),`domain`(100))
) ENGINE=InnoDB AUTO_INCREMENT=12 DEFAULT CHARSET=utf8mb4;

关键部分 bundle(100) 来解决组合索引可能会出现的 Specified key was too long; max key length is 767 bytes 错误。

Deployment with git

#!/bin/sh

set -uex

PATH=$PATH:$HOME/bin
export PATH

DIR=/home/serv/project
cd ${DIR}

REV1=$(git rev-parse --verify HEAD)
git pull origin master
REV2=$(git rev-parse --verify HEAD)
test ${REV1} = ${REV2} && echo "Already updated" && exit

make
test $? -ne 0 && echo "make error" && exit

kill -HUP $(cat logs/run.pid)

主要是通过 git rev-parse --verify HEAD 来获取当前 rev hash，前后对比是否一致，以此来决定是否继续。