0%

Istio流量治理原理

istio流量治理主要有以下流程

控制面:

  1. 管理员通过命令行或者api创建流量规则
  2. Pilot将流量规则转换为Envoy的标准格式
  3. Pilot将规则下发给Envoy

数据面:

  1. Envoy拦截Pod上本地容器Inbound和Outbound的流量
  2. 在流量经过Envoy时,执行对应的流量规则,进行流量治理

负载均衡

主要用户服务间访问。通过它可以在多个服务实例找到一个合适的后端把请求转发过去。

Pilot维护服务发现数据,下发给Envoy,Envoy根据负载均衡策略选择一个实例转发请求。

服务熔断

istio的熔断控制无需侵入代码,有别与hystrix。

常见的熔断器状态流转

序号 初始状态 条件 迁移状态
1 熔断关闭 请求成功 熔断关闭
2 熔断关闭 请求失败,调用失败次数自增,不超过阀值 熔断关闭
3 熔断关闭 请求失败,调用失败次数自增,超过阀值 熔断开启
4 熔断开启 熔断器维护计时器,计时未到 熔断开启
5 熔断开启 熔断器维护计时器,计时到了 熔断半开启
6 熔断半开启 访问成功 熔断关闭
7 熔断半开启 访问失败 熔断开启

故障注入

有些故障是不会经常触发的,以前模拟故障通常需要修改代码来模拟。而Istio也提供了这个能力。

灰度发布

  1. 蓝绿发布
    类似热发布。先部署新版本,等新版可用后,全流量切换过去。
  2. AB测试
    部署对等的两个版本A和B,分流一部分去a,一部分去b,然后根据运营收集数据,根据反馈选择使用哪个版本。
  3. 金丝雀发布/灰度发布

你叫像AB测试发布,先让小部分用户尝试新版本。观察一段时间后决定使用哪个版本。

Read more »

Istio工作机制

Istio主要架构分为控制面和数据面两部分。

数据面: Envoy
控制面: PilotMixerCitadel

工作机制

  1. 自动注入: k8s中,当有pod创建时候,调用sidecar-injector服务,修改程序描述信息,注入sidecar。主要就是envoy。
  2. 流量拦截:在pod中用iptables拦截容器的流量
  3. 服务发现: Envoy调用Pilot的服务发现接口获取目标服务的实例列表
  4. 负载均衡: 服务发起方的Envoy根据负载均衡策略选择服务实例
  5. 流量治理: Envoy从Pilot获取流量规则,将流量转发到对应的服务上。
  6. 访问安全: Envoy之间的通讯进行双向认证和通道加密,并基于服务的身份授权管理。其中证书和密钥主要由Citadel组件维护
  7. 服务遥测: 服务通讯期间,双方的Envoy都会向Mixer组件上报访问数据。
  8. 策略执行: 可以用Mixer控制服务间的访问
  9. 外部访问: 在网格的入口有一个Envoy扮演入口网关的角色。

服务模型

由istio服务、服务版本、服务实例几个对象构成

服务模型约束

  • 端口命名: name: <protocol>[-<suffix>],协议支持常用的服务协议,如mysql、redis,如无指定,默认为tcp协议
  • 服务关联: pod需要关联到服务
  • deployment使用app和version标签: 区分版本

istio服务

k8s只要满足上文提到的服务模型约束,就可以转为 istio 的服务并配置规则进行流量治理。如最小的k8s模型加上端口命名

k8s主体是 workload,istio 的对象主体是 service,没有访问方式的workload 不是 istio 治理对象。Kubernetes 的 Service 定义 就是 Istio 服务 的 元 数据。

istio服务版本

通过deployment的app: service-name 来关联服务。 通过version: v<version> 标签来区分服务不同版本。 可以根据这个实现灰度发布等功能。

istio服务实例

Istio 的 ServiceInstance 主要包括 Endpoint、 Service、 Labels、 AvailabilityZone 和 ServiceAccount 等属性, Endpoint 是其中最主要 的属性,表示这个实例对应的网络后端( ip: port), Service 表示这个服务 实例归属的服务。

Read more »

需求

主要用于运营部使用h5图片,又想自定义标题. 但是时不时找我很烦,就搞了这个东西给她用。nodejs还挺好玩的。

使用说明

原理,使用表单提交数据. 将数据用ejs渲染到模板上,然后保存成html.

安全码:是防止恶意提交做的一个小验证,写死在 routes/index.js:13 xxx123

运行 npm run start 默认端口是4001

pm2运行 pm2 start npm --name "h5-generator" -- run start
删除任务 pm2 delete h5-generator

生成的文件目录在 ./public/html

由于用在www.xxx.com

所以我nginx配置如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
   # 访问程序
location /generate/ {
proxy_pass http://127.0.0.1:4001/;
proxy_read_timeout 300s;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
# 访问生成的html文件
location /h5 {
  # public/html 绝对路径
alias /data/wwwroot/h5_generator/public/html;
}

h5生成器页面:  https://www.xxx.com/generate/h5

生成的文件访问地址: https://www.xxx.com/h5/生成文件名.html

主要代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
var express = require('express');
const process = require('process');
const ejs = require('ejs')
const fs = require('fs');
var router = express.Router();

/* GET home page. */
router.get('/h5', function(req, res, next) {
res.render('index', { title: 'H5 生成' });
});

router.post('/generate', function (req, res) {
if(req.body.password==='xxx123') {
ejs.renderFile('./templates/h5.ejs',req.body,{},function (err, str) {
if (err) {
console.log(err)
res.send('读取模板文件出错啦.')
} else {
const date = new Date();
const month = date.getMonth() + 1
const filename = ''+ date.getFullYear() + month + date.getDate() + req.body.filename.replace(/(^\s*)|(\s*$)/g, "")+'.html';
console.log('filename', filename)
fs.writeFile('./public/html/'+filename, str, (err) => {
if (err) {
res.send(err)
}else{
res.send('http://www.xxxx.com/h5/'+filename);
}
});

}
})
} else {
res.send('操作码错误')
}
});

module.exports = router;

Read more »

项目概要

  • 项目定义

项目是为创造独特产品、服务或者成果而进行的临时性工作。

  • 项目的特点

变革性、临时性、跨职能性、不确定性

  • 项目管理的五大要素

时间、成本、范围、质量、风险

  • 项目管理的五大过程

启动、规划、执行、监控、收尾

  • 项目的理论体系

PMBOK、Prince2

Read more »

红帽系源是默认用mariadb的,而且mariadb也很优秀,但是我们开发是基于MySQL5.7上做的开发,基本10.2起,应该对MySQL5.7所有的特性是完整支持的.

但是为了稳妥,还是决定给客户安装一样的版本.

在官网找文档的时候,发现藏得有点深,所以还是打算记录下.

安装

完整的命令大致如下

1
2
3
4
shell> yum install -y https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm
shell> yum repolist all | grep mysql
shell> sudo yum-config-manager --disable mysql80-community
shell> sudo yum-config-manager --enable mysql57-community

当看到mysql源是57(自己想要的版本的时候就可以直接安装了)

1
2
3
4
5
6
shell> yum repolist enabled | grep mysql
mysql-connectors-community/x86_64 MySQL Connectors Community 118
mysql-tools-community/x86_64 MySQL Tools Community 95
mysql57-community/x86_64 MySQL 5.7 Community Server 364

shell> yum install mysql-community-server
Read more »

下载地址

https://www.charlesproxy.com/latest-release/download.do

example:

wget https://www.charlesproxy.com/assets/release/4.2.8/charles-proxy-4.2.8_amd64.tar.gz

破解文件

破解文件生成: https://www.zzzmode.com/mytools/charles/

tar zxvf charles-proxy-4.2.8_amd64.tar.gz

把下载的破解文件覆盖到 charles/lib 目录即可

添加charles ca证书 抓取https数据

  1. 访问: chls.pro/ssl 下载证书

  2. 放置证书
    创建个目录放证书 sudo mkdir /usr/share/ca-certificates/charles
    sudo mv ~/charles-ssl-proxying-certificate.pem /usr/share/ca-certificates/charles

  3. 刷新证书配置

Read more »

本地是在虚拟机中建立的k8s环境,安装好后,因为没有负载均衡器,所externalip一直处于pending.官网解决方案是使用nodeport转发.

但是,直接edit svc填写externalip为虚拟机ip即可正常使用了.

1
2
3
4
# kubectl edit svc istio-ingressgateway -n istio-system
spec:
externalIPs:
- xxx.xxx.xxx.xxx
Read more »

之前跨域处理的header都是后端返回的.昨天改回nginx来添加这个header,感觉这样写比较好用清晰,所以记录一下.

注意在allow headers添加上自己额外增加的header就好了,比如我们header添加了token,所以这里也加了.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
set $origin '*';
if ($request_method = 'OPTIONS') {
add_header 'Access-Control-Allow-Origin' $origin;
add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
add_header 'Access-Control-Max-Age' 1728000;
add_header 'Content-Type' 'text/plain charset=UTF-8';
add_header 'Access-Control-Allow-Headers' 'DNT,X-CustomHeader,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,token';
add_header 'Content-Length' 0;
return 204;
}

if ($request_method = 'POST') {
add_header 'Access-Control-Allow-Origin' $origin;
add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
add_header 'Access-Control-Allow-Headers' 'DNT,X-CustomHeader,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,token';
}

if ($request_method = 'GET') {
add_header 'Access-Control-Allow-Origin' $origin;
add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
add_header 'Access-Control-Allow-Headers' 'DNT,X-CustomHeader,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,token';
}

Read more »

开始

什么是 GraphQL?

GraghQL的介绍,概览和概念,参考 官方介绍

让我们构建一个基本的GraphQL schema.

依赖

  • Python(2.7, 3.4, 3.5, 3.6, pypy)
  • Graphene (2.0)

项目安装

1
pip install "graphene>=2.0"

创建一个基础的Schema

一个描述你数据模型的GraphQL Schema,和提供GraphQL 服务,关联对应的解析方法,该方法知道怎样获取对应的数据.

我们将创建一个非常简单的schema,一个Query,只有一个field:hello和输入名字.当我们查询它,它应当返回`”Hello {argument}”.

1
2
3
4
5
6
7
8
9
import graphene

class Query(graphene.ObjectType):
hello = graphene.String(argument=graphene.String(default_value="stranger"))

def resolve_hello(self, info, argument):
return 'Hello ' + argument

schema = graphene.Schema(query=Query)

查询

然后我们开始查询我们的schema:

1
2
3
4
5
6
result = schema.execute('{ hello }')
print(result.data['hello']) # "Hello stranger"

# or passing the argument in the query
result = schema.execute('{ hello (argument: "graph") }')
print(result.data['hello']) # "Hello graph"
Read more »