UUBlog

Istio流量治理原理

istio流量治理主要有以下流程

控制面：

1. 管理员通过命令行或者api创建流量规则
2. Pilot将流量规则转换为Envoy的标准格式
3. Pilot将规则下发给Envoy

数据面：

1. Envoy拦截Pod上本地容器Inbound和Outbound的流量
2. 在流量经过Envoy时，执行对应的流量规则，进行流量治理

负载均衡

主要用户服务间访问。通过它可以在多个服务实例找到一个合适的后端把请求转发过去。

Pilot维护服务发现数据，下发给Envoy，Envoy根据负载均衡策略选择一个实例转发请求。

服务熔断

istio的熔断控制无需侵入代码，有别与hystrix。

常见的熔断器状态流转

故障注入

有些故障是不会经常触发的，以前模拟故障通常需要修改代码来模拟。而Istio也提供了这个能力。

灰度发布

1. 蓝绿发布
   类似热发布。先部署新版本，等新版可用后，全流量切换过去。
2. AB测试
   部署对等的两个版本A和B，分流一部分去a，一部分去b，然后根据运营收集数据，根据反馈选择使用哪个版本。
3. 金丝雀发布/灰度发布

你叫像AB测试发布，先让小部分用户尝试新版本。观察一段时间后决定使用哪个版本。

Istio工作机制

Istio主要架构分为控制面和数据面两部分。

数据面： Envoy
控制面： Pilot、Mixer、Citadel

工作机制

1. 自动注入： k8s中，当有pod创建时候，调用sidecar-injector服务，修改程序描述信息，注入sidecar。主要就是envoy。
2. 流量拦截：在pod中用iptables拦截容器的流量
3. 服务发现： Envoy调用Pilot的服务发现接口获取目标服务的实例列表
4. 负载均衡： 服务发起方的Envoy根据负载均衡策略选择服务实例
5. 流量治理： Envoy从Pilot获取流量规则，将流量转发到对应的服务上。
6. 访问安全： Envoy之间的通讯进行双向认证和通道加密，并基于服务的身份授权管理。其中证书和密钥主要由Citadel组件维护
7. 服务遥测： 服务通讯期间，双方的Envoy都会向Mixer组件上报访问数据。
8. 策略执行： 可以用Mixer控制服务间的访问
9. 外部访问： 在网格的入口有一个Envoy扮演入口网关的角色。

服务模型

由istio服务、服务版本、服务实例几个对象构成

服务模型约束

• 端口命名： name： <protocol>[-<suffix>],协议支持常用的服务协议，如mysql、redis，如无指定，默认为tcp协议
• 服务关联： pod需要关联到服务
• deployment使用app和version标签： 区分版本

istio服务

k8s只要满足上文提到的服务模型约束，就可以转为 istio 的服务并配置规则进行流量治理。如最小的k8s模型加上端口命名

k8s主体是 workload，istio 的对象主体是 service，没有访问方式的workload 不是 istio 治理对象。Kubernetes 的 Service 定义 就是 Istio 服务 的 元 数据。

istio服务版本

通过deployment的app: service-name 来关联服务。 通过version: v<version> 标签来区分服务不同版本。 可以根据这个实现灰度发布等功能。

istio服务实例

Istio 的 ServiceInstance 主要包括 Endpoint、 Service、 Labels、 AvailabilityZone 和 ServiceAccount 等属性， Endpoint 是其中最主要 的属性，表示这个实例对应的网络后端（ ip： port）， Service 表示这个服务 实例归属的服务。

需求

主要用于运营部使用h5图片,又想自定义标题. 但是时不时找我很烦，就搞了这个东西给她用。nodejs还挺好玩的。

使用说明

原理,使用表单提交数据. 将数据用ejs渲染到模板上,然后保存成html.

安全码:是防止恶意提交做的一个小验证,写死在 routes/index.js:13 xxx123

运行 npm run start 默认端口是4001

pm2运行 pm2 start npm --name "h5-generator" -- run start
删除任务 pm2 delete h5-generator

生成的文件目录在 ./public/html

由于用在www.xxx.com

所以我nginx配置如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14

   # 访问程序
   location /generate/ {
       proxy_pass http://127.0.0.1:4001/;
       proxy_read_timeout 300s;
       proxy_set_header Host $host;
       proxy_set_header X-Real-IP $remote_addr;
       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
   }
   # 访问生成的html文件  
   location /h5 {
　　＃　public/html 绝对路径
alias /data/wwwroot/h5_generator/public/html;
   }

h5生成器页面:　 https://www.xxx.com/generate/h5

生成的文件访问地址：　https://www.xxx.com/h5/生成文件名.html

主要代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

var express = require('express');
const process = require('process');
const ejs = require('ejs')
const fs = require('fs');
var router = express.Router();

/* GET home page. */
router.get('/h5', function(req, res, next) {
  res.render('index', { title: 'H5 生成' });
});

router.post('/generate', function (req, res) {
  if(req.body.password==='xxx123') {
    ejs.renderFile('./templates/h5.ejs',req.body,{},function (err, str) {
      if (err) {
        console.log(err)
        res.send('读取模板文件出错啦.')
      } else {
        const date = new Date();
        const month = date.getMonth() + 1
        const filename = ''+ date.getFullYear() + month + date.getDate() + req.body.filename.replace(/(^\s*)|(\s*$)/g, "")+'.html';
        console.log('filename', filename)
        fs.writeFile('./public/html/'+filename, str, (err) => {
          if (err) {
            res.send(err)
          }else{
            res.send('http://www.xxxx.com/h5/'+filename);
          }
        });

      }
    })
  } else {
    res.send('操作码错误')
  }
});

module.exports = router;

项目概要

• 项目定义

项目是为创造独特产品、服务或者成果而进行的临时性工作。

• 项目的特点

变革性、临时性、跨职能性、不确定性

• 项目管理的五大要素

时间、成本、范围、质量、风险

• 项目管理的五大过程

启动、规划、执行、监控、收尾

• 项目的理论体系

PMBOK、Prince2

红帽系源是默认用mariadb的,而且mariadb也很优秀,但是我们开发是基于MySQL5.7上做的开发,基本10.2起,应该对MySQL5.7所有的特性是完整支持的.

但是为了稳妥,还是决定给客户安装一样的版本.

在官网找文档的时候,发现藏得有点深,所以还是打算记录下.

安装

• 点进MySQL YUM Repository

• 下载最新的yum源信息包

• 点信息图标 跟随 A Quick Guide to Using the MySQL Yum Repository

• 参考 Selecting a Release Series 这段

完整的命令大致如下

1
2
3
4

shell> yum install -y https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm
shell> yum repolist all | grep mysql
shell> sudo yum-config-manager --disable mysql80-community
shell> sudo yum-config-manager --enable mysql57-community

当看到mysql源是57(自己想要的版本的时候就可以直接安装了)

1
2
3
4
5
6

shell> yum repolist enabled | grep mysql
mysql-connectors-community/x86_64 MySQL Connectors Community                 118
mysql-tools-community/x86_64      MySQL Tools Community                       95
mysql57-community/x86_64          MySQL 5.7 Community Server                 364

shell> yum install mysql-community-server

下载地址

https://www.charlesproxy.com/latest-release/download.do

example:

wget https://www.charlesproxy.com/assets/release/4.2.8/charles-proxy-4.2.8_amd64.tar.gz

破解文件

破解文件生成：　https://www.zzzmode.com/mytools/charles/

tar zxvf charles-proxy-4.2.8_amd64.tar.gz

把下载的破解文件覆盖到　charles/lib 目录即可

添加charles ca证书 抓取https数据

1. 访问: chls.pro/ssl 下载证书

2. 放置证书
   创建个目录放证书 sudo mkdir /usr/share/ca-certificates/charles
sudo mv ~/charles-ssl-proxying-certificate.pem /usr/share/ca-certificates/charles

3. 刷新证书配置

Documentations

• Kubernetes中文文档
• Kubernetes官方文档
• Istio 中文文档
• Istio 英文文档

Cheat Sheet

• Kubectl Cheat Sheet

Tools & Demo & Other Resources

• kubernetes-vagrant-centos-cluster
• Kubernets集群实战文档 - abcdocker
• kubernetes-handbook
• istio-handbook
• servicemesher
  Read more »

本地是在虚拟机中建立的k8s环境,安装好后,因为没有负载均衡器,所externalip一直处于pending.官网解决方案是使用nodeport转发.

但是,直接edit svc填写externalip为虚拟机ip即可正常使用了.

1
2
3
4

# kubectl edit svc istio-ingressgateway -n istio-system
spec:
  externalIPs:
  - xxx.xxx.xxx.xxx

之前跨域处理的header都是后端返回的.昨天改回nginx来添加这个header,感觉这样写比较好用清晰,所以记录一下.

注意在allow headers添加上自己额外增加的header就好了,比如我们header添加了token,所以这里也加了.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

set $origin '*';
    if ($request_method = 'OPTIONS') {
        add_header 'Access-Control-Allow-Origin' $origin;
        add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
        add_header 'Access-Control-Max-Age' 1728000;
        add_header 'Content-Type' 'text/plain charset=UTF-8';
        add_header 'Access-Control-Allow-Headers' 'DNT,X-CustomHeader,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,token';
        add_header 'Content-Length' 0;
        return 204;
    }
    
    if ($request_method = 'POST') {
        add_header 'Access-Control-Allow-Origin' $origin;
        add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
        add_header 'Access-Control-Allow-Headers' 'DNT,X-CustomHeader,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,token';
    }
    
    if ($request_method = 'GET') {
        add_header 'Access-Control-Allow-Origin' $origin;
        add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
        add_header 'Access-Control-Allow-Headers' 'DNT,X-CustomHeader,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,token';
    }

开始

什么是 GraphQL?

GraghQL的介绍,概览和概念,参考 官方介绍

让我们构建一个基本的GraphQL schema.

依赖

• Python(2.7, 3.4, 3.5, 3.6, pypy)
• Graphene (2.0)

项目安装

1

pip install "graphene>=2.0"

创建一个基础的Schema

一个描述你数据模型的GraphQL Schema,和提供GraphQL 服务,关联对应的解析方法,该方法知道怎样获取对应的数据.

我们将创建一个非常简单的schema,一个Query,只有一个field:hello和输入名字.当我们查询它,它应当返回`”Hello {argument}”.

1
2
3
4
5
6
7
8
9

import graphene

class Query(graphene.ObjectType):
    hello = graphene.String(argument=graphene.String(default_value="stranger"))

    def resolve_hello(self, info, argument):
        return 'Hello ' + argument

schema = graphene.Schema(query=Query)

查询

然后我们开始查询我们的schema:

1
2
3
4
5
6

result = schema.execute('{ hello }')
print(result.data['hello']) # "Hello stranger"

# or passing the argument in the query
result = schema.execute('{ hello (argument: "graph") }')
print(result.data['hello']) # "Hello graph"