仓库源文，站点原文

layout: post

title: "Aeraki 教程系列：如何开发一个自定义协议？" subtitle: "" description: "本文介绍如何基于 MetaProtocol Proxy 快速实现一个自定义协议的七层代理。一般来说，实现一个自定义协议只需要数百行代码。我们还可以通过 Aeraki 在 Isito 服务网格中对使用自定义协议的服务进行管理，为服务提供流量拆分、灰度发布、流量镜像、监控图表等服务治理能力。" author: "赵化冰" date: 2022-01-23 image: "https://images.unsplash.com/photo-1527689638836-411945a2b57c?ixlib=rb-1.2.1&ixid=MnwxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8&auto=format&fit=crop&w=1516&q=80" tags:

- Aeraki
- MetaProtocol
- Istio
- Envoy

categories: [ Tech ] metadata:

- text: "Website"
  link: "https://www.aeraki.net/zh"
- text: "Github"
  link: "https://github.com/aeraki-mesh"
- text: "QuickStart" 
  link: "https://www.aeraki.net/zh/docs/v1.0/quickstart/"

MetaProtocol Proxy 提供了一个良好的协议扩展机制，使得我们可以基于 MetaProtocol Proxy 快速实现一个自定义协议的七层代理。

由于 MetaProtocol Proxy 已经实现了一个七层协议代理所需的大部分功能，包括七层负载均衡、RDS 动态路由、本地限流、全局限流、请求 Metrics 收集等，更多丰富的功能还在持续开发中。因此基于 MetaProtocol 进行开发极大简化了实现一个七层网络代理的工作，我们只需要实现编解码的少量代码，即可得到一个自定义协议的七层代理。一般来说，实现一个自定义协议只需要数百行代码。

在基于 MetaProtocol 实现数据面代理后，无需任何控制面编码，我们就可以通过 Aeraki 在 Isito 服务网格中对使用自定义协议的服务进行管理，为服务提供流量拆分、灰度发布、流量镜像、监控图表等服务治理能力。这是因为 Aeraki 可以识别基于 MetaProtocol 的任何七层协议，并在控制面提供用户友好的流量规则。Aeraki 会将这些流量规则翻译为 MetaProtocol 的配置后下发到数据面。

除了快速开发，节省工作量之外，采用 MetaProtocol 为服务网格开发自定义协议的另一个好处是该方案对 Istio，Envoy，以及 MetaProtocol Proxy 自身等上游开源项目是完全无侵入的，可以跟随上游项目进行快速迭代，充分利用上游项目新版本提供的新增能力，无需维护自有的 fork 分支。

实现编解码接口

Aeraki 提供了一个应用协议扩展的示例 awesomerpc。示例中包含了实现自定义协议的程序框架，可以该示例为基础进行修改，编写你自己的私有协议。

git clone https://github.com/aeraki-mesh/meta-protocol-awesomerpc.git my-protocol-proxy

我们主要需要关注的是 src/application_protocols/awesomerpc/ 目录下的 awesomerpc_codec.h 和 awesomerpc_codec.cc 。这两个文件定义了应用协议的 codec 的接口和实现代码。

awesomerpc_codec.h 的定义如下，可以看到应用协议的 codec 继承于 MetaProtocolProxy::Codec。实现应用协议只需要实现 decode，encode 和 onError 三个方法即可。

/**
 * Codec for Awesomerpc protocol.
 */
class AwesomerpcCodec : public MetaProtocolProxy::Codec,
                  public Logger::Loggable<Logger::Id::misc> {
public:
  AwesomerpcCodec() {};
  ~AwesomerpcCodec() override = default;

  //协议解码，需要解析 buffer 并填充 Metadata， Metadata 将被用于 MetaProtocol Proxy 的 filter，例如限流，路由的匹配条件
  MetaProtocolProxy::DecodeStatus decode(Buffer::Instance& buffer,
                                         MetaProtocolProxy::Metadata& metadata) override;

  //协议编码，可以根据 Mutation 对请求或者响应数据包进行修改，例如增加、删除或者修改 header，修改后需要回写到 buffer 中
  void encode(const MetaProtocolProxy::Metadata& metadata,
              const MetaProtocolProxy::Mutation& mutation, Buffer::Instance& buffer) override;

  //错误编码，用于框架向客户端返回错误信息，例如未找到路由或者连接创建失败等，编码的数据需要写入到 buffer 中
  void onError(const MetaProtocolProxy::Metadata& metadata, const MetaProtocolProxy::Error& error,
               Buffer::Instance& buffer) override;

...

在编写 codec 时也可以参考 dubbo 和 thrift 的 codec 实现。

配置 WORKSPACE

在根目录的 WORKSPACE 文件中配置 metaProtocol, envoy 和 Istio-Proxy 的依赖。

需要在 WORKSPACE 中配置 metaProtocol 的 git commit，envoy 和 Istio-Proxy 的依赖参考 metaProtocol 该 commit 中的 WORKSPACE 中的配置。版本依赖关系参见 Aeraki 和 MetaProtocol 以及 Istio 的版本兼容性。


# 从 meta_protocol_proxy 的代码中获取 envoy 的依赖版本信息
ENVOY_SHA = "98c1c9e9a40804b93b074badad1cdf284b47d58b"
ENVOY_SHA256 = "4365a4c09b9a8b3c4ae34d75991fcd046f3e19d53d95dfd5c89209c30be94fe6"
......

# 从 meta_protocol_proxy 的代码中获取 istio_proxy 的依赖版本信息
http_archive(
    name = "io_istio_proxy",
    strip_prefix = "proxy-1.10.0",
    sha256 = "19d13bc4859dc8422b91fc28b0d8d12a34848393583eedfb08af971c658e7ffb",
    url = "https://github.com/istio/proxy/archive/refs/tags/1.10.0.tar.gz",   
)

...... 

# 设置 metaProtocol 的 git commit
git_repository(
  name = "meta_protocol_proxy",
  remote = "https://github.com/aeraki-mesh/meta-protocol-proxy.git",
  commit = "5ae1d11",  
)

编译

建议使用 Ubuntu 18.04 作为编译环境。

安装编译所需软件：

sudo wget -O /usr/local/bin/bazel https://github.com/bazelbuild/bazelisk/releases/latest/download/bazelisk-linux-$([ $(uname -m) = "aarch64" ] && echo "arm64" || echo "amd64")
sudo chmod +x /usr/local/bin/bazel

sudo apt-get install \
autoconf \
automake \
cmake \
curl \
libtool \
make \
ninja-build \
patch \
python3-pip \
unzip \
virtualenv

sudo add-apt-repository ppa:ubuntu-toolchain-r/test
sudo apt update
sudo apt-get install llvm-10 lldb-10 llvm-10-dev libllvm10 llvm-10-runtime clang-10 clang++-10 lld-10 gcc-10 g++-10

构建二进制：

./build.sh

定义一个 ApplicationProtocol

要在 Istio 中识别自定义协议，需要创建一个 Aeraki 的 ApplicationProtocol CRD 资源。

apiVersion: metaprotocol.aeraki.io/v1alpha1
kind: ApplicationProtocol
metadata:
  name: my-protocol
  namespace: istio-system
spec:
  protocol: my-protocol
  codec: aeraki.meta_protocol.codec.my_protocol

协议选择

Aeraki 通过服务的前缀来识别基于 MetaProtocol 的应用协议，服务的端口名必须遵从该命名规则： tcp-metaprotocol-{application protocol}-xxx。服务定义可以采用 K8s service 或者 Istio ServiceEntry。

下面的 ServiceEntry 定义了一个 dubbo 服务：

apiVersion: networking.istio.io/v1alpha3
kind: ServiceEntry
metadata:
  name: dubbo-demoservice
  namespace: meta-dubbo
spec:
  hosts:
    - org.apache.dubbo.samples.basic.api.demoservice
  ports:
    - number: 20880
      name: tcp-metaprotocol-dubbo
      protocol: TCP
  workloadSelector:
    labels:
      app: dubbo-sample-provider
  resolution: STATIC

下面的 Service 定义了一个 Thrift 服务：

apiVersion: v1
kind: Service
metadata:
  name: thrift-sample-server
spec:
  selector:
    app: thrift-sample-server
  ports:
    - name: tcp-metaprotocol-thrift-hello-server
      protocol: TCP
      port: 9090
      targetPort: 9090

仓库源文，站点原文

实现编解码接口

配置 WORKSPACE

编译

定义一个 ApplicationProtocol

协议选择

参考文档