RPC 和 序列化

RPC

1 RPC调用流程

1.1 clerk客户端调用远程服务

Clerk::PutAppend()

raftServerRpcUtil::PutAppend() 

raftServerRpcUtil是client与kvserver通信的入口，  包含kvserver功能的一对一映射：Get/PutAppend，通过stub对象——raftKVRpcProctoc::kvServerRpc_Stub *stu进行对应的rpc远程调用。

针对raft节点之间的通信，设计了RaftRpcUtil类型，包含raft节点功能：AppendEntries/ InstallSnapshot/ RequestVote

 kvServerRpc_Stub::PutAppend()

kvServerRpc_Stub 是 kvServerRPC.proto文件编译后生成的存根，用于实现rpc远程调用。

stub使用MprpcChannel作为参数来初始化，因此接下来会调用MprpcChannel::CallMethod()：

stub = new raftKVRpcProctoc::kvServerRpc_Stub(new MprpcChannel(ip, port, false));

 MprpcChannel::CallMethod()

MprpcChannel:实现rpc通信的类，建立和服务端的连接，发送rpc请求，和接收rpc回复

所有通过stub调用的rpc方法，都会走到MprpcChannel::CallMethod(): 生成rpc请求数据并序列化，使用socket发送请求并接收回复

1.2 kvserver 提供rpc服务

KvServer::KvServer()

构造函数中发布rpc服务类型: 服务的类型有两种，分别是Raft和KvServer：

  • class Raft : public raftRpcProctoc::raftRpc
  • class KvServer : raftKVRpcProctoc::kvServerRpc

Raft类型的服务用于raft节点之间相互调用，KvServer类型的服务被client调用

RpcProvider::Run() 启动rpc服务，等待调用。项目中是阻塞等待，同步阻塞模型。

RpcProvider::OnMessage()

 已建立连接用户的读写事件回调：调用Callmethod来调用本地的业务

RpcProvider：网络对象类，发布节点能提供的rpc服务，并启动rpc服务（接收连接，接收请求并执行）

service->CallMethod() 

有两种服务类型（Raft和KvServer），根据请求的service的类型，动态调用对应的CallMethod()；

client调用 KvServerRpc::CallMethod()，raft节点调用raftRpc::CallMethod()。

KvServerRpc::CallMethod()

 在函数内部，最终调用KvServer本地的方法。

2 rpc基础

2.1 概念

  1. RPC（Remote Procedure Call Protocol） 远程过程调用协议。
  2. RPC是一种通过网络从远程计算机上请求服务，不需要了解底层网络技术的协议。
  3. 远程调用就像调用本地方法一样便捷。

2.2 常用RPC技术或框架

  1. 应用级的服务框架：阿里的 Dubbo/Dubbox、Google gRPC、Spring Boot/Spring Cloud。
  2. 远程通信协议：RMI、Socket、SOAP(HTTP XML)、REST(HTTP JSON)。
  3. 通信框架：MINA 和 Netty

2.3 rpc作用

  • 微服务化：跨平台的服务之间远程调用；
  • 分布式系统架构：分布式服务跨机器进行远程调用；
  • 支持跨语言调用。

2.4 架构

服务注册，就是将提供某个服务的模块信息(通常是这个服务的ip和端口)注册到1个公共的组件上去(注册中心，比如: zookeeper\consul)。

服务发现，就是新注册的这个服务模块能够及时的被其他调用者发现。不管是服务新增和服务删减都能实现自动发现。

一个完整的服务发现中心还需要支持负载均衡、容灾处理等功能。

负载均衡：简单数就是将请求分散给各个机器上，维持各个机器的请求的均衡态势。确保不会大量请求都涌入到某几个机器上导致机器过载。

容灾处理：就是及时剔除掉故障的机器。例如某次调用19.4.11.11上的OrderServer出现故障，那么服务中心会将这个地址剔除掉，防止下次再访问到这个有故障的地址。

2.5 rpc调用流程

2.6 重要组成 

客户端：调用方

客户端存根：client stub,保存服务端地址信息，将客户端的请求方法、参数序列化，通过网络发送给服务端。

服务端存根：server stub,接收请求，反序列化，调用本地服务

服务端：服务提供者

网络传输：tcp或http

2.7 基础功能

2.7.1 服务寻址

rpc所有函数都有一个自己的ID,在所有进程中都唯一。客户端远程调用，必须附上这个ID.

客户端查一下映射表，找出对应ID,服务端根据对应的ID提供服务。

Call ID映射表一般是哈希表。

2.7.2 序列化和反序列化

概念

  1. 序列化：将消息对象转换为二进制流。
  2. 反序列化：将二进制流转换为消息对象。

必要性

  • 本地函数调用：只需要将数据压入栈中，然后让函数去栈中读取数据。
  • 远程调用：无法通过栈传递参数。需要客户端将请求序列化，传送给服务端。

序列化的优势

  • 二进制字节流便于网络传输
  • 可跨平台、跨语言。

2.7.3 网络传输

基于TCP

通过socket连接发送序列化的调用接口名称、方法名称和参数等。

基于HTTP

客户端发送GET/PUT/POST/DELETE请求给服务端

服务端根据不同的请求参数和请求url进行方法调用，返回结果

对比

基于TCP更灵活，可减少网络开销，性能高。但实现复杂；

HTTP已经实现序列化，但http传输效率比tcp低。

2.8 服务治理

2.8.1 负载均衡

本项目实现的rpc没有做负载均衡，因为当前是Read Log模式，读写请求都是直接发送给leader。后面如果优化为从follower读，可能用得到负载均衡。

  1. 轮询算法（Round Robin）：轮询算法是最简单的负载均衡算法之一，它按照请求的顺序依次将每个请求分配到不同的服务器上。当有新的请求到来时，负载均衡器会依次将请求发送到不同的服务器，直到所有的服务器都被轮询过一遍，然后再从头开始。
  2. 最小连接数算法（Least Connections）：最小连接数算法会将新的请求分配到当前连接数最少的服务器上，以确保各服务器的负载尽可能均衡。这种算法考虑了服务器的负载情况，优先将请求发送到负载较低的服务器上。
  3. 最少响应时间算法（Least Response Time）：最少响应时间算法会将请求发送到响应时间最短的服务器上，以保证响应时间的最小化。这种算法通常需要负载均衡器记录每个服务器的响应时间，并动态调整请求的分配策略。
  4. 哈希算法（Hashing）：哈希算法根据请求的某些属性（如客户端IP地址、URL等）计算哈希值，并将请求发送到对应哈希值的服务器上。这种算法能够确保相同请求始终被发送到同一台服务器上，适用于需要保持会话一致性的场景。
  5. 加权轮询算法（Weighted Round Robin）：加权轮询算法在轮询算法的基础上引入了权重的概念，不同的服务器具有不同的权重值。根据权重值的不同，负载均衡器会调整请求的分配比例，以实现负载均衡。
  6. 拓展：hash环也是一种重要的负载均衡算法，也可以提及。

3 本项目rpc

本项目实现的rpc比较简单，采用的是同步阻塞模式。

rpc请求格式：

  1. head_size(4个字节，存储head_str的长度) 
  2. head_str(RpcHeader类型的序列化) 
  3. args（PutAppendArgs/GetArgs 请求对象的序列化）

RpcHeader：

message RpcHeader
{
    bytes service_name = 1;
    bytes method_name = 2;
    uint32 args_size = 3;
}

可以优化的点：

  •         异步rpc
  •         rpc设为长连接还是短连接？长连接考虑设计一个定时器          
  •         负载均衡
  •         服务发现,服务注册

序列化

1 Protobuf

kvServerRPC.proto文件

syntax = "proto3";
package raftKVRpcProctoc; //所在的命名空间
option cc_generic_services = true;  //开启stub服务

message GetArgs{
  bytes Key = 1 ;
  bytes ClientId = 2 ;
  int32 RequestId = 3;
}
message GetReply  {
  bytes Err = 1;
  bytes Value = 2;
}

message PutAppendArgs  {
  bytes Key = 1;
  bytes  Value = 2 ;
  bytes  Op = 3;
  bytes  ClientId = 4;
  int32  RequestId = 5;
}
message PutAppendReply  {
  bytes Err = 1;
}

service kvServerRpc
{
  rpc PutAppend(PutAppendArgs) returns(PutAppendReply);
  rpc Get (GetArgs) returns (GetReply);
}

.proto文件定义message类型和service类型，编译后，生成.pb.h文件和.pb.cc文件。

.proto文件中定义的message类型可以序列化和反序列化(SerializeToString/ParseFromString).

编译后会生成对应Stub（存根）类型 raftKVRpcProctoc::kvServerRpc_Stub，使用Stub对象可以调用.proto文件中定义的service。

2 boost

快照：kvserver、kvdb和raft节点使用boost库进行序列化

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.kler.cn/a/274074.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【系统架构师】-第19章-大数据架构设计理论与实践

【系统架构师】-第19章-大数据架构设计理论与实践

四个特点： 大规模（Volume）、高速度（Velocity）和多样化（Variety），价值（Value）。 五个问题： 异构性（Heterogeneity）、规模…
阅读更多...
STP环路避免实验（思科）

STP环路避免实验（思科）

华为设备参考：STP环路避免实验（华为） 一，技术简介 Spanning Tree Protocol（STP），即生成树协议，是一种数据链路层协议。主要作用是防止二层环路，并自适应网络变化和故障…
阅读更多...
代码随想录day20（2）二叉树：完全二叉树节点个数（leetcode222）

代码随想录day20（2）二叉树：完全二叉树节点个数（leetcode222）

题目要求：求一个完全二叉树的节点个数 思路：首先完全二叉树可以用普通二叉树的方法来求，但是需要遍历所有的节点。 但是对于完全二叉树来说，只有最底层右侧的节点可能没满，其余每层节点都达到了最大值。所以我们可以…
阅读更多...
Spring启动“--”设置参数没生效

Spring启动“--”设置参数没生效

现象 在idea中启动SpringBoot项目时，使用“--”设置的启动参数没有生效，如修改端口号“--server.port8082” 原因 排查发现是因为在使用SpringApplication.run启动项目时，没有将args参数传入run方法。 修复方案 SpringApplication.run参数中…
阅读更多...
想要通过湖北建筑安全员ABC考试？这5个技巧助你一臂之力！

想要通过湖北建筑安全员ABC考试？这5个技巧助你一臂之力！

想要通过湖北建筑安全员ABC考试？这5个技巧助你一臂之力！ 2024年湖北建筑安全员ABC报名考试通过率 关于湖北省建筑安管人员考核管理系统考核通过率不是很固定，或高或低。安全员ABC测试有合格分数线，交卷后30分钟即可查询你的成绩…
阅读更多...
RSA加密解密签名加签验签RsaUtils工具类

RSA加密解密签名加签验签RsaUtils工具类

RSA加密解密RsaUtils工具类题 引言一、RsaUtils工具类代码二、优点三、缺点四、声明 引言 RSA算法基于大数因子分解难题，提供了公钥加密和私钥解密的能力。公钥用于加密，私钥则负责解密。这种特性使得RSA成为保证数据传输安全的理想选择。 公钥加密私钥…
阅读更多...
106 基于消息队列来做 mysql 大数据表数据的遍历处理

106 基于消息队列来做 mysql 大数据表数据的遍历处理

前言 最近有这样的一个需求, 我们存在一张 很大的 mysql 数据表, 数据量大概是在 六百万左右 然后 需要获取所有的记录, 将数据传输到 es 中 然后 当时 我就写了一个脚本来读取 这张大表, 然后 分页获取数据, 然后 按页进行数据处理 转换到 es 但是存在的问题是, 前面 还…
阅读更多...
尚硅谷SpringBoot3笔记 (二) Web开发

尚硅谷SpringBoot3笔记 (二) Web开发

Spring Boot Web开发&#xff1a;24.Web开发-自动配置原理_哔哩哔哩_bilibili 1. Web场景 1.1 自动配置 整合web场景&#xff1a; <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId&g…
阅读更多...
php便民超市管理系统flask-django-nodejs-python

php便民超市管理系统flask-django-nodejs-python

随着时代的变迁&#xff0c;超市管理系统软件使用的普及【1】&#xff0c;以上所有的问题&#xff0c;都是为它而打造的&#xff0c;现在不仅是开一家店容易管理&#xff0c;开多家店页变得容易很多&#xff0c;同时它的出现也可以为本店起到宣传的作用。 21世纪的今天&#…
阅读更多...
cc-uploadSomePic图片上传组件：快速开发与用户体验的提升

cc-uploadSomePic图片上传组件：快速开发与用户体验的提升

cc-uploadSomePic图片上传组件&#xff1a;快速开发与用户体验的提升 摘要&#xff1a; 在前端开发中&#xff0c;图片上传功能是一个常见的需求。为了提高开发效率和用户体验&#xff0c;我们开发了一个名为cc-uploadSomePic的图片上传组件。该组件支持单个或多个文件上传&am…
阅读更多...
计算机网络——物理层（物理传输介质和物理层的设备）

计算机网络——物理层（物理传输介质和物理层的设备）

计算机网络——物理层&#xff08;物理传输介质和物理层的设备 物理传输介质导向性传输介质双绞线同轴电缆光纤 非导向性传输介质无线电波多径效应 微波地面微波通信ISM 频段 卫星通信 物理层设备中继器集线器中继器和集线器的区别 我们今天进入物理层的物理传输介质和物理层的…
阅读更多...
阿里云部署MySQL、Redis、RocketMQ、Nacos集群

阿里云部署MySQL、Redis、RocketMQ、Nacos集群

文章目录 &#x1f50a;博主介绍&#x1f964;本文内容MySQL集群配置云服务器选购CPU选择内存选择云盘选择ESSD AutoPL云盘块存储性能&#xff08;ESSD&#xff09; 镜像选择带宽选择密码配置注意事项 搭建宝塔面板方便管理云服务器云服务器的安全组安装docker和docker-compose…
阅读更多...
使用IDEA2023创建传统的JavaWeb项目并运行与调试

使用IDEA2023创建传统的JavaWeb项目并运行与调试

日期：2024-0312 作者：dusuanyun 文档环境说明： OS：Deepin 20.9(Linux) JDK: OpenJDK21 Tomcat：10.1.19 IDEA: 2023.3.4 (Ultimate Edition) 本文档默认已经安装JDK及环境变量的配置。 关键词…
阅读更多...
openGauss学习笔记-246 openGauss性能调优-SQL调优-经验总结：SQL语句改写规则

openGauss学习笔记-246 openGauss性能调优-SQL调优-经验总结：SQL语句改写规则

文章目录 openGauss学习笔记-246 openGauss性能调优-SQL调优-经验总结&#xff1a;SQL语句改写规则246.1 使用union all代替union246.2 join列增加非空过滤条件246.3 not in转not exists246.4 选择hashagg246.5 尝试将函数替换为case语句246.6 避免对索引使用函数或表达式运算2…
阅读更多...
2024热门外贸独立站wordpress模板

2024热门外贸独立站wordpress模板

工艺品wordpress外贸主题 简约大气的wordpress外贸主题&#xff0c;适合做工艺品进出品外贸的公司官网使用。 https://www.jianzhanpress.com/?p5377 日用百货wordpress外贸主题 蓝色大气的wordpress外贸主题&#xff0c;适合做日用百货的外贸公司搭建跨境电商网站使用。 …
阅读更多...
BUGKU-WEB never_give_up

BUGKU-WEB never_give_up

题目描述 题目截图如下&#xff1a; 进入场景看看&#xff1a; 解题思路 F12查看请求和响应&#xff0c;查找线索 相关工具 base64解码URL解码Burp Suit抓包 解题步骤 F12查看请求和响应&#xff0c;发现一行注释包含一个文件名称【1p.html】&#xff0c;这应该就是提…
阅读更多...
flex属性详解

flex属性详解

flex布局&#xff0c;父元素属性可参考&#xff1a;flex布局 &#xff0c;本文主要介绍flex添加到子元素的属性。 <div class"father"><div class"left"></div><div class"middle"></div><div class"midd…
阅读更多...
HTTPS（超文本传输安全协议）工作过程

HTTPS（超文本传输安全协议）工作过程

一、简述HTTPS HTTPS超文本传输协议&#xff08;全称&#xff1a;Hypertext Transfer Protocol Secure &#xff09;&#xff0c;是以安全为目标的 HTTP 通道&#xff0c;在HTTP的基础上通过传输加密和身份认证保证了传输过程的安全性 。HTTPS 在HTTP 的基础下加入SSL&#x…
阅读更多...
SNMP协议入门：揭秘网络管理的核心技术

SNMP协议入门：揭秘网络管理的核心技术

背景 随着数字化、网络化的深入发展&#xff0c;在现代数据中心机房供配电系统中&#xff0c;有越来越多的产品需要通过标准的SNMP协议接入到以太网络&#xff0c;将诸如UPS&#xff08;不间断电源&#xff09;、空调、油机、配电柜及机柜PDU这些设备能够被NMS&#xff08;网络…
阅读更多...
atoi函数

atoi函数

Hello, 大家好&#xff0c;我是一代&#xff0c;今天给大家讲解atoi函数的有关知识 所属专栏&#xff1a;C语言 创作不易&#xff0c;望得到各位佬们的互三呦 函数原型&#xff1a;int atoi (const char * str); 头文件&#xff1a;stdlib.h 功能&#xff1a;将字符串转换为整数…
阅读更多...
最新文章

Copyright @ 2022~2023