• 基于muduo库实现高并发服务器

基于muduo库实现高并发服务器

2025-05-12 09:57:11 34 阅读

文章目录

  • 一、项目介绍
  • 二、HTTP服务器
    • 1.概念
    • 2.Reactor模型
      • 2.1单Reactor单线程:单I/O多路复用+业务处理
      • 2.2单Reactor多线程:单I/O多路复用+线程池(业务处理)
      • 2.3多Reactor多线程:多I/O多路复用+线程池(业务处理)
  • 三、前置知识技术点功能用例
    • 1.C++11中的bind
    • 2.简单的秒级定时任务实现
    • 3.正则库的简单使用
    • 4.通用类型any类型的实现
  • 四、功能模块划分
    • 1.SERVER模块
      • 1.1Buffer模块
      • 1.2.Socket模块
      • 1.3Channel模块
      • 1.4Connection模块
      • 1.5Acceptor模块
      • 1.6TimerQueue模块
      • 1.7Poller模块
      • 1.8EventLoop模块
      • 1.9TcpServer模块
    • 2.HTTP协议模块
      • 2.1Util模块
      • 2.2HttpRequest模块
      • 2.3HttpResponse模块
      • 2.4HttpContext模块
      • 2.5HttpServer模块
  • 五、模块关系图
  • 六、SERVER服务器模块实现
    • 1.缓冲区Buffer类实现
    • 2.日志宏的实现
    • 3.Socket模块实现
    • 4.Channel模块实现
    • 3.描述符事件监控Poller类实现
    • 4.EventLoop类的实现
    • 4.通信连接管理Connection类实现
    • 5.监听描述符管理Acceptor类实现
    • 6.LoopThread类的实现
    • 8.LoopThreadPool类的实现
    • 9.服务器TcpServer类实现
    • 10.基于TcpServer实现回显服务器
  • 七、HTTP协议模块
    • 1.Util工具类实现
    • 2.HttpRequest请求类实现
    • 3.HttpResponse响应类实现
    • 4.HttpContext上下文类实现
    • 5.HttpServer类实现
    • 6.HttpServer 简单测试
  • 八、性能测试
    • 1. 服务器长连接测试
    • 2. 服务器超时连接测试
    • 3.服务器错误请求测试
    • 4.服务器业务处理超时测试
    • 5.服务器同时多条请求测试
    • 服务器大文件传输测试
    • 服务器性能压力测试
    • 4.服务器业务处理超时测试
    • 5.服务器同时多条请求测试
    • 服务器大文件传输测试
    • 服务器性能压力测试

一、项目介绍

本项目主要是模仿 muduo 库实现一个以主从 Reactor 为模型,以 OneThreadOneEventLoop 为事件驱动的高并发服务器组件。通过这个服务器组件,我们可以简洁快速的搭建出一个高性能的 TCP 服务器。并且组件内部会提供不同的应用层协议支持,组件使用者可以通过这些协议快速的完成一个应用服务器的搭建。

muduo 源码 – https://github.com/chenshuo/muduo/tree/master/muduo

muduo 介绍 – https://www.cyhone.com/articles/analysis-of-muduo/

二、HTTP服务器

1.概念

HTTP(Hyper Text Transfer Protocol),超文本传输协议是应用层协议,是一种简单的请求-响应协议(客户端根据自己的需要向服务器发送请求,服务器针对请求提供服务,完毕后通信结束)。但是需要注意的是HTTP协议是一个运行在TCP协议之上的应用层协议,这一点本质上是告诉我们,HTTP服务器其实就是个TCP服务器,只不过在应用层基于HTTP协议格式进行数据的组织和解析来明确客户端的请求并完成业务处理。

因此实现HTTP服务器简单理解,只需要以下几步即可

1.搭建一个TCP服务器,接收客户端请求。

2.以HTTP协议格式进行解析请求数据,明确客户端目的。

3.明确客户端请求目的后提供对应服务。

4.将服务结果⼀HTTP协议格式进行组织,发送给客户端

实现一个HTTP服务器很简单,但是实现一个高性能的服务器并不简单,这个单元中将讲解基于Reactor模式的高性能服务器实现。当然准确来说,因为我们要实现的服务器本身并不存在业务,咱们要实现的应该算是一个高性能服务器基础库,是一个基础组件。

2.Reactor模型

Reactor 模式,是指通过一个或多个输入同时传递给服务器进行请求处理时的事件驱动处理模式。服务端程序处理传入多路请求,并将它们同步分派给请求对应的处理线程,Reactor 模式也叫Dispatcher 模式。简单理解就是使用 I/O多路复用统一监听事件,收到事件后分发给处理进程或线程,是编写高性能网络服务器的必备技术之一。

2.1单Reactor单线程:单I/O多路复用+业务处理

单Reactor单线程:在单个线程中进行事件监控并处理

服务端处理思想:事件驱动触发模式

谁发送了数据,谁触发了事件就处理谁

技术支撑点:I/O多路转接技术

1.通过IO多路复用模型对所有的客户端进行IO事件监控

2.触发事件后,进行事件处理。哪个客户端触发了事件,就去处理谁:接收它的请求,进行业务处理,进行响应

​ a. 如果是新建连接请求,则获取新建连接,并添加至多路复用模型进行事件监控。

​ b. 如果是数据通信请求,则进行对应数据处理(接收数据,处理数据,发送响应)。

优点:所有操作均在同一线程中完成,思想流程较为简单,不涉及进程/线程间通信及资源争抢问题。因为是单线程操作,操作都是串行化的,思想较为简单,编码流程也较为简单〈不用考虑进程或者线程间的通信,以及安全问题)

缺点:因为所有的事件监控以及业务处理都是在一个线程中完成的,无法有效利用CPU多核资源,因此很容易造成性能瓶颈

适用场景:适用于客户端数量较少,且处理速度较为快速的场景。(处理较慢或活跃连接较多,会导致串行处理的情况下,后处理的连接长时间无法得到响应)

2.2单Reactor多线程:单I/O多路复用+线程池(业务处理)

1.Reactor线程通过I/O多路复用模型进行客户端请求监控

2.触发事件后,进行事件处理

对所有的客户端进行IO事件监控,哪个客户端触发了事件,就去处理谁 处理:仅仅进行IO操作

​ a. 如果是新建连接请求,则获取新建连接,并添加至多路复用模型进行事件监控。

​ b. 如果是数据通信请求,则接收数据后分发给Worker线程池进行业务处理。

​ c. 工作线程处理完毕后,将响应交给Reactor线程进行数据响应

优点:充分利用了CPU多核资源,处理效率可以更高,降低了代码的耦合度

缺点:多线程间的数据共享访问控制较为复杂,单个Reactor 承担所有事件的监听和响应,在单线程中运行,高并发场景下容易成为性能瓶颈。在单个Reactor线程中,包含了对所有客户端的事件监控,以及所有客户端的IO操作,不利于高并发场景(每一个时刻都有很多客户端连接),来不及进行新的客户端连接处理

2.3多Reactor多线程:多I/O多路复用+线程池(业务处理)

1.在主Reactor中处理新连接请求事件,有新连接到来则分发到子Reactor中监控

2.在子Reactor中进行客户端通信监控,有事件触发,则接收数据分发给Worker线程池

4.Worker线程池分配独立的线程进行具体的业务处理

​ a. 工作线程处理完毕后,将响应交给子Reactor线程进行数据响应

多Reactor多线程模式:基于单reactor多线程的缺点考虑,如果IO的时候,有连接到来无法处理,因此将连接处理单独拎出来。因此让一个Reactor线程仅仅进行新连接的处理,让其他的Reactor线程进行IO处理,IO Reactor线程拿到数据分发给业务线程池进行业务处理。因此多Reactor多线程模式,也叫做主从Reactor模型。

主Reactor线程:进行新连接事件监控。

**从属Reactor线程:进行lO事件监控 **

业务线程池:进行业务处理

优点:充分利用了CPU多核资源,并且可以进行合理分配,主从Reactor各司其职

但是大家也要理解:执行流并不是越多越好,因为执行流多了,反而会增加CPU切换调度的成本

目标定位:One Thread One Loop主从Reactor模型高并发服务器

咱们要实现的是主从Reactor模型服务器,也就是主Reactor线程仅仅监控监听描述符,获取新建连接,保证获取新连接的高效性,提高服务器的并发性能。主Reactor获取到新连接后分发给子Reactor进行通信事件监控。而子Reactor线程监控各自的描述符的读写事件进行数据读写以及业务处理。即子Reactor完成IO事件监控,IO操作,以及业务处理。One Thread One Loop的思想就是把所有的操作都放到一个线程中进行,一个线程对应一个事件处理的循环。当前实现中,因为并不确定组件使用者的使用意向,因此并不提供业务层工作线程池的实现,只实现主从Reactor,而Worker工作线程池,可由组件库的使用者的需要自行决定是否使用和实现

三、前置知识技术点功能用例

1.C++11中的bind

bind (Fn&& fn, Args&&... args);

官方文档对于bind接口的概述解释:Bind function arguments

我们可以将bind接口看作是一个通用的函数适配器,它接受一个函数对象,以及函数的各项参数,然后返回一个新的函数对象,但是这个函数对象的参数已经被绑定为设置的参数。运行的时候相当于总是调用传入固定参数的原函数。

但是如果进行绑定的时候,给与的参数为 std::placeholders::_1, _2... 则相当于为新适配生成的函数对象的调用预留一个参数进行传递。

基于bind的作用,当我们在设计一些线程池,或者任务池的时候,就可以将将任务池中的任务设置为函数类型,函数的参数由添加任务者直接使用bind进行适配绑定设置,而任务池中的任务被处理,只需要取出一个个的函数进行执行即可。

这样做有个好处就是,这种任务池在设计的时候,不用考虑都有哪些任务处理方式了,处理函数该如何设计,有多少个什么样的参数,这些都不用考虑了,降低了代码之间的耦合度。

#include 
#include 
#include 
#include 

void print(const std::string &str, const int num)
{
    std::cout << str << " " << num << std::endl;
}

int main()
{
    print("hello world", 10);
    auto func1 = std::bind(print, "nihao shijie", 20);
    func1();
    auto func2 = std::bind(print, "你好,世界", std::placeholders::_1);
    func2(30);

    typedef std::function<void()> Task;
    std::vector<Task> array;
    array.push_back(std::bind(print, "hello world", 1));
    array.push_back(std::bind(print, "nihao shijie", 2));
    array.push_back(std::bind(print, "你好,世界", 3));

    for (auto &func : array)
    {
        func();
    }
    return 0;
}

2.简单的秒级定时任务实现

在当前的高并发服务器中,我们不得不考虑一个问题,那就是连接的超时关闭问题。我们需要避免一个连接长时间不通信,但是也不关闭,空耗资源的情况。这时候我们就需要一个定时任务,定时的将超时过期的连接进行释放。

Linux提供给我们的定时器:

#include 

int timerfd_create(int clockid, int flags);
clockid:
CLOCK_REALTIME--以系统时间作为计时基准值(如果系统时间发生了改变就会出问题)
CLOCK_MONOTONIC--以系统启动时间进行递增的一个基准值(定时器不会随着系统时间改变而改变)
flags:0-阻塞操作
返回值:文件描述符
    
int timerfd_settime(int fd, int flags, struct itimerspec *new, struct itimerspec *old);
功能:启动定时器
fd: timerfd_create函数的返回值。文件描述符--创建的定时器的标识符
flags: 0-相对时间, 1-绝对时间;默认设置为0即可.
new: 用于设置定时器的新超时时间
old: 用于接收原来的超时时间
     
struct timespec {
 	time_t tv_sec; /* Seconds */
 	long tv_nsec; /* Nanoseconds */
};
struct itimerspec {
 	struct timespec it_interval; /* 第一次之后的超时间隔时间 */
 	struct timespec it_value; /* 第一次超时时间 */
};
Linux下一切皆文件,定时器的操作也是跟文件操作并没有什么区别,而定时器定时的原理每隔一段时间(定时器的超时时间),定时器会在每次超时时,系统就会给这个描述符对应的定时器写入一个8字节数据,表示在上一次读取数据到当前读取数据期间超时了多少次。

创建了一个定时器,定时器定设置的超时时间是3s,也就是说每3s计算一次超时
从启动开始,每隔3s中,系统都会给描述如写入一个1,表示从上一次读取数据到现在超时了1次
假设30s之后才读取数据,则这时候就会读取到一个10,表示上一次读取数据到限制超时了10

使用案例:

#include 
#include 
#include 
#include 
#include 

int main()
{
    int timerfd = timerfd_create(CLOCK_MONOTONIC, 0);
    if (timerfd < 0)
    {
        std::cerr << "timerfd create failed" << std::endl;
        exit(1);
    }
    
    struct itimerspec ims;
    // 第一次超时时间为1s后
    ims.it_value.tv_sec = 3;
    ims.it_value.tv_nsec = 0;
    // 第一次超时后,每次超时的间隔时
    ims.it_interval.tv_sec = 3;
    ims.it_interval.tv_nsec = 0;

    int n = timerfd_settime(timerfd, 0, &ims, nullptr);
    if (n < 0)
    {
        std::cerr << "timefd settime failed" << std::endl;
        exit(2);
    }

    for (;;)
    {
        uint64_t data;
        ssize_t n = read(timerfd, &data, 8);
        if (n > 0)
        {
            std::cout << "超时了,距离上一次超时: " << data << std::endl;
        }
    }

    close(timerfd);
    return 0;
}

上边例子,是一个定时器的使用示例,是每隔3s钟触发一次定时器超时,否则就会阻塞在read读取数据这里。

基于这个例子,则我们可以实现每隔3s,检测一下哪些连接超时了,然后将超时的连接释放掉。

时间轮思想:

上述的例子,存在一个很大的问题,每次超时都要将所有的连接遍历一遍,如果有上万个连接,效率无疑是较为低下的。这时候大家就会想到,我们可以针对所有的连接,根据每个连接最近一次通信的系统时间建立一个小根堆,这样只需要每次针对堆顶部分的连接逐个释放,直到没有超时的连接为止,这样也可以大大提高处理的效率。

上述方法可以实现定时任务,但是这里给大家介绍另一种方案:时间轮

时间轮的思想来源于钟表,如果我们定了一个3点钟的闹铃,则当时针走到3的时候,就代表时间到了。

同样的道理,如果我们定义了一个数组,并且有一个指针,指向数组起始位置,这个指针每秒钟向后走动一步,走到哪里,则代表哪里的任务该被执行了,那么如果我们想要定一个3s后的任务,则只需要将任务添加到tick+3的位置,则每秒钟走一步,三秒钟后tick走到对应位置,这时候执行对应位置的任务即可。

但是,同一时间可能会有大批量的定时任务,因此我们可以给数组对应位置下拉一个数组,这样就可以在同一个时刻上添加多个定时任务了。

当然,上述操作也有一些缺陷,比如我们如果要定义一个60s后的任务,则需要将数组的元素个数设置为60才可以,如果设置一小时后的定时任务,则需要定义3600个元素的数组,这样无疑是比较麻烦的。

因此,可以采用多层级的时间轮,有秒针轮,分针轮,时针轮, 60

但是,我们也得考虑一个问题,当前的设计是时间到了,则主动去执行定时任务,释放连接,那能不能在时间到了后,自动执行定时任务呢,这时候我们就想到一个操作–类的析构函数。

一个类的析构函数,在对象被释放时会自动被执行,那么我们如果将一个定时任务作为一个类的析构函数内的操作,则这个定时任务在对象被释放的时候就会执行。

但是仅仅为了这个目的,而设计一个额外的任务类,好像有些不划算,但是,这里我们又要考虑另一个问题,那就是假如有一个连接建立成功了,我们给这个连接设置了一个30s后的定时销毁任务,但是在第10s的时候,这个连接进行了一次通信,那么我们应该是在第30s的时候关闭,还是第40s的时候关闭呢?无疑应该是第40s的时候。也就是说,这时候,我们需要让这个第30s的任务失效,但是我们该如何实现这个操作呢?

这里,我们就用到了智能指针shared_ptr,shared_ptr有个计数器,当计数为0的时候,才会真正释放一个对象,那么如果连接在第10s进行了一次通信,则我们继续向定时任务中,添加一个30s后(也就是第40s)的任务类对象的shared_ptr,则这时候两个任务shared_ptr计数为2,则第30s的定时任务被释放的时候,计数-1,变为1,并不为0,则并不会执行实际的析构函数,那么就相当于这个第30s的任务失效了,只有在第40s的时候,这个任务才会被真正释放。

上述过程就是时间轮定时任务的思想了,当然这里为了更加简便的实现,进行了一些小小的调整实现。

总结:

1.同一时刻的定时任务只能添加一个,需要考虑如何在同一时刻支持添加多个定时任务

解决方案: 将时间轮的一维数组设计为二维数组(时间轮一位数组的每一个节点也是一个数组)

2.假设当前的定时任务是一个连接的非活跃销毁任务,这个任务什么时候添加到时间轮中比较合适

一个连接30s内都没有通信,则是一个非活跃连接,这时候就销毁。但是一个连接如果在建立的时候添加了一个30s后销毁的任务,但是这个连接30s内人家有数据通信,在第30s的时候不是一个非活跃连接。

思想:需要在一个连接有IO事件产生的时候,延迟定时任务的执行

作为一个时间轮定时器,本身并不关注任务类型,只要是时间到了就需要被执行

解决方案:类的析构函数+智能指针shared_ptr,通过这两个技术可以实现定时任务的延时

1.使用一个类,对定时任务进行封装,类实例化的每一个对象,就是一个定时任务对象,当对象被销毁的时候,再去执行定时任务(将定时任务的执行,放到析构函数中)

2.shared ptr用于对new的对象进行空间管理,当shared_ptr对一个对象进行管理的时候,内部有一个计数器,计数器为0的时候,则释放所管理的对象

int *a = new int;
std:shared ptr<int> pi(a); --- a对象只有在pi计数为0的时候,才会被释放
std:shared ptr<int> pi1(pi) --当针对pi又构建了一个shared_ptr对象,则pi和pi1计数器为2

当pi和pi1中任意一个被释放的时候,只是计数器-1,因此他们管理的a对象并没有被释放,只有当pi和pi1都被释放了,计数器为0了,这时候才会释放管理的a对象

基于这个思想,我们可以使用shared_ptr来管理定时器任务对象

但是std::shared_ptr pi2(a);但是如果pi2是针对的原始对象构造的。并不会跟pi和pi1,共享计数

使用案例:

#include 
#include 
#include 
#include 
#include 
#include 

// 定时器任务的回调函数,即超时时执行的任务
using TaskFunc = std::function<void()>;
// 定时器对象销毁的回调函数
using ReleaseFunc = std::function<void()>;

// 定时器任务
class TimerTask
{
private:
    uint64_t _id;         // 定时器任务对象id
    uint32_t _timeout;    // 定时任务的超时时间
    bool _canceled;       // false表示没有被取消,true表示被取消了
    TaskFunc _task_cb;    // 定时器对象要执行的定时任务
    ReleaseFunc _release; // 用于删除TimerWheel中保存的定时器对象信息
public:
    TimerTask(const uint64_t &id, const uint32_t &delay, const TaskFunc &cb)
        : _id(id), _timeout(delay), _task_cb(cb), _canceled(false) {}
    ~TimerTask()
    {
        if (_canceled == false)
            _task_cb();
        _release();
    }

    void Canceled() { _canceled = true; }
    uint32_t DelayTime() { return _timeout; }
    void SetRelease(const ReleaseFunc &cb) { _release = cb; }
};

// 管理定时器任务的shared_ptr
using PtrTask = std::shared_ptr<TimerTask>; 
// 管理定时器任务的weak_ptr
using WeakTask = std::weak_ptr<TimerTask>;

// 时间轮
class TimerWheel
{
private:
    std::vector<std::vector<PtrTask>> _wheel;
    int _tick;     // 当前的秒针,走到哪里释放哪里,就相当于执行哪里的任务
    int _capacity; // 表盘的最大数量,即最大延迟时间
    std::unordered_map<uint64_t, WeakTask> _timers;

private:
    void RemoveTimer(const uint64_t &id)
    {
        auto it = _timers.find(id);
        if (it != _timers.end())
        {
            _timers.erase(it);
        }
    }

public:
    TimerWheel() : _tick(0), _capacity(60), _wheel(_capacity) {}
    // 添加定时任务
    void TimerAdd(const uint64_t &id, const uint32_t &delay, const TaskFunc &cb)
    {
        PtrTask ptr(new TimerTask(id, delay, cb));
        ptr->SetRelease(std::bind(&TimerWheel::RemoveTimer, this, id));
        int pos = (_tick + delay) % _capacity;
        
        // 将shared_ptr管理的对象加入到时间轮中
        _wheel[pos].push_back(ptr);
        // 将shared_ptr管理的对象的weak_ptr加入到哈希表中
        _timers[id] = WeakTask(ptr);
    }

    // 刷新/延迟定时时间
    void TimerRefresh(const uint64_t &id)
    {
        // 通过保存的定时器的weak_ptr构造一个shared_ptr出来,添加到轮子中
        auto it = _timers.find(id);
        if (it == _timers.end())
        {
            return;
        }
        
        // lock获取weak_ptr管理的对象对应的shared_ptr
        PtrTask ptr = it->second.lock();
        int delay = ptr->DelayTime();
        int pos = (_tick + delay) % _capacity;
        _wheel[pos].push_back(ptr);
    }

    // 取消定时任务
    void TimerCancel(const uint64_t &id)
    {
        auto it = _timers.find(id);
        // 没有找到定时任务就没法刷新和延迟,直接退出
        if (it == _timers.end())
            return;
        PtrTask ptr = it->second.lock();
        if (ptr)
            ptr->Canceled();
    }

    // 这个函数应该每秒钟被执行一次,相当于秒针向后走了一步
    void RunTimerTask()
    {
        _tick = (_tick + 1) % _capacity;
        // 清空指定位置的数组,就会把数组中保存的所有管理定时器对象的shared_ptr释放掉
        _wheel[_tick].clear();
    }
};

class Test
{
public:
    Test() { std::cout << "Test 构造" << std::endl; }
    ~Test() { std::cout << "Test 析构" << std::endl; }
};

void Release(const Test *t)
{
    delete t;
}

int main()
{
    TimerWheel tw;
    Test *t = new Test();
    tw.TimerAdd(100, 5, std::bind(Release, t));
    for (int i = 0; i < 5; i++)
    {
        sleep(1);
        // 刷新定时任务
        tw.TimerRefresh(100);
        // 向后移动指针
        tw.RunTimerTask();
        std::cout << "刷新了定时任务,需要在5秒钟之后进行销毁" << std::endl;
    }
    for (;;)
    {
        sleep(1);
        std::cout << "------------------" << std::endl;
        tw.RunTimerTask(); // 向后移动秒针
    }

    return 0;
}

3.正则库的简单使用

正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。

正则表达式的使用,可以使得HTTP请求的解析更加简单(这里指的时程序员的工作变得的简单,这并不代表处理效率会变高,实际上效率上是低于直接的字符串处理的),使我们实现的HTTP组件库使用起来更加灵活。

我们可以在这里学习相关的语法:正则表达式教程–菜鸟教程

bool std:regex_match (const stdrstring &src, std:smatch &matches, std:regex &e)
src:原始字符串
matches: 正则表达式可以从原始字符串中匹配并提取符合某种规则的数据,提取的数据就放在matches中,是一个类似于数组的容器
e: 正则表达式的匹配规则
返回值:用于确定匹配是否成功

正则表达式的简单案例:

void regex_test()
{
    std::string str = "/numbers/1234";

    // 匹配以 /numbers/ 为起始位置,后面跟一个或多个数字字符的字符串
    // 并且在匹配的过程中提取这个匹配到的数字字符串
    std::regex e("/numbers/(d+)");
    std::smatch matches;
    bool ret = std::regex_match(str, matches, e);
    if (ret == false)
    {
        std::cout << "regex_match failed" << std::endl;
    }
    for (auto &str : matches)
    {
        std::cout << str << std::endl;
    }
}

// 输出结果
/numbers/1234
1234

HTTP请求行的匹配

int main()
{
    // HTTP请求行格式:  GET /www.baidu.com/login?user=xiaoming&pass=123123 HTTP/1.1

    std::string request = "GET /www.baidu.com/login?user=xiaoming&pass=123123 HTTP/1.1
";
    std::smatch matches;
    // 请求方法的匹配 GET HEAD POST PUT DELETE
    // GET|HEAD|POST|PUT|DELETE 表示匹配并提取其中的任意一个字符串
    // [^?*] 表示匹配非问号字符 后边的*表示0次或多次
    // ?(.*) ? 表示原始的 ? 到字符,(.*)表示提取问哈之后的任意字符0次或多次,直到遇空格
    // HTTP/1.[01] 表示匹配以 HTTP/1.开始,后边有个0或1的字符串
    std::regex e("(GET|HEAD|POST|PUT|DELETE) ([^?]*)(?:?(.*))? (HTTP/1.[01])(?:
|
)?");
    // (?:
|
)? (?:...)表示匹配某个格式的字符串,但是不提取
    // 最后的?表示的是匹配前面的表达式0次或者1次
    bool ret = std::regex_match(request, matches, e);
    if (ret == false)
    {
        std::cout << "regex_match failed" << std::endl;
    }
    for (auto &str : matches)
    {
        std::cout << str << std::endl;
    }
    return 0;
}

4.通用类型any类型的实现

在本项目中,我们要实现一个高并发的服务器组件,能够的接收并处理客户端发送过来的请求,就必然涉及到与客户端的通信,而通信就必然涉及到对套接字的操作;同时,由于 TCP 是面向字节流的,因此服务器在接收客户端数据的时候就可能出现 socket 中的数据不足一条完整请求的情况,此时我们请求处理到一半时就需要停下来等待 socket 中下一次的数据到来。

因此我们需要为客户端连接设置一个请求处理的上下文,用来保存请求接收、解析以及处理的状态,它决定着对于下一次从缓冲区中取出的数据如何进行处理、从哪里开始处理等。同时,对于一条完整的请求,我们还需要对其进行解析,得到各种关键的要素,比如 HTTP 请求中的请求方法、请求URL、HTTP版本等,这些信息都会被保存在请求处理上下文中。

那么我们应该如何保存请求接收、解析以及处理的各种状态信息呢,定义一个 HTTP 请求信息的结构用于填充吗?如果我们的服务器组件仅支持 HTTP 协议这样做是可以的,但我们设计的服务器的目标是要能够支持各种不同的应用层协议,便于我们组件的使用者能够根据自己不同的业务场景定制对应的应用层协议进行使用,因此我们就需要让这个结构能够保存不同类型的数据,此时就需要 any 出场了。

每一个Connection对连接进行管理,最终都不可避免需要涉及到应用层协议的处理,因此在Connection中需要设置协议处理的上下文来控制处理节奏。但是应用层协议千千万,为了降低耦合度,这个协议接收解析上下文就不能有明显的协议倾向,它可以是任意协议的上下文信息,因此就需要一个通用的类型来保存各种不同的数据结构。

在C语言中,通用类型可以使用void*来管理,但是在C++中,boost库和C++17给我们提供了一个通用类型any来灵活使用,如果考虑增加代码的移植性,尽量减少第三方库的依赖,则可以使用C++17特性中的any,或者自己来实现。而这个any通用类型类的实现其实并不复杂,以下是简单的部分实现。

#include 
#include 
#include 
#include 
#include 

class holder
{
public:
    virtual ~holder() {}
    virtual const std::type_info &type() = 0;
    virtual holder *clone() = 0;
};

template <class T>
class placeholder : public holder
{
public:
    placeholder(const T &val) : _val(val) {}
    // 获取子类对象保存的数据类型
    virtual const std::type_info &type() { return typeid(T); }
    // 针对当前的对象自身,克隆出一个新的子类对象
    virtual holder *clone() { return new placeholder<T>(_val); }
    virtual ~placeholder() {}

public:
    T _val;
};

class Any
{
private:
    holder *_content;

public:
    Any() : _content(nullptr) {}

    template <class T>
    Any(const T &val) : _content(new placeholder<T>(val)) {}
    Any(const Any &other) : _content(other._content ? other._content->clone() : nullptr) {}
    ~Any()
    {
        if (_content)
            delete _content;
    }

    Any &swap(Any &other)
    {
        std::swap(_content, other._content);
        return *this;
    }

    // 返回子类对象保存数据的指针
    template <class T>
    T *get()
    {
        // 想要获取数据的类型,必须和保存的数据,类型一致
        assert(typeid(T) == _content->type());
        if (_content == nullptr)
            return nullptr;
        return &((placeholder<T> *)_content)->_val;
    }

    // 赋值运算符的重载函数
    template <class T>
    Any &operator=(const T &val)
    {
        // 为val构造一个临时的通用容器,然后与当前容器自身进行指针交换,临时对象释放的时候
        // 原先保存的数据也就释放
        Any(val).swap(*this);
        return *this;
    }

    Any &operator=(const Any &other)
    {
        Any(other).swap(*this);
        return *this;
    }
};

class Test
{
public:
    Test() { std::cout << "Test() 构造" << std::endl; }
    Test(const Test &t) { std::cout << "Test(const Test& t) 拷贝构造" << std::endl; }
    ~Test() { std::cout << "~Test() 析构" << std::endl; }
};

int main()
{
    std::any a;
    a = 10;
    int *pi = std::any_cast<int>(&a);
    std::cout << *pi << std::endl;

    a = std::string("hello");
    std::string *ps = std::any_cast<std::string>(&a);
    std::cout << *ps << std::endl;
    // Any a;
    // a = 10;
    // int *pi = a.get();
    // std::cout << *pi << std::endl;

    // a = std::string("hello world");
    // std::string *ps = a.get();
    // std::cout << *ps << std::endl;
    // {
    //     Test t;
    //     a = t;
    // }
    return 0;
}

下面是C++17中any的使用用例:

int main()
{
    std::any a;
    a = 10;
    int *pi = std::any_cast<int>(&a);
    std::cout << *pi << std::endl;

    a = std::string("hello");
    std::string *ps = std::any_cast<std::string>(&a);
    std::cout << *ps << std::endl;
}

需要注意的是,C++17的特性需要高版本的g++编译器支持,建议g++ 7.3及以上版本。

sudo yum install centos-release-scl-rh centos-release-scl
sudo yum install devtoolset-7-gcc devtoolset-7-gcc-c++
source /opt/rh/devtoolset-7/enable 
echo "source /opt/rh/devtoolset-7/enable" >> ~/.bashrc
// 查看g++版本 
g++ -v

四、功能模块划分

基于以上的理解,我们要实现的是一个带有协议支持的Reactor模型高性能服务器,因此将整个项目的实现划分为两个大的模块:

SERVER模块:实现Reactor模型的TCP服务器

协议模块:对当前的Reactor模型服务器提供应用层协议支持

1.SERVER模块

SERVER模块就是对所有的连接以及线程进行管理,让它们各司其职,在合适的时候做合适的事,最终完成高性能服务器组件的实现。而具体的管理也分为三个方面:

监听连接管理:对监听连接进行管理。

通信连接管理:对通信连接进行管理。

超时连接管理:对超时连接进行管理。

基于以上的管理思想,将这个模块进行细致的划分又可以划分为以下多个子模块:

Buffer 模块:实现通信套接字的用户态缓冲区,防止接收到的数据不是一条完整的数据,同时确保客户端响应的数据在套接字可写的情况下进行发送。

Socket 模块:对 socket 套接字的操作进行封装,使得程序中对于套接字的各项操作更加简便。

Channel 模块:对于一个描述符进行监控事件管理,便于在用户态对描述符的监控事件进行维护。

Connection 模块:对通信连接进行整体管理,一个连接的所有操作都通过此模块来完成,增加连接操作的灵活以及便捷性。

Acceptor 模块:对监听套接字进行管理,为客户端的新建连接创建 Connection 对象,并设置各种回调。

TimerQueue 模块:定时任务模块,让一个任务可以在指定的时间之后被执行。

Poller模块:对任意的描述符进行IO事件监控,本质上就是对 epoll 的各种操作进行封装,从而让对描述符进行事件监控的操作更加简单,此模块是 Channel 模块的一个子模块。

EventLoop 模块:对事件监控进行管理,为了确保线程安全,此模块一个模块对应一个线程,服务器中的所有的事件都是由此模块来完成。

LoopThread 模块:将 EventLoop 与 thread 整合到一起,向外部返回所实例化的 EventLoop 对象,即将 EventLoop 对象与线程一一绑定。

LoopThreadPool 模块:LoopThread 线程池,用于对所有的 LoopThread 进行管理及分配。

TcpServer 模块:对前边所有子模块进行整合,从而提供给组件使用者的可以便捷的完成一个高性能服务器搭建的模块。

1.1Buffer模块

Buffer模块是一个缓冲区模块,用于实现通信中用户态的接收缓冲区和发送缓冲区功能

功能:用于实现通信套接字的用户态缓冲区

意义:

​ 1.防止接收到的数据不是一条完整的数据,因此对接收的数据进行缓存

​ 2.对于客户端响应的数据,应该是在套接字可写的情况下进行发送

功能设计:

​ 1.向缓冲区添加数据

​ 2.从缓冲区中取出数据

1.2.Socket模块

Socket模块是对套接字操作封装的一个模块,主要实现的socket的各项操作。

功能:对socket套接字的操作进行封装

意义:程序中对于套接字的各项操作更加简便

功能设计:

​ 1.创建套接字

​ 2.绑定地址信息

​ 3.开始监听

​ 4.向服务器发起连接

​ 5.获取新连接

​ 6.接收数据

​ 7.发送数据

​ 8.创建一个监听连接

​ 9.创建一个客户端连接

​ 10.设置套接字选项–开启地址端口复用

​ 11.设置套接字阻塞属性–设置为非阻塞

1.3Channel模块

Channel模块是对一个描述符需要进行的IO事件管理的模块,实现对描述符可读,可写,错误事件的管理操作,以及Poller模块对描述符进行IO事件监控就绪后,根据不同的事件,回调不同的处理函数功能。

功能:对于一个描述符进行监控事件的管理

意义:对于描述符的监控事件在用户态更容易维护,以及触发事件后的操作流程更加的清晰

功能设计:

​ 1.对监控事件的管理:

​ 1.1描述符是否可读

​ 1.2描述符是否可写

​ 1.3对描述符监控可读

​ 1.4对描述符监控可写

​ 1.5解除对可读事件监控

​ 1.6解除对可写事件监控

​ 1.7解除所有事件监控

​ 2.对监控事件触发后处理:设置对于不同事件的回调函数,明确触发了某个事件之后应该怎么处理

1.4Connection模块

功能:

​ 1.这是一个对于通信连接进行整体管理的一个模块。对一个连接的操作都是通过这个模块进行的

​ 2.Connection模块,一个连接有任何的事件该怎么处理都是由这个模块来进行处理的,因为组件的设计也不知道使用者要如何处理事件。因此只能是提供一些事件回调函数由使用者设置

意义:这个模块本身来说不是一个单独的功能模块,是一个对连接做管理的模块。增加连接操作的灵活以及使捷性

功能设计:

​ 1.关闭连接

​ 2.发送数据

​ 3.协议切换

​ 4.启动非活跃连接超时释放

​ 5.取消非活跃连接超时释放

​ 6.回调函数设置:

​ 1.连接建立完成的回调

​ 2.连接有新数据接收成功后的回调

​ 3.连接关闭时的回调

​ 4.产生任何事件进行的回调

Connection模块是对Buffer模块,Socket模块,Channel模块的一个整体封装,实现了对一个通信套接字的整体的管理,每一个进行数据通信的套接字(也就是accept获取到的新连接)都会使用Connection进行管理。

Connection模块内部包含有四个由组件使用者传入的回调函数:连接建立完成回调,事件回调,新数据回调,关闭回调。

Connection模块内部包含有两个组件使用者提供的接口:数据发送接口,连接关闭接口

Connection模块内部包含有两个用户态缓冲区:用户态接收缓冲区,用户态发送缓冲区

Connection模块内部包含有一个Socket对象:完成描述符面向系统的IO操作

Connection模块内部包含有一个Channel对象:完成描述符IO事件就绪的处理

具体处理流程如下:

1.实现向Channel提供可读,可写,错误等不同事件的IO事件回调函数,然后将Channel和对应的描述符添加到Poller事件监控中。

2.当描述符在Poller模块中就绪了IO可读事件,则调用描述符对应Channel中保存的读事件处理函数,进行数据读取,将socket接收缓冲区全部读取到Connection管理的用户态接收缓冲区中。然后调用由组件使用者传入的新数据到来回调函数进行处理。

3.组件使用者进行数据的业务处理完毕后,通过Connection向使用者提供的数据发送接口,将数据写入Connection的发送缓冲区中。

4.启动描述符在Poll模块中的IO写事件监控,就绪后,调用Channel中保存的写事件处理函数,将发送缓冲区中的数据通过Socket进行面向系统的实际数据发送。

1.5Acceptor模块

功能:对监听套接字进行管理

意义:

​ 1.当获取了一个新建连接的描述符之后,需要为这个通信连接,封装一个Connection对象,设置各种不同回调

​ 2.注意:因为Acceptor模块本身并不知道一个连接产生了某个事件该如何处理,因此获取一个通信连接后,Connection的封装,以及事件回调的设置都应该由服务器模块来进行

功能设计:回调函数设置,新建连接获取成功的回调设置,由服务器来指定

Acceptor模块是对Socket模块,Channel模块的一个整体封装,实现了对一个监听套接字的整体的管理。

Acceptor模块内部包含有一个Socket对象:实现监听套接字的操作

Acceptor模块内部包含有一个Channel对象:实现监听套接字IO事件就绪的处理

具体处理流程如下:

1.实现向Channel提供可读事件的IO事件处理回调函数,函数的功能其实也就是获取新连接

2.为新连接构建一个Connection对象出来。

1.6TimerQueue模块

功能:定时任务模块,让一个任务可以在指定的时间之后被执行

意义:组件内部,对于非活跃连接希望在N秒之后被释放

功能设计:

​ 1.添加定时任务

​ 2.刷新定时任务:希望一个定时任务重新开始计时

​ 3.取消定时任务

TimerQueue模块是实现固定时间定时任务的模块,可以理解就是要给定时任务管理器,向定时任务管理器中添加一个任务,任务将在固定时间后被执行,同时也可以通过刷新定时任务来延迟任务的执行。这个模块主要是对Connection对象的生命周期管理,对非活跃连接进行超时后的释放功能。

TimerQueue模块内部包含有一个timerfd:Linux系统提供的定时器。

TimerQueue模块内部包含有一个Channel对象:实现对timerfd的IO时间就绪回调处理

1.7Poller模块

功能:对任意的描述符进行lO事件监控

意义:对epoll进行的封装,让对描述符进行事件监控的操作更加简单

功能接口:

​ 1.添加事件监控:Channel模块

​ 2.修改事件监控

​ 3.移除事件监控

Poller模块是对epoll进行封装的一个模块,主要实现epoll的IO事件添加,修改,移除,获取活跃连接功能。

1.8EventLoop模块

功能:

​ 1.进行事件监控管理的模块

​ 2.这个模块其实就是我们所说的one thread one loop中的loop,也是我们所说的reactor

​ 3.这个模块必然是一个模块对应一个线程

意义:

​ 1.对于服务器中的所有的事件都是由EventLoop模块来完成

​ 2.每一个Connection连接,都会绑定一个EventLoop模块和线程,因为外界对于连接的所有操作,都是要放到同一个线程中进行的

思想:

​ 1.对所有的连接进行事件监控,连接触发事件后调用回调进行处理

​ 2.对于连接的所有操作,都要放到EventLoop线程中执行

功能设计:

​ 1.将连接的操作任务添加到任务队列

​ 2.定时任务的添加

​ 3.定时任务的刷新

​ 4.定时任务的取消

EventLoop模块可以理解就是我们上边所说的Reactor模块,它是对Poller模块,TimerQueue模块,Socket模块的一个整体封装,进行所有描述符的事件监控。EventLoop模块必然是一个对象对应一个线程的模块,线程内部的目的就是运行EventLoop的启动函数。

EventLoop模块为了保证整个服务器的线程安全问题,因此要求使用者对于Connection的所有操作一定要在其对应的EventLoop线程内完成,不能在其他线程中进行(比如组件使用者使用Connection发送数据,以及关闭连接这种操作)。

EventLoop模块保证自己内部所监控的所有描述符,都要是活跃连接,非活跃连接就要及时释放避免资源浪费。

EventLoop模块内部包含有一个eventfd:eventfd其实就是Linux内核提供的一个事件fd,专门用于事件通知。

EventLoop模块内部包含有一个Poller对象:用于进行描述符的IO事件监控。

EventLoop模块内部包含有一个TimerQueue对象:用于进行定时任务的管理。

EventLoop模块内部包含有一个PendingTask队列:组件使用者将对Connection进行的所有操作,都加入到任务队列中,由EventLoop模块进行管理,并在EventLoop对应的线程中进行执行。

每一个Connection对象都会绑定到一个EventLoop上,这样能保证对这个连接的所有操作都是在一个线程中完成的。

具体操作流程:

1.通过Poller模块对当前模块管理内的所有描述符进行IO事件监控,有描述符事件就绪后,通过描述符对应的Channel进行事件处理。

2.所有就绪的描述符IO事件处理完毕后,对任务队列中的所有操作顺序进行执行。

3.由于epoll的事件监控,有可能会因为没有事件到来而持续阻塞,导致任务队列中的任务不能及时得到执行,因此创建了eventfd,添加到Poller的事件监控中,用于实现每次向任务队列添加任务的时候,通过向eventfd写入数据来唤醒epoll的阻塞。

1.9TcpServer模块

功能:对前边所有子模块的整合模块,是提供给用户用于搭建一个高性能服务器的模块

意义:让组件使用者可以更加轻使的完成—个服务器的搭建

功能设计:

​ 1.对于监听连接的管理

​ 2.对于通信连接的管理

​ 3.对于超时连接的管理

​ 4.对于事件监控的管理

​ 5.事件回调函数的设置:一个连接产生了一个事件,对于这个事件如何处理,只有组件使用者知道,因此一个事件的处理回调,一定是组件使用者,设置给TcpServer,TcpServer设置给各个Connection连接

这个模块是一个整体TCP服务器模块的封装,内部封装了Acceptor模块,EventLoop ThreadPool模块。

TcpServer中包含有一个EventLoop对象:以备在超轻量使用场景中不需要EventLoop线程池,只需要在主线程中完成所有操作的情况。

TcpServer模块内部包含有一个EventLoop ThreadPool对象:其实就是EventLoop线程池,也就是子Reactor线程池

TcpServer模块内部包含有一个Acceptor对象:一个TcpServer服务器,必然对应有一个监听套接字,能够完成获取客户端新连接,并处理的任务。

TcpServer模块内部包含有一个std::shared_ptr的hash表:保存了所有的新建连接对应的Connection,注意,所有的Connection使用shared_ptr进行管理,这样能够保证在hash表中删除了Connection信息后,在shared_ptr计数器为0的情况下完成对Connection资源的释放操作。

具体操作流程如下:

1.在实例化TcpServer对象过程中,完成BaseLoop的设置,Acceptor对象的实例化,以及EventLoop线程池的实例化,以及std::shared_ptr的hash表的实例化。

2.为Acceptor对象设置回调函数:获取到新连接后,为新连接构建Connection对象,设置Connection的各项回调,并使用shared_ptr进行管理,并添加到hash表中进行管理,并为Connection选择一个EventLoop线程,为Connection添加一个定时销毁任务,为Connection添加事件监控,

3.启动BaseLoop。

2.HTTP协议模块

HTTP协议模块用于对高并发服务器模块进行协议支持,基于提供的协议支持能够更方便的完成指定协议服务器的搭建。而HTTP协议支持模块的实现,可以细分为以下几个模块。

2.1Util模块

这个模块是一个工具模块,主要提供HTTP协议模块所用到的一些工具函数,比如url编解码,文件读写等。

2.2HttpRequest模块

这个模块是HTTP请求数据模块,用于保存HTTP请求数据被解析后的各项请求元素信息。

2.3HttpResponse模块

这个模块是HTTP响应数据模块,用于业务处理后设置并保存HTTP响应数据的的各项元素信息,最终会被按照HTTP协议响应格式组织成为响应信息发送给客户端。

2.4HttpContext模块

这个模块是一个HTTP请求接收的上下文模块,主要是为了防止在一次接收的数据中,不是一个完整的HTTP请求,则解析过程并未完成,无法进行完整的请求处理,需要在下次接收到新数据后继续根据上下文进行解析,最终得到一个HttpRequest请求信息对象,因此在请求数据的接收以及解析部分需要一个上下文来进行控制接收和处理节奏。

2.5HttpServer模块

这个模块是最终给组件使用者提供的HTTP服务器模块了,用于以简单的接口实现HTTP服务器的搭建。

HttpServer模块内部包含有一个TcpServer对象:TcpServer对象实现服务器的搭建

HttpServer模块内部包含有两个提供给TcpServer对象的接口:连接建立成功设置上下文接口,数据处理接口。

HttpServer模块内部包含有一个hash-map表存储请求与处理函数的映射表:组件使用者向HttpServer设置哪些请求应该使用哪些函数进行处理,等TcpServer收到对应的请求就会使用对应的函数进行处理。

整体的模块示意图如下:

五、模块关系图

Connection 模块关系图,Acceptor 模块关系图,EventLoop 模块关系图

六、SERVER服务器模块实现

1.缓冲区Buffer类实现

Buffer模块:缓冲区模块

提供的功能:存储数据,取出数据

实现思想:

​ 1.实现缓冲区得有一块存储空间,采用vector vector底层其实使用的就是一块线性的空间

​ 2.要素:

​ 1.默认空间的大小

​ 2.当前的读取数据位置

​ 3.当前的写入数据位置

​ 3.操作:

​ 1.写入数据:当前写入位置指向哪里,就从哪里开始写入,如果后续剩余的空间不够了,考虑整体缓冲区空间是否足够(因为读位置也会向后偏移,前边有可能会有空闲空间)如果空间足够,将数据移动到起始位置即可,如果空间不够,就进行扩容,从当前写位置开始扩容足够空间大小,数据一旦写入成功,当前写位置就要向后偏移

​ 2.读取数据:当前的读取位置指向哪里,就从哪里开始读取,前提是有数据可读,可读数据大小:当前写入位置减去当前读取位置

Buffer 模块的设计思想如下:

框架设计:

class Buffer
{
private:
    std::vector<char> _buffer;
    /*位置是一个相对偏移量,而不是绝对地址*/
    uint64_t _read_index;// 读位置
    uint64_t _write_index;// 写位置
public:
    // 1.获取当前写位置地址
    // 2.确保可写空间足够(移动+扩容)
    // 3.获取前沿空闲空间大小
    // 4.获取后沿空闲空间大小
    // 5.将写位置向后移动指定长度
    // 6.获取当前读位置地址
    // 7.获取可读数据大小
    // 8.将读位置向后移动指定长度
    // 9.清理功能
};

具体实现:

#define BUFFER_DEFAULT_SIZE 1024
class Buffer
{
private:
    std::vector<char> _buffer; // 使用vector进行内存空间管理
    uint64_t _reader_idx;      // 读偏移
    uint64_t _writer_idx;      // 写偏移

public:
    Buffer() : _reader_idx(0), _writer_idx(0), _buffer(BUFFER_DEFAULT_SIZE) {}
    ~Buffer() {}

public:
    // 获取起始地址
    char *Begin() { return &*_buffer.begin(); }
    // 获取当前写入起始位置 _buffer的空间起始地址加上写偏移量
    char *WritePosition() { return Begin() + _writer_idx; }
    // 获取当前读物起始位置
    char *ReadPosition() { return Begin() + _reader_idx; }
    // 获取前沿空闲空间大小(缓冲区末尾)--写偏移之后的空闲空间,总体空间大小减去写偏移
    uint64_t TailIdleSize() { return _buffer.size() - _writer_idx; }
    // 获取后沿空闲空间大小(缓冲区起始)--读偏移之前的空闲空间--读偏移之前的空闲空间
    uint64_t HeadIdleSize() { return _reader_idx; }
    // 获取可读数据大小 写偏移-读偏移
    uint64_t ReadAbleSize() { return _writer_idx - _reader_idx; }

    // 将读偏移向后移动
    void MoveReadOffset(const uint64_t &len)
    {
        if (len == 0)
            return;
        // 读偏移向后移动的大小,必须小于可读数据大小
        assert(len <= ReadAbleSize());
        _reader_idx += len;
    }

    // 将写偏移向后移动
    void MoveWriteOffset(const uint64_t &len)
    {
        if (len == 0)
            return;
        // 写偏移向后移动的大小,必须小于后边的空闲空间大小
        assert(len <= TailIdleSize());
        _writer_idx += len;
    }

    // 确保可写空间足够(整体空间足够了就一定数据,否则就扩容)
    void EnsureWriteSpace(const uint64_t &len)
    {
        // 1.如果末尾空闲空间大小足够,直接返回
        if (len <= TailIdleSize())
        {
            return;
        }
        // 2.末尾空闲空间不够,则判断加上起始空闲空间大小是否足够,足够就将数据移动到起始位置
        else if (len <= TailIdleSize() + HeadIdleSize())
        {
            // 将数据移动到起始位置
            uint64_t readablesize = ReadAbleSize(); // 把当前数据大小先保存起来

            // 将数据拷贝到起始位置
            // std::copy(ReadPosition(),WritePosition(),Begin());
            std::copy(ReadPosition(), ReadPosition() + readablesize, Begin());

            _reader_idx = 0;            // 将读偏移归0
            _writer_idx = readablesize; // 将写位置置为可读数据大小
        }
        // 3.总体空间不够,则需要扩容,不移动数据,直接给写偏移之后扩容足够空间即可
        else
        {
            _buffer.resize(_writer_idx + len);
        }
    }

    // 写入数据
    void Write(const void *buffer, const uint64_t &len)
    {
        // 1.保证有足够的空间 2.将数据拷贝进去
        if (len == 0)
            return;
        EnsureWriteSpace(len);
        const char *d = (const char *)buffer;
        std::copy(d, d + len, WritePosition());
    }

    // 写入数据并且写偏移向后移动
    void WriteAndPush(const void *buffer, const uint64_t &len)
    {
        Write(buffer, len);
        MoveWriteOffset(len);
    }

    // 写入字符串
    void WriteString(std::string &data)
    {
        // return Write(&data[0], data.size());
        return Write(data.c_str(), data.size());
    }

    // 写入字符串并且写偏移向后移动
    void WriteStringAndPush(std::string &data)
    {
        WriteString(data);
        MoveWriteOffset(data.size());
    }

    // 写入一个Buffer对象
    void WriteBuffer(Buffer &data)
    {
        return Write(data.ReadPosition(), data.ReadAbleSize());
    }

    void WriteBufferAndPush(Buffer &data)
    {
        WriteBuffer(data);
        MoveWriteOffset(data.ReadAbleSize());
    }

    // 读取数据
    void Read(void *buffer, const uint64_t &len)
    {
        // 要求要获取的数据大小必须小于可读数据大小
        assert(len <= ReadAbleSize());
        std::copy(ReadPosition(), ReadPosition() + len, (char *)buffer);
    }

    // 读取数据并读偏移向后移动
    void ReadAndPop(void *buffer, const uint64_t &len)
    {
        Read(buffer, len);
        MoveReadOffset(len);
    }

    // 读取数据放入一个字符串中
    std::string ReadAsString(const uint64_t &len)
    {
        // 要求要获取的数据大小必须小于可读数据大小
        assert(len <= ReadAbleSize());
        std::string str;
        str.resize(len);
        Read(&str[0], len);
        return str;
    }

    std::string ReadAsStringAndPop(const uint64_t &len)
    {
        assert(len <= ReadAbleSize());
        std::string str = ReadAsString(len);
        MoveReadOffset(len);
        return str;
    }

    // 找到换行字符
    char *FindCRLF()
    {
        char *res = (char *)memchr(ReadPosition(), '
', ReadAbleSize());
        return res;
    }

    // 获取一行数据
    std::string GetOneLine()
    {
        char *pos = FindCRLF();
        if (pos == nullptr)
            return "";

        // +1是为了将换行字符也取出来
        return ReadAsString(pos - ReadPosition() + 1);
    }

    std::string GetOneLineAndPop()
    {
        std::string str = GetOneLine();
        MoveReadOffset(str.size());
        return str;
    }

    // 清空缓冲区
    void Clear()
    {
        _reader_idx = 0;
        _writer_idx = 0;
    }
};

2.日志宏的实现

#include 
#include 
#include 

// 日志宏实现一
#define NORMAL 0
#define DEBUG 1
#define ERROR 2
#define LOG_LEVEL DEBUG

#define LOG(level,format,...) do{
    if(level < NORMAL) break;
    time_t t = time(nullptr);/*获取时间戳*/
    struct tm* ltm = localtime(&t);/*将时间戳转换为格式化的时间*/ 
    char buffer[32] = {0};
    strftime(buffer,31,"%H:%M:%S",ltm);/*获取时分秒*/
    /*##解除必须传递可变参数的限制*/
    fprintf(stdout,"[%p %s %s:%d]" format "
",(void*)pthread_self(),buffer,__FILE__,__LINE__,##__VA_ARGS__);
}while(0)

#define NOR_LOG(format,...) LOG(NORMAL,format,##__VA_ARGS__)
#define DBG_LOG(format,...) LOG(DEBUG,format,##__VA_ARGS__)
#define ERR_LOG(fromat,...) LOG(ERROR,format,##__VA_ARGS__)

// 日志宏实现二    
enum
{
    NORMAL,
    DEBUG,
    WARNING,
    ERROR,
    FATAL
};

// 将日志等级转换为字符串
const char *level_to_string(int level)
{
    switch (level)
    {
    case NORMAL:
        return "NORMAL";
    case DEBUG:
        return "DEBUG";
    case WARNING:
        return "WARNING";
    case ERROR:
        return "ERROR";
    case FATAL:
        return "FATAL";
    default:
        return "";
    }
}

#define LogMessage(level, format, ...)                                                                                                                       
    do                                                                                                                                                       
    {                                                                                                                                                        
        const char *level_str = level_to_string(level); /*日志等级*/                                                                                     
        time_t ts = time(nullptr);                      /*时间戳*/                                                                                        
        struct tm *lt = localtime(&ts);                 /*格式化时间*/                                                                                  
        char buffer[32] = {0};                                                                                                                               
        strftime(buffer, sizeof(buffer) - 1, "%y-%m-%d %H:%M:%S", lt);                                         /*格式化时间到字符串*/               
        fprintf(stdout, "[%s][%s][%s:%d] " format "
", level_str, buffer, __FILE__, __LINE__, ##__VA_ARGS__); /*##解除必须传递可变参数的限制*/ 
    } while (0)

3.Socket模块实现

功能设计:

​ 1.创建套接字

​ 2.绑定地址信息

​ 3.开始监听

​ 4.向服务器发起连接

​ 5.获取新连接

​ 6.接收数据

​ 7.发送数据

​ 8.创建一个监听连接

​ 9.创建一个客户端连接

​ 10.设置套接字选项–开启地址端口复用

​ 11.设置套接字阻塞属性–设置为非阻塞

具体实现时的一些细节如下:

  • Socket 类的目的是对 socket 原生的各种操作进行封装,便于我们后面使用,但即使是这样,创建一个服务端/客户端连接的步骤也显得较为繁琐,所以我们在 Socket 类中提供了直接创建一个服务端连接以及直接创建一个客户端连接的接口。
  • 在 TCP 中,一个连接 bind 了一个地址与端口后,一旦连接断开则会进入 time_wait 状态,此时连接不会立即释放,会继续占用地址和端口,这种策略是用来保护客户端的,但它也会造成我们服务器崩溃后不能立即重新启动,因此我们需要对服务端连接设置套接字选项,开启地址与端口复用。
  • 我们通过 recv/send 系统调用来读取与发送 socket 中的数据时,一般会直接将 socket 缓冲区读空或者写满,而由于套接字默认是阻塞的,因此这会导致我们的程序阻塞在 recv/send 函数这里,因此我们还需要为套接字设置非阻塞属性。

具体实现:

#define MAX_LISTEN 1024
class Socket
{
private:
    int _sockfd;

public:
    Socket() : _sockfd(-1) {}
    Socket(int fd) : _sockfd(fd) {}
    ~Socket() { Close(); }
    int Fd() { return _sockfd; }

public:
    // 创建套接字
    bool Create()
    {
        // int socket(int domain,int type,int protocol)
        _sockfd = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
        if (_sockfd < 0)
        {
            LogMessage(FATAL, "socket create failed");
            return false;
        }
        return true;
    }

    // 绑定地址信息
    bool Bind(const std::string &ip, const uint16_t &port)
    {
        struct sockaddr_in local;
        memset(&local, 0, sizeof local);

        local.sin_family = AF_INET;
        local.sin_port = htons(port);
        local.sin_addr.s_addr = inet_addr(ip.c_str());
        socklen_t len = sizeof(local);

        // int bind(int sockfd, const struct sockaddr *addr,socklen_t addrlen);
        int ret = bind(_sockfd, (struct sockaddr *)&local, len);
        if (ret < 0)
        {
            LogMessage(FATAL, "socket bind failed");
            return false;
        }
        return true;
    }

    // 开始监听
    bool Listen(int backlog = MAX_LISTEN)
    {
        // int listen(int sockfd, int backlog);
        int ret = listen(_sockfd, backlog);
        if (ret < 0)
        {
            LogMessage(FATAL, "socket listen failed");
            return false;
        }
        return true;
    }

    // 向服务器发起连接
    bool Connect(const std::string &ip, const uint16_t &port)
    {
        struct sockaddr_in server;
        memset(&server, 0, sizeof server);

        server.sin_family = AF_INET;
        server.sin_port = htons(port);
        server.sin_addr.s_addr = inet_addr(ip.c_str());
        socklen_t len = sizeof(server);

        // int connect(int sockfd, const struct sockaddr *addr,socklen_t addrlen);
        int ret = connect(_sockfd, (struct sockaddr *)&server, len);
        if (ret < 0)
        {
            LogMessage(FATAL, "socket connect failed");
            return false;
        }
        return true;
    }

    // 获取新连接
    int Accept()
    {
        // int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);
        int newfd = accept(_sockfd, nullptr, nullptr);
        if (newfd < 0)
        {
            LogMessage(FATAL, "connect newfd failed");
            return -1;
        }
        return newfd;
    }

    // 接收数据
    ssize_t Recv(void *buf, size_t len, int flags = 0)
    {
        // ssize_t recv(int sockfd, void *buf, size_t len, int flags);
        ssize_t ret = recv(_sockfd, buf, len, flags);
        if (ret <= 0)
        {
            // EAGAIN表示当前socket的接收缓冲区中没有数据了,在非阻塞的情况下才会有这个错误
            // EINTR 表示当前socket的阻塞等待,被信号打断了
            if (errno == EAGAIN || errno == EINTR)
            {
                return 0;
            }
            LogMessage(FATAL, "recv message failed");
            return -1;
        }
        // 返回实际接收到的长度
        return ret;
    }

    // 非阻塞接收数据
    ssize_t NonBlockRecv(void *buf, size_t len)
    {
        // MSG_DONTWAIT表示当接收为非阻塞
        return Recv(buf, len, MSG_DONTWAIT);
    }

    // 发送数据
    ssize_t Send(const void *buf, size_t len, int flags = 0)
    {
        // ssize_t send(int sockfd, const void *buf, size_t len, int flags);
        ssize_t ret = send(_sockfd, buf, len, flags);
        if (ret < 0)
        {
            if (errno == EINTR || errno == EAGAIN)
            {
                return 0;
            }
            LogMessage(FATAL, "send message failed");
            return -1;
        }
        // 返回实际发送的长度
        return ret;
    }

    // 非阻塞发送数据
    ssize_t NonBlockSend(const void *buf, size_t len)
    {
        if (len == 0)
            return 0;
        // MSG_DONTWAIT表示当前发送为非阻塞
        return Send(buf, len, MSG_DONTWAIT);
    }

    // 关闭套接字
    void Close()
    {
        if (_sockfd != -1)
        {
            close(_sockfd);
            _sockfd = -1;
        }
    }

    // 创建一个服务端连接
    bool CreateServer(const uint16_t &port, const std::string &ip = "0.0.0.0", bool block_flag = false)
    {
        // 1.创建套接字,2.设置非阻塞3.绑定地址,4.开始监听,5.启动地址重用
        if (Create() == false)
            return false;
        if (block_flag)
            NonBlock();
        if (Bind(ip, port) == false)
            return false;
        if (Listen() == false)
            return false;
        ReuseAddress();
        return true;
    }

    // 创建一个客户端连接
    bool CreateClient(const uint16_t &port, const std::string &ip)
    {
        // 1.创建套接字,2,连接服务器
        if (Create() == false)
            return false;
        if (Connect(ip, port) == false)
            return false;
        return true;
    }

    // 设置套接字选项 --开启地址端口重用
    void ReuseAddress()
    {
        // int setsockopt(int sockfd, int level, int optname,const void *optval, socklen_t optlen);
        int opt = 1;
        setsockopt(_sockfd, SOL_SOCKET, SO_REUSEADDR, (void *)&opt, sizeof opt);
        opt = 1;
        setsockopt(_sockfd, SOL_SOCKET, SO_REUSEPORT, (void *)&opt, sizeof opt);
        // int val = 1;
        // setsockopt(_sockfd, SOL_SOCKET, SO_REUSEADDR | SO_REUSEPORT, (void*)&val, sizeof(val));
    }

    // 设置套接字属性--设置为非阻塞
    void NonBlock()
    {
        // int fcntl(int fd, int cmd, ... /* arg */ );
        int flag = fcntl(_sockfd, F_GETFL, 0);
        fcntl(_sockfd, F_SETFL, flag | O_NONBLOCK);
    }
};

4.Channel模块实现

Channel类设计

目的:对描述符的监控事件管理

1.事件管理:

​ 描述符是否可读

​ 描述符是否可写

​ 对描述符监控可写

​ 对描述符监控可读

​ 解除可写事件监控

​ 解除可读事件监控

2.事件触发后的处理的管理

​ 1.需要处理的事件:可读,可写,挂断,错误,任意

​ 2.事件处理的回调函数

具体实现时的一些细节如下:

  • 通信描述符事件触发后会调用回调函数进行处理,而这个回调函数是由 Connection 模块设置给 Channel 模块的,因为 Connection 是对通信连接进行整体管理的一个模块,Channel 模块只是 Connection 模块的一个子模块。
  • 为了保证线程安全,添加/修改/移除事件监控的操作需要放到 Connection 对象关联的 EventLoop 对应的线程中去执行,同时,对描述监控事件的修改最后也必须通过 Poller 模块中的 epoll 相关函数来完成,而 Poller 模块也是 EventLoop 的一个子模块。
成员:因为后边使用epoll进行事件监控
EPOLLIN  可读
EPOLLOUT  可写
EPOLLRDHUP 连接断开
EPOLLPRI   优先数据
EPOLLERR 出错了
EPOLLHUP  挂断

以上的事件都是使用一个数值uint32_t 进行保存

要进行事件管理,就需要有一个uint32_t 类型的成员保存当前需要监控的事件

事件处理这里,因为有五种事件需要处理,就需要五个回调函数

主要框架:

class Channel
{
private:
    uint32_t _events; // 当前需要监控的事件
    uint32_t _revents; // 当前连接触发的事件
    using EventCallback = std::function<void()>;
    EventCallback _read_callback; // 可读事件被触发的回调函数
    EventCallback _write_callback;// 可写事件被触发的回调函数
    EventCallback _error_callback;// 错误事件被触发的回调函数
    EventCallback _close_callback;// 连接断开事件被触发的回调函数
    EventCallback _event_callback;// 任意事件被触发的回调函数

    public:
        Channel();
        void SetReadCallback(const EventCallback& cb);
        void SetWriteCallback(const EventCallback& cb);
        void SetErrorCallback(const EventCallback& cb);
        void SetCloseCallback(const EventCallback& cb);
        void SetEventCallback(const EventCallback& cb);
        bool ReadAble(); // 当前是否监控了可读
        bool WriteAble(); // 当前是否监控了可写
        void EnableRead(); // 启动可读事件
        void EnableWrite(); // 启动可写事件
        void DisableRead(); // 关闭读事件监控
        void DisableWrite();//关闭写事件监控
        void DisableAll();//关闭所有事件监控
        void Remove(); // 移除监控
        void Update();
        void HandleEvent();//事件处理,一旦发生了事件,就调用这个函数,自己触发 什么事件如何处理自己决定
};

具体实现:

class Poller;
class EventLoop;
class Channel
{
private:
    int _fd; // 文件描述符
    EventLoop *_loop;
    uint32_t _events;  // 当前需要监控的事件
    uint32_t _revents; // 当前连接触发的事件
    using EventCallback = std::function<void()>;
    EventCallback _read_callback;  // 可读事件被触发的回调函数
    EventCallback _write_callback; // 可写事件被触发的回调函数
    EventCallback _error_callback; // 错误事件被触发的回调函数
    EventCallback _close_callback; // 连接断开事件被触发的回调函数
    EventCallback _event_callback; // 任意事件被触发的回调函数
public:
    Channel(EventLoop *loop, int fd) : _fd(fd), _events(0), _revents(0), _loop(loop) {}

    // 获取文件描述符
    int Fd() { return _fd; }
    // 获取想要监控的事件
    uint32_t Events() { return _events; }
    // 设置实际就绪事件
    void SetRevents(const uint32_t &revents) { _revents = revents; }
    // 设置回调函数
    void SetReadCallback(const EventCallback &cb) { _read_callback = cb; }
    void SetWriteCallback(const EventCallback &cb) { _write_callback = cb; }
    void SetErrorCallback(const EventCallback &cb) { _error_callback = cb; }
    void SetCloseCallback(const EventCallback &cb) { _close_callback = cb; }
    void SetEventCallback(const EventCallback &cb) { _event_callback = cb; }

    // 当前是否监控了可读
    bool ReadAble() { return (_events & EPOLLIN); }
    // 当前是否监控了可写
    bool WriteAble() { return (_events & EPOLLOUT); }
    // 启动可读事件
    void EnableRead() { _events |= EPOLLIN; Update(); }
    // 启动可写事件
    void EnableWrite() { _events |= EPOLLOUT; Update(); }
    // 关闭读事件监控
    void DisableRead() { _events &= (~EPOLLIN); Update(); }
    // 关闭写事件监控
    void DisableWrite() { _events &= (~EPOLLOUT); Update(); }
    // 关闭所有事件监控
    void DisableAll() { _events = 0; Update(); }

    // 移除监控
    void Remove();
    // 添加监控
    void Update();

    // 事件处理,一旦发生了事件,就调用这个函数,自己触发 什么事件如何处理自己决定
    void HandleEvent()
    {
        // 可读事件就绪
        if ((_revents & EPOLLIN) || (_revents & EPOLLRDHUP) || (_revents & EPOLLPRI))
        {
            if (_read_callback)
            {
                _read_callback();
            }
            if (_event_callback)
            {
                _event_callback();
            }
        }
        // 可写事件就绪
        if (_revents & EPOLLOUT)
        {
            if (_write_callback)
                _write_callback();
            if (_event_callback)
                _event_callback();
        }
        // 错误事件 //一旦出错,就会释放连接,因此要放到前边调用任意回调
        else if (_revents & EPOLLERR)
        {
            if (_event_callback)
                _event_callback();
            if (_error_callback)
                _error_callback();
        }
        // 连接断开 //一旦出错,就会释放连接,因此要放到前边调用任意回调
        else if (_revents & EPOLLHUP)
        {
            if (_event_callback)
                _event_callback();
            if (_close_callback)
                _close_callback();
        }
    }
};
// 移除监控
void Channel::Remove() { return _loop->RemoveEvent(this); }
// 添加监控
void Channel::Update() { return _loop->UpdateEvent(this); }

3.描述符事件监控Poller类实现

Poller模块:描述符IO事件监控模块

意义:通过epoll实现对描述符的 IO 事件监控

功能:

​ 1.添加/修改描述符的事件监控(不存在则添加,存在则修改)

​ 2.移除描述符的事件监控

封装思想:

​ 1.必须拥有一个epoll的操作句柄

​ 2.拥有一个struct epoll_event 结构数组,监控时保存所有的活跃事件

​ 3.使用hash表管理描述符与描述符对应的事件管理Channel事件

逻辑流程:

​ 1.对描述符进行监控,通过Channel才知道描述符需要监控什么事件

​ 2.当描述符就绪了,通过描述符在hash表中找到对应的Channel(得到了Channel才能知道什么事件如何处理)当描述符就绪了,返回描述符对应的Channel

具体实现时的一些细节如下:

  • 由于描述符需要被监控的事件 _events 以及事件触发后的各种回调函数都保存在 Channel 中,并且就绪事件也需要保存到 Channel 的 _revents 中,因此在 Poller 中我们需要保存描述符与 Channel 的关联关系,这样才能知道要添加哪些事件监控,以及事件就绪后应该如何处理。
#define MAX_EPOLLEVENTS 1024
class Poller
{
private:
    int _epfd;
    struct epoll_event _evs[MAX_EPOLLEVENTS];
    std::unordered_map<int,Channel*>;
private:
    //1.判断要更新事件的描述符是否存在
    //2.针对epoll直接操作(添加,修改,移除)
public:
    //1.添加或更新描述符所监控的事件
    //2.移除描述符的监控
    //3.开始监控,获取就绪Channel
};

主要框架:

#define MAX_EPOLLEVENTS 1024
class Poller
{
private:
    int _epfd;
    struct epoll_event _evs[MAX_EPOLLEVENTS];
    std::unordered_map<int,Channel*> _channels;

    private:
        // 对epoll的直接操作
        void Update(Channel* channel,int op);
        // 判断一个channel是否已经添加了事件监控
        bool HashChannel(Channel* channel);
    
    public:
        Poller();
        // 添加或修改监控事件
        void UpdateEvent(Channel* channel);
        // 移除监控
        void RemoveEvent(Channel* channel);
        // 开始监控,返回活跃连接
        void Poll(std::vector<Channel*> active);
};

具体实现:

#define MAX_EPOLLEVENT 1024
class Poller
{
private:
    int _epfd;
    struct epoll_event _evs[MAX_EPOLLEVENT];
    std::unordered_map<int, Channel *> _channels;

private:
    // 对epoll的直接操作
    void Update(Channel *channel, int op)
    {
        // int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
        struct epoll_event ev;
        ev.events = channel->Events();
        ev.data.fd = channel->Fd();

        int ret = epoll_ctl(_epfd, op, channel->Fd(), &ev);
        if (ret < 0)
        {
            LogMessage(FATAL, "epollctl failed");
        }
        return;
    }

    // 判断一个channel是否已经添加了事件监控
    bool HasChannel(Channel *Channel)
    {
        auto it = _channels.find(Channel->Fd());
        return it != _channels.end();

        // if(it == _channels.end()) return false;
        // return true;
    }

public:
    Poller()
    {
        // int epoll_create(int size);
        _epfd = epoll_create(MAX_EPOLLEVENT);
        if (_epfd < 0)
        {
            LogMessage(FATAL, "epoll create failed");
            abort();
        }
    }

    // 添加或修改监控事件
    void UpdateEvent(Channel *channel)
    {
        bool ret = HasChannel(channel);
        // 不存在则添加
        if (ret == false)
        {
            _channels.insert(std::make_pair(channel->Fd(), channel));
            return Update(channel, EPOLL_CTL_ADD);
        }
        // 存在则修改
        return Update(channel, EPOLL_CTL_MOD);
    }

    // 移除监控
    void RemoveEvent(Channel *channel)
    {
        // bool ret = HasChannel(channel);
        // if(ret != false)
        // {
        //     _channels.erase(channel->Fd());
        //     return Update(channel,EPOLL_CTL_DEL);
        // }

        auto it = _channels.find(channel->Fd());
        if (it != _channels.end())
        {
            _channels.erase(it);
            return Update(channel, EPOLL_CTL_DEL);
        }
    }

    // 开始监控,返回活跃连接
    void Poll(std::vector<Channel *> *actives)
    {
        // int epoll_wait(int epfd, struct epoll_event *events,int maxevents, int timeout);
        int nfds = epoll_wait(_epfd, _evs, MAX_EPOLLEVENT, -1);
        if (nfds < 0)
        {
            if (errno == EINTR)
            {
                return;
            }
            LogMessage(FATAL, "epoll wait failed");
            abort();
        }

        for (int i = 0; i < nfds; i++)
        {
            auto it = _channels.find(_evs[i].data.fd);
            assert(it != _channels.end());

            // 设置实际的就绪事件
            it->second->SetRevents(_evs[i].events);
            actives->push_back(it->second);
        }
        return;
    }
};

4.EventLoop类的实现

eventfd:一种事件通知机制

创建一个描述符用于实现事件通知,eventfd本质在内核中管理的就是一个计数器,创建eventfd就会在内核中创建一个计数器(结构),每当eventfd中写入一个数值–用于表示事件通知次数,可以使用read进行数据的读取,读取到的数据就是通知的次数,假设每次给eventfd中写入一个1,就表示通知了一次,连续写了三次之后,再去read读取出来的数字就是3,读取之后计数清0。

用处:在EventLoop模块中实现线程间事件通知功能

#include 
int eventfd(unsigned int initval,int flags);
功能:创建一个eventfd对象,实现事件通知
参数:
initval:计数初值
flags:
EFD_CLOEXEC--禁止进程复制
EFD_NONBLCK--启动非阻塞属性
返回值:返回一个文件描述符用于操作
eventdfd也是通过read/write/close进行操作
注意:read/write进行IO的时候数据只能是一个8字节数据

使用案例:

#include 
#include 
#include 
#include 

int main()
{
    int efd = eventfd(0, EFD_CLOEXEC | EFD_NONBLOCK);
    if (efd < 0)
    {
        std::cerr << "eventfd create error" << std::endl;
    }

    uint64_t val = 1;
    write(efd, &val, sizeof(val));
    write(efd, &val, sizeof(val));
    write(efd, &val, sizeof(val));

    uint64_t res;
    int ret = read(efd, &res, sizeof(res));
    if (ret < 0)
    {
        std::cerr << "read failed" << std::endl;
    }
    std::cout << res << std::endl;
    return 0;
}

EventLoop:进行事件监控以及事件处理的模块

关键点:这个模块与线程是一一对应关联的

监控了一个连接,而这个连接一旦就绪,就要进行事件处理,但是如果这个描述符,在多个线程中都触发了事件,进行处理,就会存在线程安全问题,因此我们需要将一个连接的事件监控,以及连接事件处理,以及其他操作都放在一个线程中进行

如何保证一个连接的所有操作都在EventLoop对应的线程中,解决方案:给EventLoop模块中,添加一个任务队列,对连接的所有操作,都进行一次封装,将对连接的操作并不直接执行,而是当做任务添加到任务队列中

EventLoop处理流程:

1.在线程中对描述符进行事件监控

2.有描述符就绪则对描述符进行事件处理(如何保证处理回调函数中的操作都在线程中)

3.所有的就绪事件处理完了,这个时候再去将任务队列中的所有任务一一执行

EventLoop分为epoll和task任务队列。epoll中文件描述符就绪了,进行事件处理–调用回调函数,处理过程中调用了send,而这个send是封装后的send,实际上内部是将数据的发送操作,压入队列,等到所有的就绪事件都处理完了,然后从task任务队列中一 一取出实际要进行操作执行。这样能够保证对于连接的所有操作,都是在一个线程中进行的,不涉及线程安全问题,但是对于任务队列的操作有线程安全问题,只需要给task的操作加上一把锁即可。

数据:

1.事件监控:即Poller模块,有事件就绪则进行事件处理

2.执行任务队列中的任务:一个线程安全的任务队列

注意点:因为有可能因为等待描述符IO事件就绪,导致执行流阻塞,这时候任务队列中的任务将得不到执行,因此得有一个事件通知的东西,能够唤醒事件监控的阻塞

当事件就绪,需要处理的时候,处理过程中,如果对连接要进行某些操作:这些操作必须在EventLoop对应的线程中执行,保证对连接的各项操作都是线程安全的。

1.如果执行的操作本就在线程中,不需要将操作压入队列了,可以直接执行

2.如果执行的操作不在线程中,才需要加入任务池,等待事件处理完了然后执行任务

具体实现时的一些细节如下:

  • 当我们监控了一个客户端连接后,一旦这个连接触发了事件,就需要调用对应的回调函数进行事件处理,而在我们处理事件的过程中如果此连接触发了新的事件,那么新事件的处理就有可能被分配到其他线程中去执行,这样就有可能会导致线程安全问题。
  • 那么我们需要为每一个连接的操作都加一把锁来保证线程安全吗?这样做当然是可以的,但是没必要,因为当我们的连接很多时就需要创建很多的锁,这会造成不必要的资源开销;我们仅需将一个连接的事件监控,连接的事件处理以及连接的所有其他操作都放在同一个线程中去完成即可,即让连接与线程一一对应。
  • 虽然连接无法直接与线程一一对应,但是 EventLoop 模块是与线程是一一对应的,因此我们只需将一个连接与一个 EventLoop 模块相绑定,从而间接完成连接与线程的一一绑定。
  • 但是这样仍不保险,因为组件使用者可能自己设计了任务线程池,再一次对任务进行了分摊,在这种情况下我们并不能保证连接的所有操作都在同一个线程中完成,那么如何保证一个连接的所有操作都必定在 EventLoop 对应的线程中呢?
  • 我们的解决方案是给 EventLoop 模块中添加一个任务队列,对连接的所有操作并不直接执行,而是将其进行一次封装,然后当作任务添加到任务队列中,最后等到连接所有的就绪事件处理完了 (都添加都任务队列中了),再去将任务队列中的所有任务一一执行;此时我们仅需要对这个任务队列加一把锁保证其线程安全即可。
  • 我们举个例子,在一号线程中我们对连接1进行了事件监控,此时连接触发了事件A,事件A在一号线程中被执行,执行过程中触发了事件B,由于一号线程忙碌,因此事件B被分配到二号线程中执行 (假设外部设置了任务线程池),但事件A和事件B其实并没有被真正执行,而是仅仅压入任务队列后就返回了,最后得到所有就绪事件都被压入任务队列后,我们再在一号线程中逐个取出任务队列中的任务执行,从而保证线程安全。
  • 最后,因为有可能因为等待描述符IO事件就绪,导致执行流流程阻塞,这时候任务队列中的任务将得不到执行,因此需要使用 eventfd 来进行事件通知,唤醒事件监控的阻塞。

定时器模块的整合:

timerfd:实现内核每个一段时间,给进程一次超时时间(timerfd可读)

timewheel:实现每次执行Runtimetask,都可以执行一波到期的定时任务,要实现一个完整的秒级定时器,就需要将这两个功能整合到一起。

timerfd设置每秒钟触发一次定时事件,当事件被触发,则运行一次timerwheel的runtimertask,执行一下所有的过期定时任务

具体实现时的一些细节如下:

  • 在前面我们学习了 timerfd 的使用以及 timerwheel 的设计思想,而要实现一个完整的秒级定时器,就需要将这两个功能整合到一起:
  • 一方面,我们将 timerfd 的超时时间设置为 1s,这样 timerfd 每秒钟就会触发一次可读事件 (timerfd 可读事件监控可以通过 EventLoop 来实现);另一方面,每当 timerfd 触发可读事件,我们就执行一次 TimerWheel 中的 RunTimerTask 函数,即执行秒针所在位置的所有超时事件。
  • 这样,我们在 TimerWheel 定时器中记录所有的超时事件,然后使用 timerfd 模拟来模拟定时器秒针的移动,从而实现了非活跃连接在 N 秒后释放的功能。

timewheel模块代码

// 定时器任务的回调函数,即超时时执行的任务
using TaskFunc = std::function<void()>;
// 定时器对象销毁的回调函数
using ReleaseFunc = std::function<void()>;
// 定时器任务
class TimerTask
{
private:
    uint64_t _id;         // 定时器任务对象id
    uint32_t _timeout;    // 超时定时任务的超时时间
    bool _canceled;       // 超时任务:false表示没有被取消,true表示被取消了
    TaskFunc _task_cb;    // 定时器对象要执行的定时任务
    ReleaseFunc _release; // 用于删除TimerWheel中保存的定时器对象信息
public:
    TimerTask(const uint64_t &id, const uint32_t &delay, const TaskFunc &cb)
        : _id(id), _timeout(delay), _task_cb(cb), _canceled(false) {}
    ~TimerTask()
    {
        if (_canceled == false)
            _task_cb();
        _release();
    }

    void Canceled() { _canceled = true; }
    uint32_t DelayTime() { return _timeout; }
    void SetRelease(const ReleaseFunc &cb) { _release = cb; }
};

// 管理定时器任务的shared_ptr
using PtrTask = std::shared_ptr<TimerTask>;
// 管理定时器任务的weak_ptr
using WeakTask = std::weak_ptr<TimerTask>;
class EventLoop;
// 时间轮
class TimerWheel
{
private:
    int _tick;     // 当前的秒针,走到哪里释放哪里,就相当于执行哪里的任务
    int _capacity; // 表盘的最大数量,即最大延迟时间
    std::vector<std::vector<PtrTask>> _wheel;
    std::unordered_map<uint64_t, WeakTask> _timers;

    EventLoop *_loop;
    int _timerfd; // 定时器描述符--可读事件回调就是读取定时器,并执行定时任务
    std::unique_ptr<Channel> _timer_channel;

private:
    void RemoveTimer(const uint64_t &id)
    {
        auto it = _timers.find(id);
        if (it != _timers.end())
        {
            _timers.erase(it);
        }
    }

    // 创建定时器描述符
    static int CreateTimerfd()
    {
        // 创建一个定时器
        int timerfd = timerfd_create(CLOCK_MONOTONIC, 0);
        if (timerfd < 0)
        {
            LogMessage(FATAL, "create timerfd failed");
            abort();
        }

        // 设置超时时间
        struct itimerspec ims;
        // 第一次超时时间为1s后
        ims.it_value.tv_sec = 1;
        ims.it_value.tv_nsec = 0;
        // 第一次超时后,每次超时的间隔时
        ims.it_interval.tv_sec = 1;
        ims.it_interval.tv_nsec = 0;

        // 启动定时器
        int n = timerfd_settime(timerfd, 0, &ims, nullptr);
        if (n < 0)
        {
            LogMessage(FATAL, "timerfd settime failed");
            abort();
        }
        return timerfd;
    }

    // 读取定时器描述符的数据
    int ReadTimerfd()
    {
        uint64_t times;
        ssize_t ret = read(_timerfd, &times, 8);
        if (ret < 0)
        {
            LogMessage(FATAL, "read timerfd failed");
            abort();
        }
        return times;
    }

    // 这个函数应该每秒钟被执行一次,相当于秒针向后走了一步
    void RunTimerTask()
    {
        _tick = (_tick + 1) % _capacity;
        // 清空指定位置的数组,就会把数组中保存的所有管理定时器对象的shared_ptr释放掉
        _wheel[_tick].clear();
    }

    // 定时器读事件的回调函数
    void OnTime()
    {
        // 根据实际超时的次数,执行对应的超时任务
        int times = ReadTimerfd();
        for (int i = 0; i < times; i++)
        {
            RunTimerTask();
        }
    }

    // 添加定时任务
    void TimerAddInLoop(const uint64_t &id, const uint32_t &delay, const TaskFunc &cb)
    {
        PtrTask ptr(new TimerTask(id, delay, cb));
        ptr->SetRelease(std::bind(&TimerWheel::RemoveTimer, this, id));
        int pos = (_tick + delay) % _capacity;

        // 将shared_ptr管理的对象加入到时间轮中
        _wheel[pos].push_back(ptr);
        // 将shared_ptr管理的对象的weak_ptr加入到哈希表中
        _timers[id] = WeakTask(ptr);
    }

    // 刷新/延迟定时时间
    void TimerRefreshInLoop(const uint64_t &id)
    {
        // 通过保存的定时器的weak_ptr构造一个shared_ptr出来,添加到轮子中
        auto it = _timers.find(id);
        // 没找着定时任务,没法刷新,没法延迟
        if (it == _timers.end())
        {
            return;
        }
        // lock获取weak_ptr管理的对象对应的shared_ptr
        PtrTask ptr = it->second.lock();
        int delay = ptr->DelayTime();
        int pos = (_tick + delay) % _capacity;
        _wheel[pos].push_back(ptr);
    }

    // 取消定时任务
    void TimerCancelInLoop(const uint64_t &id)
    {
        auto it = _timers.find(id);
        // 没有找到定时任务就没法刷新和延迟,直接退出
        if (it == _timers.end())
            return;
        PtrTask ptr = it->second.lock();
        if (ptr)
            ptr->Canceled();
    }

public:
    TimerWheel(EventLoop *loop)
        : _tick(0), _capacity(60), _wheel(_capacity),
          _loop(loop), _timerfd(CreateTimerfd()),
          _timer_channel(new Channel(_loop, _timerfd))
    {
        _timer_channel->SetReadCallback(std::bind(&TimerWheel::OnTime, this));
        _timer_channel->EnableRead(); // 启动读事件
    }

    // 定时器有个成员_timers成员,定时器信息的操作有可能在多个线程中进行,因此要考虑线程安全
    // 如果不想加锁,那就把对定时器的所有操作,都放到一个线程中执行
    // 添加定时任务
    void TimerAdd(const uint64_t &id, const uint32_t &delay, const TaskFunc &cb);
    // 刷新/延迟定时时间
    void TimerRefresh(const uint64_t &id);
    // 取消定时任务
    void TimerCancel(const uint64_t &id);

    // 存在线程安全问题,不能被外界使用者调用,只能在模块内,在对应的EventLoop线程内调用
    bool HasTimer(const uint64_t &id)
    {
        auto it = _timers.find(id);
        // 没有找到定时任务就没法刷新和延迟,直接退出
        if (it == _timers.end())
            return false;
        return true;
    }
};
// 添加定时任务
void TimerWheel::TimerAdd(const uint64_t &id, const uint32_t &delay, const TaskFunc &cb)
{
    return _loop->RunInLoop(std::bind(&TimerWheel::TimerAddInLoop, this, id, delay, cb));
}
// 刷新/延迟定时时间
void TimerWheel::TimerRefresh(const uint64_t &id)
{
    return _loop->RunInLoop(std::bind(&TimerWheel::TimerRefreshInLoop, this, id));
}
// 取消定时任务
void TimerWheel::TimerCancel(const uint64_t &id)
{
    return _loop->RunInLoop(std::bind(&TimerWheel::TimerCancelInLoop, this, id));
}

EventLoop类的实现:

using Functor = std::function<void()>;
class EventLoop
{
private:
    std::thread::id _thread_id; // 线程ID
    int _event_fd;              // eventfd唤醒IO事件监控有可能导致的阻塞
    std::unique_ptr<Channel> _event_channel;
    Poller _poller;              // 进行描述符的事件监控
    std::vector<Functor> _tasks; // 任务池
    std::mutex _mutex;           // 实现任务池操作的线程安全
    TimerWheel _timer_wheel;     // 定时器模块
private:
    // 执行任务池中的所有任务
    void RunAllTask()
    {
        std::vector<Functor> functor;
        {
            std::unique_lock<std::mutex> lock(_mutex);
            _tasks.swap(functor);
        }

        for (auto &func : functor)
        {
            func();
        }
        return;
    }

    // 创建一个eventfd对象,实现事件通知
    static int CreateEventFd()
    {
        // int eventfd(unsigned int initval, int flags);
        // EFD_CLOEXEC--禁止进程复制
        // EFD_NONBLCK--启动非阻塞属性
        int efd = eventfd(0, EFD_CLOEXEC | EFD_NONBLOCK);
        if (efd < 0)
        {
            LogMessage(FATAL, "eventfd create failed");
            abort();
        }
        return efd;
    }

    // 读取eventfd中的数据,来完成清0-线程接收通知
    void ReadEventFd()
    {
        uint64_t res = 0;
        int ret = read(_event_fd, &res, sizeof(res));
        if (ret <= 0)
        {
            // EINTR----被信号打断  EAGAIN -- 表示无数据可读
            if (errno == EINTR || errno == EAGAIN)
            {
                return;
            }
            LogMessage(FATAL, "read eventfd failed");
            abort();
        }
        return;
    }

    // 向eventfd写入数据,实现线程的通知
    void WeakUpEventFd()
    {
        uint64_t val = 1;
        int ret = write(_event_fd, &val, sizeof(val));
        if (ret <= 0)
        {
            if (errno == EINTR)
            {
                return;
            }
            LogMessage(FATAL, "write eventfd failed");
            abort();
        }
        return;
    }

public:
    EventLoop() : _thread_id(std::this_thread::get_id()),
                  _event_fd(CreateEventFd()),
                  _event_channel(new Channel(this, _event_fd)),
                  _timer_wheel(this)
    {
        // 给eventfd 添加可读事件回调函数,读取eventfd事件通知次数
        _event_channel->SetReadCallback(std::bind(&EventLoop::ReadEventFd, this));
        // 启动eventfd的读事件监控
        _event_channel->EnableRead();
    }

    // 三步走---事件监控--》就绪事件处理--》执行任务
    void Start()
    {
        for (;;)
        {
            // 1.事件监控
            std::vector<Channel *> actives;
            _poller.Poll(&actives);

            // 2.就绪事件处理
            for (auto &channel : actives)
            {
                channel->HandleEvent();
            }
            // 3.执行任务
            RunAllTask();
        }
    }

    // 用于判断当前线程是否是EventLoop对应的线程
    bool IsInLoop()
    {
        return _thread_id == std::this_thread::get_id();
    }

    void AssertInLoop()
    {
        assert(_thread_id == std::this_thread::get_id());
    }

    // 判断将要执行的任务是否处于当前线程中
    void RunInLoop(const Functor &cb)
    {
        if (IsInLoop())
        {
            return cb();
        }
        return QueueInLoop(cb);
    }

    // 将操作压入任务池
    void QueueInLoop(const Functor &cb)
    {
        {
            std::unique_lock<std::mutex> lock(_mutex);
            _tasks.push_back(cb);
        }
        // 唤醒有可能因为没有事件就绪,而导致的epoll阻塞
        // 其实就是给eventfd写入一个数据,eventfd就会触发可读事件
        WeakUpEventFd();
    }

    // 添加/修改描述符的事件监控
    void UpdateEvent(Channel *channel)
    {
        return _poller.UpdateEvent(channel);
    }

    // 移除描述符的事件监控
    void RemoveEvent(Channel *channel)
    {
        return _poller.RemoveEvent(channel);
    }

    // 添加定时任务
    void TimerAdd(const uint64_t &id, const uint32_t &delay, const TaskFunc &cb)
    {
        return _timer_wheel.TimerAdd(id, delay, cb);
    }

    // 刷新定时任务
    void TimerRefresh(const uint64_t &id)
    {
        return _timer_wheel.TimerRefresh(id);
    }

    // 取消定时任务
    void TimerCancel(const uint64_t &id)
    {
        return _timer_wheel.TimerCancel(id);
    }

    bool HasTimer(const uint64_t &id)
    {
        return _timer_wheel.HasTimer(id);
    }
};

4.通信连接管理Connection类实现

Connection:

目的:对连接进行全方位的管理,对通信连接的所有操作都是通过这个模块提供的功能完成

管理:
1.套接字的管理,能够进行套接字的操作

2.连接事件的管理,可读,可写,错误,挂断,任意

3.缓冲区的管理,便于socket数据的接收和发送

4.协议上下文的管理,记录请求数据的处理过程

5.回调函数的管理

因为连接接收到数据之后该如何处理,需要由用户决定,因此必须有业务处理回调函数

一个连接建立成功后,该如何处理,由用户决定,因此必须有连接建立成功的回调函数

一个连接关闭前,该如何处理,由用户决定,因此必须由关闭连接回调函数。

任意事件的产生,有没有某些处理,由用户决定,因此必须有任意事件的回调函数

功能:
1.发送数据—给用户提供的发送数据接口,并不是真正的发送接口,而只是把数据放到发送缓冲区,然后启动写事件监控

2关闭连接—给用户提供的关闭连接接口,应该在实际释放连接之前,看看输入输出缓冲区是否有数据待处理

3.启动非活跃连接的超时销毁功能

4.取消非活跃连接的超时销毁功能

5.协议切换-一个连接接收数据后如何进行业务处理,取决于上下文,以及数据的业务处理回调函数

Connection模块是对连接的管理模块,对于连接的所有操作都是通过这个模块完成的

场景:对连接进行操作的时候,但是连接已经被释放,导致内存访问错误,最终程序崩溃

解决方案:使用智能指针shared_ptr对Connection对象进行管理,这样就能保证任意一个地方对Connection对象进行操作的时候,保存了一份shared_ptr,因此就算其他地方进行释放操作,也只是对shared_ptr的计数器-1.而不会导致Connection的实际释放

具体实现时的一些细节如下:

  • Connection 模块是对连接进行全方位管理的一个模块,而管理具体包括套接字的管理 – 使连接能够进行套接字的操作,连接事件的管理 – 包括可读,可写,错误,挂断以及任意事件,缓冲区的管理 – 便于 socket 数据的接收和发送,协议上下文的管理 – 用于记录请求数据的处理过程,以及回调函数的管理 – 提供连接建立完成、接收新数据、连接关闭、任意事件的回调函数设置接口,让组件使用者能够根据需要进行设置。
  • Connection 模块需要提供数据发送接口,但这并不是真正的发送接口,而只是把数据放到用户态发送缓冲区,然后描述符启动写事件监控,待到 socket 缓冲区可写后再真正发送数据;同样,关闭连接接口也并不是直接关闭连接,而应该在实际释放连接之前,看看输入输出缓冲区中是否有数据待处理,有则处理后再真正关闭连接;最后,一个连接接收到数据后应该如何进行业务处理,取决于上下文以及数据的业务处理回调函数,即上层协议,而切换协议接口的作用就是更改协议对应的上下文以及各种回调函数 (通用容器 Any)。
  • 由于对连接的所有操作都是通过 Connection 模块来完成的,因此可能出现对连接进行某种操作的时候,Connection 对象已经被释放的场景,从而造成内存访问错误,导致程序崩溃 (虽然其他线程中对连接的所有操作都会被放入任务队列中,最后在连接对应的 EventLoop 关联的线程中去执行,但是任务队列中任务的执行也存在先后顺序);因此我们使用 shared_ptr 对 Connection 对象进行管理,然后在任意一个地方对 Connection 对象进行操作的时候都保存一份 shared_ptr,这样就算其他地方进行了释放操作,也只是将 shared_ptr 的计数器 -1,而不会导致 Connection 的实际释放。
class Connection;
// DISCONNECTED -- 连接关闭状态   CONNECTING -- 连接建立成功
// CONNECTED -- 连接建立完成,各种设置已完成,可以通信的状态
// DISCONNECTING -- 待关闭的状态
typedef enum
{
    DISCONNECTED,
    CONNECTING,
    CONNECTED,
    DISCONNECTING
} ConnStatu;

using PtrConnection = std::shared_ptr<Connection>;
class Connection
{
private:
    uint64_t _conn_id; // 连接的唯一ID
    // uint64_t _timer_id;            // 定时器ID,必须是唯一的,这块为了简化操作使用conn_id作为定时器ID
    int _sockfd;                   // 连接关联的文件描述符
    bool _enable_inactive_release; // 连接是否启动非活跃销毁的判断标志,默认为false
    ConnStatu _statu;              // 连接的状态
    Socket _socket;                // 套接字操作管理
    Channel _channel;              // 连接的事件管理
    Buffer _in_buffer;             // 输入缓冲区--存放从socket中读到的数据
    Buffer _out_buffer;            // 输出缓冲区--存放要发送给对端的数据
    Any _context;                  // 请求的接收处理的上下文

    /*这四个回调函数,是让服务器模块来设置的(其实服务器模块的处理回调也是组件使用者设置的)*/
    /*换句话说,这几个回调都是组件使用者使用的*/
    using ConnectedCallback = std::function<void(const PtrConnection &)>;
    using MessageCallback = std::function<void(const PtrConnection &, Buffer *)>;
    using ClosedCallback = std::function<void(const PtrConnection &)>;
    using AnyEventCallback = std::function<void(const PtrConnection &)>;
    ConnectedCallback _connected_callback;
    MessageCallback _message_callback;
    ClosedCallback _closed_callback;
    AnyEventCallback _event_callback;
    ClosedCallback _server_closed_callback;

private:
    // 五个Channel的事件回调函数
    void HandleRead();//描述符可读事件触发后的回调函数
    void HandleWrite();//描述符可写事件触发后的回调函数
    void HandleClose();//描述符挂断事件触发后的回调函数
    void HandleError();//描述符错误事件触发后的回调函数
    void HandleEvent();//描述符任意事件触发后的回调函数
    void EstableishdInLoop();//连接获取之后,所处的状态下要进行的各种设置(给Channel设置事件回调,启动读监控)
    void ReleaseInLoop();
    void SendInLoop(const char *data, int len);
    void ShutDownInLoop();
    void EnableInactiveReleaseInLoop(int sec);
    void CancelInactiveReleaseInLoop();
    void UpgrateInLoop(const Any &context,
                       const ConnectedCallback &conn,
                       const MessageCallback &msg,
                       const ClosedCallback &closed,
                       const AnyEventCallback &event);

public:
    Connection(EventLoop *loop, const uint64_t &conn_id, int sockfd);
    ~Connection();
    int Fd();                            // 获取管理的文件描述符
    int Id();                            // 获取连接ID
    bool Connected();                    // 是否处于CONNECTED状态
    void SetContext(const Any &context); // 设置上下文
    Any *GetContext();                   // 获取上下文,返回的是指针
    void SetConnextedCallback(const ConnectedCallback &cb);
    void SetMessageCallback(const MessageCallback &cb);
    void SetClosedCallback(const ClosedCallback &cb);
    void SetAnyEventedCallback(const AnyEventCallback &cb);
    // 连接建立就绪后,进行channel回调设置,启动读监控,调用_connected_callback
    void Established();
    // 发送数据,将数据放到发送缓冲区,启动写事件监控
    void Send(const char *data, size_t len);
    // 提供给组件使用者的关闭接口 --并不实际关闭,需要判断有没有数据待处理
    void Shutdown();
    // 启动非活跃销毁,并定义多长时间无通信就是非活跃,添加定时任务
    void EnableInactiveRelease(int sec);
    // 取消非活跃销毁
    void CancleInactiveRelease(int sec);
    // 切换协议--重置上下文以及阶段性处理函数
    void Update(const Any &context, const ConnectedCallback &conn, const MessageCallback &msg,
                const ClosedCallback &closed, const AnyEventCallback &event);
};

完整代码:

class Connection;
// DISCONNECTED -- 连接关闭状态   CONNECTING -- 连接建立成功
// CONNECTED -- 连接建立完成,各种设置已完成,可以通信的状态
// DISCONNECTING -- 待关闭的状态
typedef enum
{
    DISCONNECTED,
    CONNECTING,
    CONNECTED,
    DISCONNECTING
} ConnStatu;

using PtrConnection = std::shared_ptr<Connection>;
class Connection : public std::enable_shared_from_this<Connection>
{
private:
    uint64_t _conn_id; // 连接的唯一ID
    // uint64_t _timer_id;            // 定时器ID,必须是唯一的,这块为了简化操作使用conn_id作为定时器ID
    int _sockfd;                   // 连接关联的文件描述符
    bool _enable_inactive_release; // 连接是否启动非活跃销毁的判断标志,默认为false
    EventLoop *_loop;              // 连接所关联的一个EventLoop
    ConnStatu _statu;              // 连接的状态
    Socket _socket;                // 套接字操作管理
    Channel _channel;              // 连接的事件管理
    Buffer _in_buffer;             // 输入缓冲区--存放从socket中读到的数据
    Buffer _out_buffer;            // 输出缓冲区--存放要发送给对端的数据
    Any _context;                  // 请求的接收处理的上下文

    /*这四个回调函数,是让服务器模块来设置的(其实服务器模块的处理回调也是组件使用者设置的)*/
    /*换句话说,这几个回调都是组件使用者使用的*/
    using ConnectedCallback = std::function<void(const PtrConnection &)>;
    using MessageCallback = std::function<void(const PtrConnection &, Buffer *)>;
    using ClosedCallback = std::function<void(const PtrConnection &)>;
    using AnyEventCallback = std::function<void(const PtrConnection &)>;
    ConnectedCallback _connected_callback;
    MessageCallback _message_callback;
    ClosedCallback _closed_callback;
    AnyEventCallback _event_callback;
    /*组件内的连接关闭回调--组件内设置的,因为服务器组件内会把所有的连接管理起来,一旦某个连接要关闭*/
    /*就应该从管理的地方移除掉自己的信息*/
    ClosedCallback _server_closed_callback;

private:
    // 五个Channel的事件回调函数
    // 描述符可读事件触发后的回调函数
    void HandleRead()
    {
        // 1.接收socket的数据,放到缓冲区
        char buffer[65536];
        ssize_t ret = _socket.NonBlockRecv(buffer, 65535);
        if (ret < 0)
        {
            // 出错了,不能直接关闭连接
            return ShutDownInLoop();
        }
        else if (ret == 0)
        {
            // 这里等于0表示的是没有读到数据,而并不是连接断开了,连接断开返回的是-1
            return;
        }

        // 将数据放入输入缓冲区
        _in_buffer.WriteAndPush(buffer, ret);

        // 2.调用message_callback进行业务处理
        if (_in_buffer.ReadAbleSize() > 0)
        {
            // shared_from_this从当前对象自身获取自身的shared_ptr管理对象
            // 需要当前类继承enable_shared_from_this
            return _message_callback(shared_from_this(), &_in_buffer);
        }
    }

    // 描述符可写事件触发后的回调函数,将发送缓冲区中的数据进行发送
    void HandleWrite()
    {
        // _out_buffer中保存的数据就是要发送的数据
        ssize_t ret = _socket.NonBlockSend(_out_buffer.ReadPosition(), _out_buffer.ReadAbleSize());
        if (ret < 0)
        {
            // 发送错误就该关闭连接了
            if (_in_buffer.ReadAbleSize() > 0)
            {
                _message_callback(shared_from_this(), &_in_buffer);
            }
            // 这时是实际关闭连接进行释放
            return Release();
        }

        // 将读偏移向后移动
        _out_buffer.MoveReadOffset(ret);

        // 如果当前是连接关闭状态,则有数据,发送完数据释放连接,没有数据则直接释放连接
        if (_out_buffer.ReadAbleSize() == 0)
        {
            // 没有数据发送了,关闭写事件监控
            _channel.DisableWrite();
            if (_statu == DISCONNECTING)
                return Release();
        }
        return;
    }

    // 描述符挂断事件触发后的回调函数
    void HandleClose()
    {
        // 一旦连接挂断了,套接字就什么都干不了了,因此有数据待处理就处理一下,完毕关闭连接
        if (_in_buffer.ReadAbleSize() > 0)
        {
            _message_callback(shared_from_this(), &_in_buffer);
        }
        return Release();
    }

    // 描述符错误事件触发后的回调函数
    void HandleError()
    {
        return HandleClose();
    }

    // 描述符任意事件触发后的回调函数
    void HandleEvent()
    {
        if (_enable_inactive_release == true)
        {
            _loop->TimerRefresh(_conn_id);
        }
        if (_event_callback)
        {
            _event_callback(shared_from_this());
        }
    }

    // 连接获取之后,所处的状态下要进行的各种设置(给Channel设置事件回调,启动读监控)
    void EstableishdInLoop()
    {
        // 1.修改连接状态 2.启动读事件监控  3.调用回调函数
        // 当前状态必须一定是上层的半连接状态
        assert(_statu == CONNECTING);
        // 当前函数执行完毕则连接进入已完成连接状态
        _statu = CONNECTED;
        // 一旦启动读事件监控就可能会立即触发读事件,如果这时候启动了非活跃连接销毁
        _channel.EnableRead();

        if (_connected_callback)
            _connected_callback(shared_from_this());
    }

    // 这个接口是实际的释放接口
    void ReleaseInLoop()
    {
        // 1.修改连接状态,将其设置为DISCONNECTED
        _statu = DISCONNECTED;
        // 2.移除连接的事件监控
        _channel.Remove();
        // 3.关闭描述符
        _socket.Close();
        // 4.如果当前定时器队列中还有定时销毁任务,则取消任务
        if (_loop->HasTimer(_conn_id))
            CancelInactiveReleaseInLoop();
        // 5.调用关闭回调函数,避免先移除服务器管理的连接信息导致Connection被释放,再去处理会出错,因此先调用用户的回调函数
        if (_closed_callback)
            _closed_callback(shared_from_this());
        // 6.移除服务器内部管理的连接信息
        if (_server_closed_callback)
            _server_closed_callback(shared_from_this());
    }

    // 这个接口不是真正的发送接口,而只是把数据放到了发送缓冲区,启动了可写事件监控
    void SendInLoop(Buffer &buffer)
    {
        if (_statu == DISCONNECTED)
            return;
        _out_buffer.WriteBufferAndPush(buffer);
        if (_channel.WriteAble() == false)
        {
            _channel.EnableWrite();
        }
    }

    // 这个关闭操作并不是实际的连接关闭释放操作,需要判断还有没有数据待处理,待发送
    void ShutDownInLoop()
    {
        // 将连接设置为半连接状态
        _statu == DISCONNECTING;
        if (_in_buffer.ReadAbleSize() > 0)
        {
            if (_message_callback)
                _message_callback(shared_from_this(), &_in_buffer);
        }

        // 要么就是写入数据的时候出错关闭,要么就是没有待发送数据,直接关闭
        if (_out_buffer.ReadAbleSize() > 0)
        {
            if (_channel.WriteAble() == false)
            {
                _channel.EnableWrite();
            }
        }

        if (_out_buffer.ReadAbleSize() == 0)
        {
            Release();
        }
    }

    // 启动非活跃连接超时的释放规则
    void EnableInactiveReleaseInLoop(int sec)
    {
        // 1.将判断标志 _enable_inactive_release 置为true
        _enable_inactive_release = true;
        // 2.如果当前定时器销毁任务已经存在,那就刷新延迟一下时间
        if (_loop->HasTimer(_conn_id))
        {
            return _loop->TimerRefresh(sec);
        }
        // 3.如果不存在定时销毁任务,则新增
        _loop->TimerAdd(_conn_id, sec, std::bind(&Connection::Release, this));
    }

    void CancelInactiveReleaseInLoop()
    {
        _enable_inactive_release = false;
        if (_loop->HasTimer(_conn_id))
        {
            _loop->TimerCancel(_conn_id);
        }
    }

    void UpgrateInLoop(const Any &context,
                       const ConnectedCallback &conn,
                       const MessageCallback &msg,
                       const ClosedCallback &closed,
                       const AnyEventCallback &event)
    {
        _context = context;
        _connected_callback = conn;
        _message_callback = msg;
        _closed_callback = closed;
        _event_callback = event;
    }

public:
    Connection(EventLoop *loop, const uint64_t &conn_id, int sockfd)
        : _conn_id(conn_id), _sockfd(sockfd), _enable_inactive_release(false), _loop(loop),
          _statu(CONNECTING), _socket(sockfd), _channel(loop, _sockfd)
    {
        _channel.SetCloseCallback(std::bind(&Connection::HandleClose, this));
        _channel.SetReadCallback(std::bind(&Connection::HandleRead, this));
        _channel.SetWriteCallback(std::bind(&Connection::HandleWrite, this));
        _channel.SetErrorCallback(std::bind(&Connection::HandleError, this));
        _channel.SetEventCallback(std::bind(&Connection::HandleEvent, this));
    }

    ~Connection()
    {
        LogMessage(NORMAL, "release connection: %p", this);
    }

    // 获取管理的文件描述符
    int Fd() { return _sockfd; }
    // 获取连接ID
    int Id() { return _conn_id; }
    // 是否处于CONNECTED状态
    bool Connected() { return _statu == CONNECTED; }
    // 设置上下文
    void SetContext(const Any &context) { _context = context; }
    // 获取上下文,返回的是指针
    Any *GetContext() { return &_context; }

    void SetConnectedCallback(const ConnectedCallback &cb) { _connected_callback = cb; }
    void SetMessageCallback(const MessageCallback &cb) { _message_callback = cb; }
    void SetClosedCallback(const ClosedCallback &cb) { _closed_callback = cb; }
    void SetAnyEventedCallback(const AnyEventCallback &cb) { _event_callback = cb; }
    void SetSrvClosedCallback(const ClosedCallback &cb) { _server_closed_callback = cb; }

    // 连接建立就绪后,进行channel回调设置,启动读监控,调用_connected_callback
    void Established()
    {
        return _loop->RunInLoop(std::bind(&Connection::EstableishdInLoop, this));
    }

    // 发送数据,将数据放到发送缓冲区,启动写事件监控
    void Send(const char *data, size_t len)
    {
        // 外界传入的data,可能是个临时的空间,我们现在只是把发送操作压入了任务池
        // 有可能并没有被立即执行
        // 因此有可能执行的时候,data指向的空间有可能已经被释放了。
        Buffer buffer;
        buffer.WriteAndPush(data, len);
        return _loop->RunInLoop(std::bind(&Connection::SendInLoop, this, std::move(buffer)));
    }

    // 提供给组件使用者的关闭接口 --并不实际关闭,需要判断有没有数据待处理
    void Shutdown()
    {
        return _loop->RunInLoop(std::bind(&Connection::ShutDownInLoop, this));
    }

    void Release()
    {
        _loop->QueueInLoop(std::bind(&Connection::ReleaseInLoop, this));
    }

    // 启动非活跃销毁,并定义多长时间无通信就是非活跃,添加定时任务
    void EnableInactiveRelease(int sec)
    {
        return _loop->RunInLoop(std::bind(&Connection::EnableInactiveReleaseInLoop, this, sec));
    }

    // 取消非活跃销毁
    void CancleInactiveRelease()
    {
        return _loop->RunInLoop(std::bind(&Connection::CancelInactiveReleaseInLoop, this));
    }

    // 切换协议--重置上下文以及阶段性处理函数
    void Update(const Any &context, const ConnectedCallback &conn, const MessageCallback &msg,
                const ClosedCallback &closed, const AnyEventCallback &event)
    {
        _loop->AssertInLoop();
        _loop->RunInLoop(std::bind(&Connection::UpgrateInLoop, this, context, conn, msg, closed, event));
    }
};

5.监听描述符管理Acceptor类实现

Acceptor模块:对监听套接字进行管理

1.创建一个监听套接字

2.启动读事件监控

3.事件触发后,获取新连接

4.调用新连接获取成功之后的回调函数

为新连接创建Connection进行管理(这一步不是Acceptor模块的操作,应该是服务器模块)

因为Acceptor模块只进行监听连接的管理,因此获取新连接的描述符之后,对于新连接描述符如何处理其实并不关心

对于新连接如何处理,应该服务器模块来管理的

服务器模块,实现了一个对于新连接描述符处理的函数,将这个函数设置给Acceptor模块中的回调函数

实现时的一些细节如下:

  • 由于 Acceptor 仅对监听套接字进行管理,所以它的设计流程很简单:
    1. 创建一个监听套接字用于监听客户端连接。
    2. 启动监听套接字的可读事件监控。
    3. 当可读事件触发后获取客户端新连接。
    4. 调用新连接获取成功后的回调函数,为新连接创建 Connection 对象进行管理。
  • 需要注意的是,服务器监听到一个新的客户端连接后,应该为新连接创建 Connection 对象,但由于 Acceptor 模块只对监听套接字进行管理,所以获取到新的客户端连接后需要由服务器模块对其进行处理,比如为其创建 Connection 对象,设置各种回调函数,因此 Acceptor 模块中仅有一个服务器模块设置的获取到新连接后的回调函数。

完整代码:

class Acceptor
{
private:
    Socket _socket;   // 同于创建监听套接字
    EventLoop *_loop; // 对于监听套接字进行事件监控
    Channel _channel; // 对于监控套接字进行事件管理

    using AcceptCallback = std::function<void(int)>;
    AcceptCallback _accept_callback;

private:
    int CreateServer(const uint16_t &port)
    {
        bool ret = _socket.CreateServer(port);
        assert(ret == true);
        return _socket.Fd();
    }

    // 监听套接字的读事件回调处理函数,获取新连接,调用_accept_callback函数进行新连接处理
    void HandleRead()
    {
        int newfd = _socket.Accept();
        if (newfd < 0)
        {
            LogMessage(FATAL, "accept new fd failed");
            return;
        }
        if (_accept_callback)
            _accept_callback(newfd);
    }

public:
    /*不能将启动读事件监控,放到构造函数中,必须在设置回调函数后,再去启动*/
    /*否则有可能造成启动监控后,立即有事件,处理的时候,回调函数还没设置:新连接得不到处理,且资源泄漏*/
    Acceptor(EventLoop *loop, const uint16_t &port)
        : _socket(CreateServer(port)), _loop(loop),
          _channel(_loop, _socket.Fd())
    {
        _channel.SetReadCallback(std::bind(&Acceptor::HandleRead, this));
    }
    void SetAcceptCallback(const AcceptCallback &cb)
    {
        _accept_callback = cb;
    }
    void Listen()
    {
        _channel.EnableRead();
    }
};

6.LoopThread类的实现

目标:将EventLoop模块与线程整合起来

EventLoop模块与线程是一一对应的

EventLoop模块实例化的对象,在构造的时候就会初始化_thread_id

而后边当运行一个操作的时候判断当前是否运行EventLoop模块对应的线程中,就是将线程ID与EventLoop中的_thread_id进行一个比较,相同就表示同一个线程,不同就表示当前运行的并不是EventLoop线程

含义:EventLoop模块在实例化对象的时候,必须在线程的内部

EventLoop实例化对象时会设置自己的_thread_id

如果我们先创建了多个EventLoop对象,再设置新的_thread_id期间是不可控的

因此我们必须先创建线程,然后在线程的入口函数中,去实例化EventLoop对象

构造一个新的模块:LoopThread

这个模块的功能:将EventLoop与Thread整合到一起

思想:

1.创建线程

2.在线程中实例化EventLoop对象

功能:可以向外部返回实例化的EventLoop

我们上面在设计 EventLoop 模块时提到 EventLoop 模块与线程是一一对应的,并且由于 EventLoop 模块在构造时就会使用当前线程 id 来作为 EventLoop 对象所关联的线程的 id – _thread_id(std::this_thread::get_id());同时,我们后面在运行一个操作的时候判断当前是否运行在 EventLoop 模块对应的线程中,就是将线程 ID 与 EventLoop 模块中的 _thread id 进行比较,相同表示在同一个线程,不同则表示当前运行线程并不是 EventLoop 线程。

因此,EventLoop 模块必须在线程内部实例化,即先为 EventLoop 对象创建一个线程,然后在该线程的入口函数中去实例化 EventLoop 对象,这样该线程就会与 EventLoop 对象相关联 (实例化时该线程 id 被用于初始化 EventLoop 对象的 _thread_id)。

需要注意的是,我们不能事先创建多个 EventLoop 对象,然后创建多个线程,最后将各个线程的 id 重新赋值给 EventLoop 进行关联,因为这样在构造 EventLoop 对象到设置新的 _thread_id 期间,EventLoop 产生的操作将是不可控的。

基于以上思想,我们需要构建一个 LoopThread 模块,这个模块的功能是将 EventLoop 与 thread 整合到一起,向外部返回所实例化的 EventLoop 对象。

代码实现:

class LoopThread
{
private:
    /*用于实现_loop获取的同步关系,避免线程创建了,但是_loop还没有实例化之前去获取_loop*/
    std::mutex _mutex;             // 互斥锁
    std::condition_variable _cond; // 条件变量
    EventLoop *_loop;              // EventLoop指针变量,这个对象需要在线程内实例化
    std::thread _thread;           // EventLoop对应的线程

private:
    /*实例化 EventLoop 对象,唤醒_cond上有可能阻塞的线程,并且开始运行EventLoop模块的功能*/
    void ThreadEntry()
    {
        EventLoop loop;
        {
            std::unique_lock<std::mutex> lock(_mutex);
            _loop = &loop;
            _cond.notify_all();
        }
        loop.Start();
    }

public:
    /*创建线程,设定线程入口函数*/
    LoopThread() : _thread(std::thread(&LoopThread::ThreadEntry, this)), _loop(nullptr) {}
    /*返回当前线程关联的EventLoop对象指针*/
    EventLoop *GetEventLoop()
    {
        EventLoop *loop = nullptr;
        {
            std::unique_lock<std::mutex> lock(_mutex); // 加锁
            _cond.wait(lock, [&]()
                       { return _loop != nullptr; }); //_loop为nullptr就一直阻塞
            loop = _loop;
        }
        return loop;
    }
};

8.LoopThreadPool类的实现

LoopThreadPool针对LoopThread设计一个线程池

LoopThreadPool模块:对所有的LoopThread进行管理和分配

功能:

1.线程数量可配置(0个或多个)

注意事项:在服务器中,主从Reactor模型是主线程只负责新连接获取,从属Reactor负责线连接的事件监控及业务处理,因此当前的线程池,有可能从属线程数量为0,也就是实现单Reactor服务器,一个线程既负责获取新连接,也负责连接到处理

2.对所有的线程进行管理,其实就是管理0个或多个LoopThread对象

3.提供线程分配的功能:

当主线程获取了一个新连接,需要将新连接挂到从属线程进行事件监控及处理

假设有0个从属线程,则直接分配给主线程的EventLoop,进行处理。

假设有多个从属线程,则采用RR轮转思想,进行线程的分配(将对应的EventLoop获取到,设置对应的Connection)

我们上面针对 EventLoop 设计 LoopThread 模块,由于客户端连接有多个,而每一个客户端连接都对应一个 Connection 模块、EventLoop 模块以及 LoopThread 模块,因此我们需要针对 LoopThread 设计一个线程池 – LoopThreadPool,用于对所有的 LoopThread 进行管理及分配。 LoopThreadPool 模块所要完成的功能如下:

  • 线程数量可配置 (0个或多个)。

    需要注意的是,在服务器中,由于主从 Reactor 模型是主线程只负责新连接获取,从属线程负责新连接的事件监控及处理,因此当前的线程池中从属线程的数量有可能会为0,也就是实现单 Reactor 服务器,仅有一个线程,其即负责获取连接,也负责连接的处理。

  • 对所有的线程进行管理 – 管理0个或多个 LoopThread 对象.

  • 提供线程分配的功能 – 当主线程获取了一个新连接时,将新连接挂到从属线程上进行事件监控及处理。

    假设有0个从属线程,则直接分配给主线程的 EventLoop 进行处理;假设有多个从属线程,则采用 RR 轮转思想,进行线程的分配 (将被选择线程的 EventLoop 对象获取到,然后设置给对应的 Connection 对象)

class LoopThreadPool
{
private:
    int _thread_count;//从属线程的数量
    int _next_loop_id;
    EventLoop* _baseloop;//主EventLoop,运行在主线程,从属线程数量为0,则所有的操作都在baseloop中运行
    std::vector<LoopThread*> _threads;//保存所有的LoopThread对象
    std::vector<EventLoop*> _loops;//从属线程数量大于0则从_loops中进行线程EventLoop分配
public:
    LoopThreadPool();
    void SetThreadCount(int count);//设置线程数量
    void Create();//创建所有的从属线程
    EventLoop* GetNextLoop();
};

完整代码:

class LoopThreadPool
{
private:
    int _thread_count;                  // 从属线程的数量
    int _next_idx;                      // RR轮转的下标
    EventLoop *_base_loop;              // 主EventLoop,运行在主线程,从属线程数量为0,则所有的操作都在baseloop中运行
    std::vector<LoopThread *> _threads; // 保存所有的LoopThread对象
    std::vector<EventLoop *> _loops;    // 从属线程数量大于0则从_loops中进行线程EventLoop分配

public:
    LoopThreadPool(EventLoop *baesloop)
        : _thread_count(0), _next_idx(0), _base_loop(baesloop) {}
    void SetThreadCount(const int &count) { _thread_count = count; }
    void Create()
    {
        if (_thread_count > 0)
        {
            _threads.resize(_thread_count);
            _loops.resize(_thread_count);
            for (int i = 0; i < _thread_count; i++)
            {
                _threads[i] = new LoopThread();
                _loops[i] = _threads[i]->GetEventLoop();
            }
        }
    }

    EventLoop *GetNextLoop()
    {
        if (_thread_count == 0)
        {
            return _base_loop;
        }
        _next_idx = (_next_idx + 1) % _thread_count;
        return _loops[_next_idx];
    }
};

9.服务器TcpServer类实现

TcpServer模块:对于所有模块的整合,通过TcpServer模块实例化的对象,可以非常简单的实现一个服务器的搭建

管理:

1.Acceptor对象,创建一个监听套接字

2.EventLoop对象,baseloop对象,实现对监听套接字的事件监控

3.std::unordered_map _conns;实现对所有新建连接的管理

4.LoopThreadLoop对象,创建loop线程池,对新建连接进行事件监控及处理

功能:

1.设置从属线程池数量

2.启动服务器

3.设置各种回调函数(连接建立完成,消息,关闭,任意),用户设置给TcpServer,TcpServer设置给获取的新连接

4.是否启动非活跃连接超时销毁功能

5.添加定时任务功能

流程:

1.在TcpServer中实例化一个Acceptot对象,以及一个EventLoop对象(baseloop)

2.将Acceptor挂到baseloop上进行事件监控

3.一旦Acceptor对象就绪了可读事件,则执行可读事件回调函数获取新建连接

4.对新连接,创建一个Connection进行管理

5.对连接对应的Connection设置功能回调(连接完成回调,消息回调,关闭回调,任意事件回调)

6.启动Connection的非活跃连接的超时销毁规则

7.将新连接对应的Connection挂到LoopThreadPool中的从属线程对应的EventLoop中进行事件监控

8.一旦Connection对应的连接就绪了可读事件,则这时候执行事件回调函数,读取数据,读取完毕后调用TcpServer设置的消息回调函数

完整代码:

class TcpServer
{
private:
    uint64_t _next_id; // 这是一个自动增长的连接ID
    uint16_t _port;
    int _timeout;                                       // 这是非活跃连接的统计时间---多长时间无通信就是非活跃连接
    bool _enable_inactive_release;                      // 是否启动了非活跃连接超时销毁的判断标志
    EventLoop _baseloop;                                // 这是主线程的EventLoop对象,负责监听事件的处理
    Acceptor _acceptor;                                 // 这是监听套接字的管理对象
    LoopThreadPool _pool;                               // 这是从属EventLoop线程池
    std::unordered_map<uint64_t, PtrConnection> _conns; // 保存管理所有连接对应的shared_ptr对象

    using ConnectedCallback = std::function<void(const PtrConnection &)>;
    using MessageCallback = std::function<void(const PtrConnection &, Buffer *)>;
    using ClosedCallback = std::function<void(const PtrConnection &)>;
    using AnyEventCallback = std::function<void(const PtrConnection &)>;
    using Functor = std::function<void()>;
    ConnectedCallback _connected_callback;
    MessageCallback _message_callback;
    ClosedCallback _closed_callback;
    AnyEventCallback _event_callback;

private:
    // 添加定时任务
    void RunAfterInLoop(const Functor &task, int delay)
    {
        _next_id++;
        _baseloop.TimerAdd(_next_id, delay, task);
    }

    // 为新连接构造一个Connection进行管理
    void NewConnection(int fd)
    {
        _next_id++;
        PtrConnection conn(new Connection(_pool.GetNextLoop(), _next_id, fd));

        conn->SetConnectedCallback(_connected_callback);
        conn->SetClosedCallback(_closed_callback);
        conn->SetMessageCallback(_message_callback);
        conn->SetAnyEventedCallback(_event_callback);

        conn->SetSrvClosedCallback(std::bind(&TcpServer::RemoveConnection, this, std::placeholders::_1));

        // 启动非活跃连接释放
        if (_enable_inactive_release)
            conn->EnableInactiveRelease(_timeout);
        conn->Established();
        _conns.insert(std::make_pair(_next_id, conn));
    }

    void RemoveConnectionInLoop(const PtrConnection &conn)
    {
        int id = conn->Id();
        auto it = _conns.find(id);
        if (it != _conns.end())
        {
            _conns.erase(id);
        }
    }
    // 从管理Connection的_conns中移除连接信息
    void RemoveConnection(const PtrConnection &conn)
    {
        _baseloop.RunInLoop(std::bind(&TcpServer::RemoveConnectionInLoop, this, conn));
    }

public:
    TcpServer(const uint16_t &port)
        : _next_id(0),
          _port(port),
          _enable_inactive_release(false),
          _acceptor(&_baseloop, port),
          _pool(&_baseloop)
    {
        // 设置监听套接字读事件的回调函数
        _acceptor.SetAcceptCallback(std::bind(&TcpServer::NewConnection, this, std::placeholders::_1));
        // 将监听套接字挂到baseloop上
        _acceptor.Listen();
    }

    // 设置线程数量
    void SetThreadCount(int count) { _pool.SetThreadCount(count); }

    void SetConnectedCallback(const ConnectedCallback &cb) { _connected_callback = cb; }
    void SetMessageCallback(const MessageCallback &cb) { _message_callback = cb; }
    void SetClosedCallback(const ClosedCallback &cb) { _closed_callback = cb; }
    void SetAnyEventCallback(const AnyEventCallback &cb) { _event_callback = cb; }

    // 启动非活跃连接销毁
    void EnableInactiveRelease(int timeout)
    {
        _enable_inactive_release = true;
        _timeout = timeout;
    }

    // 用于添加一个定时任务
    void RunAfter(const Functor &task, int delay)
    {
        _baseloop.RunInLoop(std::bind(&TcpServer::RunAfterInLoop, this, task, delay));
    }

    // 启动服务器
    void Start()
    {
        // 线程池的创建
        _pool.Create();
        // 事件监控--》就绪事件处理--》执行任务
        _baseloop.Start();
    }
};

10.基于TcpServer实现回显服务器

EchoServer.hpp

#include "../server.hpp"

class EchoServer
{
private:
    TcpServer _server;

private:
    void OnConnected(const PtrConnection &conn)
    {
        DLOG("NEW CONNECTION: %p", conn.get());
    }

    void OnClosed(const PtrConnection &conn)
    {
        DLOG("CLOSE CONNECTION: %p", conn.get());
    }

    void OnMessage(const PtrConnection &conn, Buffer *buf)
    {
        conn->Send(buf->ReadPosition(), buf->ReadAbleSize());
        buf->MoveReadOffset(buf->ReadAbleSize());
        conn->Shutdown();
    }

public:
    EchoServer(const uint16_t &port) : _server(port)
    {
        _server.SetThreadCount(2);
        _server.EnableInactiveRelease(10);
        _server.SetConnectedCallback(std::bind(&EchoServer::OnConnected, this, std::placeholders::_1));
        _server.SetClosedCallback(std::bind(&EchoServer::OnClosed, this, std::placeholders::_1));
        _server.SetMessageCallback(std::bind(&EchoServer::OnMessage, this, std::placeholders::_1, std::placeholders::_2));
    }

    void Start()
    {
        _server.Start();
    }
};

tcpClient.cc

#include "../source/server.hpp"

int main()
{
    // 创建客户端连接
    Socket clientsock;
    clientsock.CreateClient(8080, "127.0.0.1");
    for (int i = 0; i < 5; i++)
    {
        // 向服务器发送数据
        std::string str = "hello server";
        clientsock.Send(str.c_str(), str.size());

        // 接收服务器响应
        char buffer[1024];
        ssize_t n = clientsock.Recv(buffer, sizeof(buffer) - 1);
        buffer[n] = 0;
        LogMessage(NORMAL,"[echo]# %s", buffer);

        sleep(1);
    }
    while (true)
        sleep(1);
    clientsock.Close();
    return 0;
}

main.cc

#include "echo.hpp"

int main()
{
    EchoServer server(8080);
    server.Start();
    return 0;
}

七、HTTP协议模块

1.Util工具类实现

在Util工具类中主要实现一下的功能:

1.读取文件内容

2.向文件写入数据

3.URL编码

在RFC3986文档中规定的URL绝对不编码字符:. - _ ~以及数字和字母

还有一个就是在不同的一些标准中的特殊处理

W3C标准中规定param中的空格必须被编码为+

REF 2396中规定URL中保留字符需要转换为%HH格式

4.URL解码

5.响应状态码描述的获取

6.根据文件后缀名获取文件mime

7.判断一个文件是否是目录

8.判断一个文件是否是一个普通的文件

9.http请求的资源路径有效性判断

代码实现:

std::unordered_map<int, std::string> _statu_msg = {
    {100, "Continue"},
    {101, "Switching Protocol"},
    {102, "Processing"},
    {103, "Early Hints"},
    {200, "OK"},
    {201, "Created"},
    {202, "Accepted"},
    {203, "Non-Authoritative Information"},
    {204, "No Content"},
    {205, "Reset Content"},
    {206, "Partial Content"},
    {207, "Multi-Status"},
    {208, "Already Reported"},
    {226, "IM Used"},
    {300, "Multiple Choice"},
    {301, "Moved Permanently"},
    {302, "Found"},
    {303, "See Other"},
    {304, "Not Modified"},
    {305, "Use Proxy"},
    {306, "unused"},
    {307, "Temporary Redirect"},
    {308, "Permanent Redirect"},
    {400, "Bad Request"},
    {401, "Unauthorized"},
    {402, "Payment Required"},
    {403, "Forbidden"},
    {404, "Not Found"},
    {405, "Method Not Allowed"},
    {406, "Not Acceptable"},
    {407, "Proxy Authentication Required"},
    {408, "Request Timeout"},
    {409, "Conflict"},
    {410, "Gone"},
    {411, "Length Required"},
    {412, "Precondition Failed"},
    {413, "Payload Too Large"},
    {414, "URI Too Long"},
    {415, "Unsupported Media Type"},
    {416, "Range Not Satisfiable"},
    {417, "Expectation Failed"},
    {418, "I'm a teapot"},
    {421, "Misdirected Request"},
    {422, "Unprocessable Entity"},
    {423, "Locked"},
    {424, "Failed Dependency"},
    {425, "Too Early"},
    {426, "Upgrade Required"},
    {428, "Precondition Required"},
    {429, "Too Many Requests"},
    {431, "Request Header Fields Too Large"},
    {451, "Unavailable For Legal Reasons"},
    {501, "Not Implemented"},
    {502, "Bad Gateway"},
    {503, "Service Unavailable"},
    {504, "Gateway Timeout"},
    {505, "HTTP Version Not Supported"},
    {506, "Variant Also Negotiates"},
    {507, "Insufficient Storage"},
    {508, "Loop Detected"},
    {510, "Not Extended"},
    {511, "Network Authentication Required"}};

std::unordered_map<std::string, std::string> _mime_msg = {
    {".aac", "audio/aac"},
    {".abw", "application/x-abiword"},
    {".arc", "application/x-freearc"},
    {".avi", "video/x-msvideo"},
    {".azw", "application/vnd.amazon.ebook"},
    {".bin", "application/octet-stream"},
    {".bmp", "image/bmp"},
    {".bz", "application/x-bzip"},
    {".bz2", "application/x-bzip2"},
    {".csh", "application/x-csh"},
    {".css", "text/css"},
    {".csv", "text/csv"},
    {".doc", "application/msword"},
    {".docx", "application/vnd.openxmlformats-officedocument.wordprocessingml.document"},
    {".eot", "application/vnd.ms-fontobject"},
    {".epub", "application/epub+zip"},
    {".gif", "image/gif"},
    {".htm", "text/html"},
    {".html", "text/html"},
    {".ico", "image/vnd.microsoft.icon"},
    {".ics", "text/calendar"},
    {".jar", "application/java-archive"},
    {".jpeg", "image/jpeg"},
    {".jpg", "image/jpeg"},
    {".js", "text/javascript"},
    {".json", "application/json"},
    {".jsonld", "application/ld+json"},
    {".mid", "audio/midi"},
    {".midi", "audio/x-midi"},
    {".mjs", "text/javascript"},
    {".mp3", "audio/mpeg"},
    {".mpeg", "video/mpeg"},
    {".mpkg", "application/vnd.apple.installer+xml"},
    {".odp", "application/vnd.oasis.opendocument.presentation"},
    {".ods", "application/vnd.oasis.opendocument.spreadsheet"},
    {".odt", "application/vnd.oasis.opendocument.text"},
    {".oga", "audio/ogg"},
    {".ogv", "video/ogg"},
    {".ogx", "application/ogg"},
    {".otf", "font/otf"},
    {".png", "image/png"},
    {".pdf", "application/pdf"},
    {".ppt", "application/vnd.ms-powerpoint"},
    {".pptx", "application/vnd.openxmlformats-officedocument.presentationml.presentation"},
    {".rar", "application/x-rar-compressed"},
    {".rtf", "application/rtf"},
    {".sh", "application/x-sh"},
    {".svg", "image/svg+xml"},
    {".swf", "application/x-shockwave-flash"},
    {".tar", "application/x-tar"},
    {".tif", "image/tiff"},
    {".tiff", "image/tiff"},
    {".ttf", "font/ttf"},
    {".txt", "text/plain"},
    {".vsd", "application/vnd.visio"},
    {".wav", "audio/wav"},
    {".weba", "audio/webm"},
    {".webm", "video/webm"},
    {".webp", "image/webp"},
    {".woff", "font/woff"},
    {".woff2", "font/woff2"},
    {".xhtml", "application/xhtml+xml"},
    {".xls", "application/vnd.ms-excel"},
    {".xlsx", "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"},
    {".xml", "application/xml"},
    {".xul", "application/vnd.mozilla.xul+xml"},
    {".zip", "application/zip"},
    {".3gp", "video/3gpp"},
    {".3g2", "video/3gpp2"},
    {".7z", "application/x-7z-compressed"}};

class Util
{
public:
    // 字符串分割函数,将src字符串按照sep字符进行分割,得到的各个字串放到arry中,最终返回字串的数量
    static size_t Split(const std::string &src, const std::string &sep, std::vector<std::string> *array)
    {
        // abc,,,de,f,
        size_t offset = 0;
        // 有10个字符,offset是查找的起始位置,范围应该是0~9,offset==10就代表已经越界了
        while (offset < src.size())
        {
            // 在src字符串偏移量offset处,开始向后查找sep字符/字串,返回查找到的位置
            size_t pos = src.find(sep, offset);
            // 没有找到特定的字符将剩余的部分当作一个字串,放入arry中
            if (pos == std::string::npos)
            {
                // if (pos == src.size())
                //     break;
                array->push_back(src.substr(offset));
                return array->size();
            }
            // 连续分割字符则跳过字符
            if (offset == pos)
            {
                offset = pos + sep.size();
                continue;
            }
            array->push_back(src.substr(offset, pos - offset));
            offset = pos + sep.size();
        }

        return array->size();
    }

    // 读取文件的所有内容,将读取的内容放到一个Buffer中
    static bool ReadFile(const std::string &filename, std::string *buf)
    {
        std::ifstream ifs(filename, std::ios::binary);
        if (ifs.is_open() == false)
        {
            LogMessage(FATAL, "%s open failed", filename.c_str());
            return false;
        }

        size_t fsize = 0;
        // 跳转读写位置到末尾
        ifs.seekg(0, ifs.end);
        // 获取当前读写位置相对于起始位置的偏移量,从末尾偏移刚好就是文件大小
        fsize = ifs.tellg();
        // 跳转到起始位置
        ifs.seekg(0, ifs.beg);
        // 开辟文件大小的空间
        buf->resize(fsize);

        ifs.read(&(*buf)[0], fsize);
        if (ifs.good() == false)
        {
            LogMessage(FATAL, "%s read failed", filename.c_str());
            ifs.close();
            return false;
        }

        ifs.close();
        return true;
    }

    // 向文件写入数据
    static bool WriteFile(const std::string &filename, const std::string &buf)
    {
        std::ofstream ofs(filename, std::ios::binary | std::ios::trunc);
        if (ofs.is_open() == false)
        {
            LogMessage(FATAL, "%s open failed", filename.c_str());
            return false;
        }

        ofs.write(buf.c_str(), buf.size());
        if (ofs.good() == false)
        {
            LogMessage(FATAL, "%s write failed", filename.c_str());
            ofs.close();
            return false;
        }

        ofs.close();
        return true;
    }

    // URL编码,避免URL中资源路径与查询字符串中的特殊字符与HTTP请求中特殊字符产生歧义
    // 编码格式:将特殊字符的ascii值,转换为两个16进制字符,前缀%   C++ -> C%2B%2B
    // 不编码的特殊字符: RFC3986文档规定 . - _ ~ 字母,数字属于绝对不编码字符
    // RFC3986文档规定,编码格式 %HH
    // W3C标准中规定,查询字符串中的空格,需要编码为+, 解码则是+转空格
    static std::string UrlEncode(const std::string &url, bool convert_space_to_plus = false)
    {
        std::string res;
        for (auto ch : url)
        {
            // isalnum 是 C++ 中用于判断字符是否为字母或数字的函数
            if (ch == '.' || ch == '-' || ch == '_' || ch == '~' || isalnum(ch))
            {
                res += ch;
                continue;
            }
            if (ch == ' ' && convert_space_to_plus)
            {
                res += '+';
                continue;
            }

            // 剩下的字符都是需要编码成为 %HH 格式
            char tmp[4] = {0};
            snprintf(tmp, 4, "%%%02X", ch);
            res += tmp;
        }

        return res;
    }

    static char HEXTOI(const char ch)
    {
        if (ch >= '0' && ch <= '9')
        {
            return ch - '0';
        }
        else if (ch >= 'a' && ch <= 'z')
        {
            return ch - 'a' + 10;
        }
        else if (ch >= 'A' && ch <= 'Z')
        {
            return ch - 'A' + 10;
        }
        else
            return -1;
    }

    static std::string UrlDecode(const std::string &url, bool convert_plus_to_space)
    {
        // 遇到了%,则将紧随其后的2个字符,转换为数字,
        //  第一个数字左移4位,然后加上第二个数字  + -> 2b  %2b->2 << 4 + 11
        std::string res;
        for (int i = 0; i < url.size(); i++)
        {
            if (url[i] == '%' && (i + 2) < url.size())
            {
                char val1 = HEXTOI(url[i + 1]);
                char val2 = HEXTOI(url[i + 2]);
                char val = val1 * 16 + val2;
                i += 2;
                res += val;
                continue;
            }
            if (url[i] == '+' && convert_plus_to_space)
            {
                res += ' ';
                continue;
            }
            res += url[i];
        }

        return res;
    }

    // 响应状态码的描述信息获取
    static std::string StatuDesc(int statu)
    {
        auto it = _statu_msg.find(statu);
        if (it != _statu_msg.end())
        {
            return it->second;
        }
        return "UnKnown";
    }

    // 根据文件后缀名获取文件mime
    static std::string ExtMime(const std::string &filename)
    {
        // a.b.txt  先获取文件扩展名
        size_t pos = filename.rfind(".");
        if (pos == std::string::npos)
        {
            return "application/octet-stream";
        }

        // 根据扩展名,获取mime
        std::string ext = filename.substr(pos);
        auto it = _mime_msg.find(ext);
        if (it == _mime_msg.end())
        {
            return "application/octet-stream";
        }
        return it->second;
    }

    // 判断一个文件是否是一个目录
    static bool IsDirectory(const std::string &filename)
    {
        struct stat st;
        // stat 函数用于获取文件的状态信息,包括文件大小、权限、最后访问时间等
        // int stat(const char *path, struct stat *buf);
        int ret = stat(filename.c_str(), &st);
        if (ret < 0)
        {
            return false;
        }

        // S_ISDIR 是一个用于检查文件类型的宏,通常在  头文件中定义。
        // 这个宏用于确定传递给 stat 函数的文件是否为目录
        // #define S_ISDIR(mode)  (((mode) & S_IFMT) == S_IFDIR)

        return S_ISDIR(st.st_mode);
    }

    // 判断一个文件是否是一个普通文件
    static bool IsRegular(const std::string &filename)
    {
        struct stat st;
        int ret = stat(filename.c_str(), &st);
        if (ret < 0)
        {
            return false;
        }

        // #define S_ISREG(mode)  (((mode) & S_IFMT) == S_IFREG)
        // 这个宏用于确定传递给 stat 函数的文件是否为常规文件(regular file)
        return S_ISREG(st.st_mode);
    }

    // http请求的资源路径有效性判断
    //  /index.html  --- 前边的/叫做相对根目录  映射的是某个服务器上的子目录
    //  想表达的意思就是,客户端只能请求相对根目录中的资源,其他地方的资源都不予理会
    //  /../login, 这个路径中的..会让路径的查找跑到相对根目录之外,这是不合理的,不安全的
    static bool ValidPath(const std::string &path)
    {
        // 思想:按照/进行路径分割,根据有多少子目录,计算目录深度,有多少层,深度不能小于0
        std::vector<std::string> subdir;
        Split(path, "/", &subdir);

        int level = 0;
        for (auto &dir : subdir)
        {
            if (dir == "..")
            {
                level--;
                if (level < 0)
                    return false;
            }
            else
                level++;
        }

        return true;
    }
};

2.HttpRequest请求类实现

HttpRequest模块:

Http请求信息模块:存储http请求信息要素,提供简单的功能性接口

请求信息要素:

请求行:请求方法 URL 协议版本

URL:资源路径 查询字符串

GET /search/1234?word=C++&en=utf8 HTTP/1.1

请求头部:key:value key:value …

Content-Length:0

正文

要素:请求方法,资源路径,查询字符串,头部字段,正文,协议版本

std::smatch 保存首行使用regex正则进行解析后,所提取的数据,比如提取资源路径中的数字

代码实现:

class HttpRequest
{
public:
    std::string _method;                                   // 请求方法
    std::string _path;                                     // 资源路径
    std::string _version;                                  // 协议版本
    std::string _body;                                     // 请求正文
    std::smatch _matches;                                  // 资源路径的正则提取数据
    std::unordered_map<std::string, std::string> _headers; // 头部字段
    std::unordered_map<std::string, std::string> _params;  // 查询字符串

public:
    HttpRequest() : _version("HTTP/1.1") {}
    void ReSet()
    {
        _method.clear();
        _path.clear();
        _version = "HTTP/1.1";
        _body.clear();

        std::smatch match;
        _matches.swap(match);
        _headers.clear();
        _params.clear();
    }

    // 插入头部字段
    void SetHeader(const std::string &key, const std::string &value)
    {
        _headers.insert(std::make_pair(key, value));
    }

    // 判断是否存在指定头部字段
    bool HasHeader(const std::string &key) const
    {
        auto it = _headers.find(key);
        if (it == _headers.end())
        {
            return false;
        }

        return true;
    }

    // 获取指定头部字段的值
    std::string GetHeader(const std::string &key) const
    {
        auto it = _headers.find(key);
        if (it == _headers.end())
        {
            return "";
        }

        return it->second;
    }

    // 插入查询字符串
    void SetParam(const std::string &key, const std::string &val)
    {
        _params.insert(std::make_pair(key, val));
    }

    // 判断是否有某个指定的查询字符串
    bool HasParam(const std::string &key) const
    {
        auto it = _params.find(key);
        if (it == _params.end())
        {
            return false;
        }
        return true;
    }

    // 获取指定的查询字符串
    std::string GetParam(const std::string &key) const
    {
        auto it = _params.find(key);
        if (it == _params.end())
        {
            return "";
        }
        return it->second;
    }

    size_t ContentLength() const
    {
        // Content-Length: 1234

        bool ret = HasHeader("Content-Length");
        if (ret == false)
        {
            return 0;
        }
        std::string clen = GetHeader("Content-Length");

        return std::stol(clen);
    }

    // 判断是否是短链接
    bool Close() const
    {
        // 没有Connection字段,或者有Connection但是值是close,则都是短链接,否则就是长连接
        if (HasHeader("Connection") && GetHeader("Connection") == "keep-alive")
        {
            return false;
        }

        return true;
    }
};

3.HttpResponse响应类实现

HttpResponse模块:

功能:存储http响应信息要素,提供简单的功能性接口

响应信息要素:

1.响应状态码

2.头部字段

3.响应正文

4.重定向信息(是否进行了重定向的标志,重定向的路径)

功能性接口:

0.为了便于成员的访问,因此将成员设置为共有成员

1.头部字段的新增,查询,获取

2.正文的设置

3.重定向的设置

4.长短连接的判断

代码实现:

class HttpResponse
{
public:
    int _statu;                                            // 响应状态码
    bool _redirect_flag;                                   // 是否重定向标志
    std::string _body;                                     // 正文
    std::string _redirect_url;                             // 重定向的url
    std::unordered_map<std::string, std::string> _headers; // 头部字段

public:
    HttpResponse() : _statu(200), _redirect_flag(false) {}
    HttpResponse(int statu) : _statu(statu), _redirect_flag(false) {}
    void ReSet()
    {
        _statu = 200;
        _redirect_flag = false;
        _body.clear();
        _redirect_url.clear();
        _headers.clear();
    }

    // 插入头部字段
    void SetHeader(const std::string &key, const std::string &value)
    {
        _headers.insert(std::make_pair(key, value));
    }

    // 判断是否存在指定头部字段
    bool HasHeader(const std::string &key) const
    {
        auto it = _headers.find(key);
        if (it == _headers.end())
        {
            return false;
        }

        return true;
    }

    // 获取指定头部字段的值
    std::string GetHeader(const std::string &key) const
    {
        auto it = _headers.find(key);
        if (it == _headers.end())
        {
            return "";
        }

        return it->second;
    }

    // 设置正文
    void SetContent(const std::string &body, const std::string &type = "text/html")
    {
        _body = body;
        SetHeader("Content-Length", type);
    }

    // 设置重定向
    void SetRedirect(const std::string &url, const int statu = 302)
    {
        _statu = statu;
        _redirect_flag = true;
        _redirect_url = url;
    }

    // 判断是否是短链接
    bool Close()
    {
        // 没有Connection字段,或者有Connection但是值是close,则都是短链接,否则就是长连接
        if (HasHeader("Connection") == true && GetHeader("Connection") == "keep-alive")
        {
            return false;
        }
        return true;
    }
};

4.HttpContext上下文类实现

代码实现:

#define MAX_LINE 8192
typedef enum
{
    RECV_HTTP_ERROR,
    RECV_HTTP_LINE,
    RECV_HTTP_HEAD,
    RECV_HTTP_BODY,
    RECV_HTTP_OVER
} HttpRecvStatu;

class HttpContext
{
private:
    int _resp_statu;           // 响应状态码
    HttpRecvStatu _recv_statu; // 当前接收及解析的阶段状态
    HttpRequest _request;      // 已经解析得到的请求信息

private:
    bool PraseHttpLine(std::string &line)
    {
        std::smatch matches;
        std::regex e("(GET|HEAD|POST|PUT|DELETE) ([^?]*)(?:?(.*))? (HTTP/1.[01])(?:
|
)?", std::regex::icase);
        bool ret = std::regex_match(line, matches, e);
        if (ret == false)
        {
            _recv_statu = RECV_HTTP_ERROR;
            _resp_statu = 400; // BAD REQUEST
            return false;
        }
        // 0 : GET /www.baidu/login?user=xiaoming&pass=123123 HTTP/1.1
        // 1 : GET
        // 2 : /bitejiuyeke/login
        // 3 : user=xiaoming&pass=123123
        // 4 : HTTP/1.1
        // 请求方法的获取
        _request._method = matches[1];
        std::transform(_request._method.begin(), _request._method.end(), _request._method.begin(), ::toupper);
        // 资源路径的获取,需要进行URL解码操作,但是不需要+转空格
        _request._path = Util::UrlDecode(matches[2], false);
        // 协议版本的获取
        _request._version = matches[4];
        // 查询字符串的获取与处理
        std::vector<std::string> query_string_array;
        std::string query_string = matches[3];
        // 查询字符串的格式 key=val&key=val....., 先以 & 符号进行分割,得到各个字串
        Util::Split(query_string, "&", &query_string_array);
        // 针对各个字串,以 = 符号进行分割,得到key 和val, 得到之后也需要进行URL解码
        for (auto &str : query_string_array)
        {
            size_t pos = str.find("=");
            if (pos == std::string::npos)
            {
                _recv_statu = RECV_HTTP_ERROR;
                _resp_statu = 400; // BAD REQUEST
                return false;
            }
            std::string key = Util::UrlDecode(str.substr(0, pos), true);
            std::string value = Util::UrlDecode(str.substr(pos + 1), true);
            _request.SetParam(key, value);
        }

        return true;
    }
    bool RecvHttpLine(Buffer *buf)
    {
        if (_recv_statu != RECV_HTTP_LINE)
            return false;
        // 1. 获取一行数据,带有末尾的换行
        std::string line = buf->GetOneLineAndPop();
        // 2. 需要考虑的一些要素:缓冲区中的数据不足一行, 获取的一行数据超大
        if (line.size() == 0)
        {
            // 缓冲区中的数据不足一行,则需要判断缓冲区的可读数据长度,如果很长了都不足一行,这是有问题的
            if (buf->ReadAbleSize() > MAX_LINE)
            {
                _recv_statu = RECV_HTTP_ERROR;
                _resp_statu = 414; // URI TOO LONG
                return false;
            }
            // 缓冲区中数据不足一行,但是也不多,就等等新数据的到来
            return true;
        }
        if (line.size() > MAX_LINE)
        {
            _recv_statu = RECV_HTTP_ERROR;
            _resp_statu = 414; // URI TOO LONG
            return false;
        }

        bool ret = PraseHttpLine(line);
        if (ret == false)
        {
            return false;
        }
        // 首行处理完毕,进入头部获取阶段
        _recv_statu = RECV_HTTP_HEAD;
        return true;
    }

    bool RecvHttpHead(Buffer *buf)
    {
        if (_recv_statu != RECV_HTTP_HEAD)
            return false;
        // 一行一行取出数据,直到遇到空行为止, 头部的格式 key: val
key: val
....
        while (true)
        {
            std::string line = buf->GetOneLineAndPop();
            if (line.size() == 0)
            {
                // 缓冲区中的数据不足一行,则需要判断缓冲区的可读数据长度,如果很长了都不足一行,这是有问题的
                if (buf->ReadAbleSize() > MAX_LINE)
                {
                    _recv_statu = RECV_HTTP_ERROR;
                    _resp_statu = 414; // URI TOO LONG
                    return false;
                }
                // 缓冲区中数据不足一行,但是也不多,就等等新数据的到来
                return true;
            }
            if (line.size() > MAX_LINE)
            {
                _recv_statu = RECV_HTTP_ERROR;
                _resp_statu = 414; // URI TOO LONG
                return false;
            }
            if (line == "
" || line == "
")
            {
                break;
            }

            bool ret = PraseHttpHead(line);
            if (ret == false)
                return false;
        }

        // 头部处理完毕,进入正文获取阶段
        _recv_statu = RECV_HTTP_BODY;
        return true;
    }

    bool PraseHttpHead(std::string &line)
    {
        // key: val
key: val
....
        if (line.back() == '
')
            line.pop_back(); // 末尾是换行则去掉换行字符
        if (line.back() == '
')
            line.pop_back(); // 末尾是回车则去掉回车字符
            
        size_t pos = line.find(": ");
        if (pos == std::string::npos)
        {
            _recv_statu = RECV_HTTP_ERROR;
            _resp_statu = 400; // BAD REQUEST
            return false;
        }

        std::string key = line.substr(0, pos);
        std::string value = line.substr(pos + 2);
        _request.SetHeader(key, value);
        return true;
    }

    bool RecvHttpBody(Buffer *buf)
    {
        if (_recv_statu != RECV_HTTP_BODY)
            return false;
        // 1. 获取正文长度
        size_t content_length = _request.ContentLength();
        if (content_length == 0)
        {
            // 没有正文,则请求接收解析完毕
            _recv_statu = RECV_HTTP_OVER;
            return true;
        }

        // 2. 当前已经接收了多少正文,其实就是往  _request._body 中放了多少数据了
        size_t real_length = content_length - _request._body.size();

        // 3. 接收正文放到body中,但是也要考虑当前缓冲区中的数据,是否是全部的正文
        //   3.1 缓冲区中数据,包含了当前请求的所有正文,则取出所需的数据
        if (real_length <= buf->ReadAbleSize())
        {
            _request._body.append(buf->ReadPosition(), real_length);
            buf->MoveReadOffset(real_length);
            _recv_statu = RECV_HTTP_OVER;
            return true;
        }

        //  3.2 缓冲区中数据,无法满足当前正文的需要,数据不足,取出数据,然后等待新数据到来
        _request._body.append(buf->ReadPosition(), buf->ReadAbleSize());
        buf->MoveReadOffset(buf->ReadAbleSize());
        return true;
    }

public:
    HttpContext() : _resp_statu(200), _recv_statu(RECV_HTTP_LINE) {}
    void ReSet()
    {
        _resp_statu = 200;
        _recv_statu = RECV_HTTP_LINE;
        _request.ReSet();
    }
    int RespStatu() { return _resp_statu; }
    HttpRecvStatu RecvStatu() { return _recv_statu; }
    HttpRequest &Request() { return _request; }
    // 接收并解析HTTP请求
    void RecvHttpRequest(Buffer *buf)
    {
        // 不同的状态,做不同的事情,但是这里不要break
        //  因为处理完请求行后,应该立即处理头部,而不是退出等新数据
        switch (_recv_statu)
        {
        case RECV_HTTP_LINE:
            RecvHttpLine(buf);
        case RECV_HTTP_HEAD:
            RecvHttpHead(buf);
        case RECV_HTTP_BODY:
            RecvHttpBody(buf);
        }
    }
};

5.HttpServer类实现

HttpServer模块:用于实现HTTP服务器的搭建

设计一张请求路由表:

表中记录了针对哪个请求,应该使用哪个函数来进行业务处理的映射关系

当服务器收到了一个请求,就在请求路由表中,查找有没有对应请求的处理函数,如果有,则执行对应的处理函数即可说白了,什么请求,怎么处理,由用户来设定,服务器收到了请求只需要执行函数即可

这样做的好处:用户只需要实现业务处理函数,然后将请求与处理函数的映射关系,添加到服务器中

而服务器只需要接收数据,解析数据,查找路由表映射关系,执行业务处理函数。

要实现简便的搭建HTTP服务器,所需要的要素和提供的功能要素:

1.GET请求的路由映射表

2.POST请求的路由映射表

3.PUT请求的路由映射表

4.DELETE请求的路由映射表﹐—路由映射表记录对应请求方法的请求的处理函数映射关系—更多是功能性请求的处理

5.静态资源相对根目录—实现静态资源请求的处理

6.高性能TCP服务器—进行连接的IO操作

接口:

服务器处理流程:

1.从socket接收数据,放到接收缓冲区

2.调用OnMessage回调函数进行业务处理

3.对请求进行解析,得到了一个HttpRequest结构,包含了所有的请求要素

4.进行请求的路由查找–找到对应请求的处理方法

​ 1.静态资源请求—一些实体文件资源的请求,html,image…

将静态资源文件的数据读取出来,填充到HttpResponse结构中

​ 2.功能性请求—在请求路由映射表中查找处理函数,找到了则执行函数

具体的业务处理,并进行HttpResponse结构的数据填充

5.对静态资源请求/功能性请求进行处理完毕后,得到了一个填充了响应信息的HttpResponse对象,组织http格式响应,进行发送

接口:

添加请求-处理函数映射信息(GET/POST/PUT/DELETE)设置静态资源根目录

设置是否启动超时连接关闭

设置线程池中线程数量启动服务器

OnConnected —用于给TcpServer设置协议上下文

OnMessage -----用于进行缓冲区数据解析处理

获取上下文,进行缓冲区数据解析

请求的路由查找

静态资源请求查找和处理功能性请求的查找和处理组织响应进行回复

HTTP 服务器的运行流程如下:

  1. 从 socket 中接收数据,放到接收缓冲区。
  2. 调用 OnMessage 回调函数进行业务处理。
  3. 对请求进行解析,得到了一个 HttpRequest 结构对象,其中包含了所有的请求要素信息。
  4. 进行请求的路由查找 – 找到请求对应的处理方法。
    • 如果是静态资源请求,比如 html 页面,image 文件等,则将静态资源文件的数据读取出来,填充到 HttpResponse 结构中。
    • 如果是功能性请求,则在请求路由映射表中查找处理函数,找到了则执行函数进行具体的业务处理,并进行 HttpResponse 结构的数据填充。
  5. 对静态资源请求/功能性请求进行处理完毕后,已经得到了一个填充了响应信息的 HttpResponse 对象,将其组织成为 HTTP 格式响应,发送给客户端即可。

代码实现:

#define DEFAULT_TIME_OUT 30
class HttpServer
{
private:
    using Handler = std::function<void(const HttpRequest &, HttpResponse *)>;
    using Handlers = std::vector<std::pair<std::regex, Handler>>;
    Handlers _get_route;
    Handlers _post_route;
    Handlers _put_route;
    Handlers _delete_route;
    std::string _basedir; // 静态资源根目录
    TcpServer _server;

private:
    void ErrorHandler(const HttpRequest &req, HttpResponse *rsp)
    {
        // 1. 组织一个错误展示页面
        std::string body;
        body += "";
        body += "";
        body += "";
        body += "";
        body += "";
        body += "

"; body += std::to_string(rsp->_statu); body += " "; body += Util::StatuDesc(rsp->_statu); body += "

"
; body += ""; body += ""; // 2. 将页面数据,当作响应正文,放入rsp中 rsp->SetContent(body, "text/html"); } // 将HttpResponse中的要素按照http协议格式进行组织发送 void WriteResponse(const PtrConnection &conn, const HttpRequest &req, HttpResponse &rsp) { // 1. 先完善头部字段 if (req.Close() == true) rsp.SetHeader("Connection", "close"); else rsp.SetHeader("Connection", "keep-alive"); if (rsp._body.empty() == false && rsp.HasHeader("Content-Length") == false) { rsp.SetHeader("Content-Length", std::to_string(rsp._body.size())); } if (rsp._body.empty() == false && rsp.HasHeader("Content-Type") == false) { rsp.SetHeader("Content-Type", "application/octet-stream"); } if (rsp._redirect_flag == true) { rsp.SetHeader("Location", rsp._redirect_url); } // 2. 将rsp中的要素,按照http协议格式进行组织 std::stringstream rsp_str; rsp_str << req._version << " " << std::to_string(rsp._statu) << " " << Util::StatuDesc(rsp._statu) << " "; // for (auto &head : rsp._headers) // { // rsp_str << head.first << ": " << head.second << " "; // } for (auto &[key, val] : rsp._headers) { rsp_str << key << ": " << val << " "; } rsp_str << " "; rsp_str << rsp._body; // 3. 发送数据 conn->Send(rsp_str.str().c_str(), rsp_str.str().size()); } // 功能性请求的分类处理 void Dispatcher(HttpRequest &req, HttpResponse *rsp, Handlers &handlers) { // 在对应请求方法的路由表中,查找是否含有对应资源请求的处理函数,有则调用,没有则返回404 // 思想:路由表存储的时键值对 -- 正则表达式 & 处理函数 // 使用正则表达式,对请求的资源路径进行正则匹配,匹配成功就使用对应函数进行处理 // /numbers/(d+) /numbers/12345 for (auto &handler : handlers) { const std::regex &re = handler.first; const Handler &functor = handler.second; bool ret = std::regex_match(req._path, req._matches, re); if (ret == false) continue; // 传入请求信息,和空的rsp,执行处理函数 return functor(req, rsp); } rsp->_statu = 404; } // 判断是否为静态资源请求 bool IsFileHandler(const HttpRequest &req) { // 1. 必须设置了静态资源根目录 if (_basedir.empty()) return false; // 2. 请求方法,必须是GET / HEAD请求方法 if (req._method != "GET" && req._method != "HEAD") return false; // 3. 请求的资源路径必须是一个合法路径 if (Util::ValidPath(req._path) == false) return false; // 4. 请求的资源必须存在,且是一个普通文件 // 有一种请求比较特殊 -- 目录:/, /image/, 这种情况给后边默认追加一个 index.html // index.html /image/a.png // 不要忘了前缀的相对根目录,也就是将请求路径转换为实际存在的路径 // /image/a.png -> ./wwwroot/image/a.png std::string req_path = _basedir + req._path; if (req_path.back() == '/') { req_path += "index.html"; } if (Util::IsRegular(req_path) == false) return false; return true; } // 静态资源请求的处理 void FileHandler(const HttpRequest &req, HttpResponse *rsp) { std::string req_path = _basedir + req._path; if (req_path.back() == '/') req_path += "index.html"; bool ret = Util::ReadFile(req_path, &rsp->_body); if (ret == false) return; std::string mime = Util::ExtMime(req_path); rsp->SetHeader("Content-Type", mime); return; } void Route(HttpRequest &req, HttpResponse *rsp) { // 1. 对请求进行分辨,是一个静态资源请求,还是一个功能性请求 // 静态资源请求,则进行静态资源的处理 // 功能性请求,则需要通过几个请求路由表来确定是否有处理函数 // 既不是静态资源请求,也没有设置对应的功能性请求处理函数,就返回405 if (IsFileHandler(req) == true) { // 是一个静态资源请求, 则进行静态资源请求的处理 return FileHandler(req, rsp); } if (req._method == "GET" || req._method == "HEAD") return Dispatcher(req, rsp, _get_route); else if (req._method == "POST") return Dispatcher(req, rsp, _post_route); else if (req._method == "PUT") return Dispatcher(req, rsp, _put_route); else if (req._method == "DELETE") return Dispatcher(req, rsp, _delete_route); rsp->_statu = 405; // Method Not Allowed return; } // 设置上下文 void OnConnected(const PtrConnection &conn) { conn->SetContext(HttpContext()); LogMessage(NORMAL, "NEW CONNECTION %p", conn.get()); } // 缓冲区数据解析+处理 void OnMessage(const PtrConnection &conn, Buffer *buf) { while (buf->ReadAbleSize() > 0) { // 1. 获取上下文 HttpContext *context = conn->GetContext()->get<HttpContext>(); // 2. 通过上下文对缓冲区数据进行解析,得到HttpRequest对象 // 1. 如果缓冲区的数据解析出错,就直接回复出错响应 // 2. 如果解析正常,且请求已经获取完毕,才开始去进行处理 context->RecvHttpRequest(buf); HttpRequest &req = context->Request(); HttpResponse rsp(context->RespStatu()); if (context->RespStatu() >= 400) { // 进行错误响应,关闭连接 // 填充一个错误显示页面数据到rsp中 ErrorHandler(req, &rsp); // 组织响应发送给客户端 WriteResponse(conn, req, rsp); context->ReSet(); // 出错了就把缓冲区数据清空 buf->MoveReadOffset(buf->ReadAbleSize()); // 关闭连接 conn->Shutdown(); return; } // 当前请求还没有接收完整,则退出,等新数据到来再重新继续处理 if (context->RecvStatu() != RECV_HTTP_OVER) return; // 3. 请求路由 + 业务处理 Route(req, &rsp); // 4. 对HttpResponse进行组织发送 WriteResponse(conn, req, rsp); // 5. 重置上下文 context->ReSet(); // 6. 根据长短连接判断是否关闭连接或者继续处理--//短链接则直接关闭 if (rsp.Close() == true) { conn->Shutdown(); } } } public: HttpServer(int port, int timeout = DEFAULT_TIME_OUT) : _server(port) { _server.EnableInactiveRelease(timeout); _server.SetConnectedCallback(std::bind(&HttpServer::OnConnected, this, std::placeholders::_1)); _server.SetMessageCallback(std::bind(&HttpServer::OnMessage, this, std::placeholders::_1, std::placeholders::_2)); } // 设置资源根目录 void SetBaseDir(const std::string &path) { _basedir = path; } // 设置各种请求方法的回调函数 void Get(const std::string &pattern, const Handler &handler) { _get_route.push_back(std::make_pair(std::regex(pattern), handler)); } void Post(const std::string &pattern, const Handler &handler) { _post_route.push_back(std::make_pair(std::regex(pattern), handler)); } void Put(const std::string &pattern, const Handler &handler) { _put_route.push_back(std::make_pair(std::regex(pattern), handler)); } void Delete(const std::string &pattern, const Handler &handler) { _delete_route.push_back(std::make_pair(std::regex(pattern), handler)); } // 设置线程数量 void SetThreadCount(int count) { _server.SetThreadCount(count); } // 启动服务器 void Listen() { _server.Start(); } };

6.HttpServer 简单测试

下面我们分别对 HttpServer 的 GPT、POST、PUT 以及 DELETE 请求进行简单测试。

测试代码如下:

#include "./http.hpp"

#define WWWROOT "./wwwroot/"

std::string RequestStr(const HttpRequest &req)
{
    std::stringstream ss;
    ss << req._method << " " << req._path << " " << req._version << "
";
    for (auto &[key, val] : req._params)
    {
        ss << key << ": " << val << "
";
    }

    for (auto &[key, val] : req._headers)
    {
        ss << key << ": " << val << "
";
    }

    ss << "
";
    ss << req._body;

    return ss.str();
}

void Hello(const HttpRequest &req, HttpResponse *rsp)
{
    rsp->SetContent(RequestStr(req), "text/plain");
}
void Login(const HttpRequest &req, HttpResponse *rsp)
{
    rsp->SetContent(RequestStr(req), "text/plain");
}
void PutFile(const HttpRequest &req, HttpResponse *rsp)
{
    std::string pathname = WWWROOT + req._path;
    Util::WriteFile(pathname, req._body);
}
void DelFile(const HttpRequest &req, HttpResponse *rsp)
{
    rsp->SetContent(RequestStr(req), "text/plain");
}

int main()
{
    HttpServer server(8080);
    server.SetThreadCount(3);
    server.SetBaseDir(WWWROOT);

    server.Get("/hello", Hello);
    server.Post("/login", Login);
    server.Put("/1234.txt", PutFile);
    server.Delete("/1234.txt", DelFile);
    server.Listen();
    return 0;
}

项目目录结构如下:

|-- echo
|   |-- echo.hpp
|   |-- main.cc
|   `-- makefile
|-- http
|   |-- http.hpp     // HttpServer
|   |-- main
|   |-- main.cc     // 测试程序
|   |-- makefile
|   `-- wwwroot     //静态资源根目录
|       |-- 1234.txt
|       `-- index.html
|-- log.hpp
|-- main.cc
|-- makefile
`-- server.hpp    // TcpServer

静态资源根目录中的文件信息如下:

<html>
    <head>
        <meta charset="utf8">
    head>
    <body>
        <form action="/login" method="post">
            <input type="text" name="username"><br/>
            <input type="password" name="password"><br/>
            <input type="submit" value="提交" name="submit">
        form>
    body>
html>

回显服务器测试结果如下:

登录请求测试结果如下:

八、性能测试

面我们已经完成了 SERVER 模块和协议模块的开发,并进行了简单的功能测试,下面我们来进行一些边界性的功能测试,观察服务器在边界情况下能够正常运行。

1. 服务器长连接测试

创建一个客户端,设置 Connection 头部字段为 keep-alive,观察客户端是否能够持续与服务器进行通信。

/**
 * @details 长连接测试1:创建一个客户端持续给服务器发送数据,直到超过超时时间看看是否正常
 */

#include "../source/server.hpp"

int main()
{
    // 创建客户端连接
    Socket clientsock;
    clientsock.CreateClient(8080, "127.0.0.1");
    std::string req = "GET /hello HTTP/1.1
Connection: keep-alive
Content-Length: 0

";
    for (;;)
    {
        int ret = clientsock.Send(req.c_str(), req.size());
        assert(ret > 0);
        char buffer[1024] = {0};
        ret = clientsock.Recv(buffer, 1023);
        LogMessage(DEBUG, "[%s]", buffer);
        sleep(3);
    }

    clientsock.Close();
    return 0;
}

从测试结果可以看到,客户端能够持续与服务器进行通信,并且服务器也不会在 10s 后将客户端连接释放,而是等待客户端主动退出后才会释放:

过几分钟之后再关闭客户端

客户端收到的响应

2. 服务器超时连接测试

客户端连接上服务器后,长时间不给服务器发送数据,观察超时时间 (10s) 后服务器是否会将客户端连接进行释放。

/**
 * @brief 超时连接测试1:创建一个客户端,给服务器发送一次数据之后,不动了,查看服务器是否会正常的超时关闭连接
*/

#include "../source/server.hpp"

int main()
{
    // 创建客户端连接
    Socket clientsock;
    clientsock.CreateClient(8080, "127.0.0.1");
    std::string req = "GET /hello HTTP/1.1
Connection: keep-alive
Content-Length: 0

";
    for (;;)
    {
        int ret = clientsock.Send(req.c_str(), req.size());
        assert(ret > 0);
        char buffer[1024] = {0};
        ret = clientsock.Recv(buffer, 1023);
        LogMessage(DEBUG, "[%s]", buffer);
        sleep(15);
    }

    clientsock.Close();
    return 0;
}

从测试结果可以看到,服务器经过超时时间后自动将客户端连接释放:

3.服务器错误请求测试

给服务器发送一个请求,添加头部字段 Content-Length 为100,但实际发送的正文长度不足100,观察服务器的处理结果;我们的预期结果有两种:

  1. 如果客户端只发生一次请求,由于服务器未接收到完整请求(正文数据不足),所以会等待新数据到来,不会给与客户端响应,直到连接超时释放。
  2. 如果客户端发送多次请求,那么服务器会将后面的请求字段作为第一次请求的正文,完成业务处理后发送一次响应,但这样很有可能会导致后面的请求解析错误。

测试代码

/**
 * @brief 给服务器发送一个数据,告诉服务器要发送1024字节的数据,但是实际发送的数据不足1024,查看服务器处理结果
 * @details 1.如果服务器只发送一次,服务器将得不到完整的请求,就不会处理业务,客户端也就得不到响应,最终超时关闭连接
 * 2.连着给服务器发送了多次 小的请求,服务器会将后边的请求当做前边请求的正文来进行处理,
 * 而后便处理的时候有可能就因为处理错误而关闭连接
 */

/**
 * @details 连着给服务器发送了多次 小的请求,服务器解析出错,返回错误,关闭连接,
 * 但是关闭连接的时候如果缓冲区里面有数据,由不足一行数据,取不出来,而关闭连接的时候有数据又会启动
 * 有消息的事件,就会再次触发OnMassage回调函数,一直循环,解决办法,解析出错,就情况缓冲区的数据
 * 第一次解析错误的时候,状态码为RECV_HTTP_ERROR,没有更新状态,那么下次再进去的时候,状态还是RECV_HTTP_ERROR
 * 此时解析http的函数并不会读取数据,所以缓冲区中的数据一直处理不完,解决办法重置状态
 */

#include "../source/server.hpp"

int main()
{
    // 创建客户端连接
    Socket clientsock;
    clientsock.CreateClient(8080, "127.0.0.1");
    std::string req = "GET /hello HTTP/1.1
Connection: keep-alive
Content-Length: 100

Hello world";
    for (;;)
    {
        assert(clientsock.Send(req.c_str(), req.size()) != -1);
        assert(clientsock.Send(req.c_str(), req.size()) != -1);
        assert(clientsock.Send(req.c_str(), req.size()) != -1);
        assert(clientsock.Send(req.c_str(), req.size()) != -1);
        char buffer[1024] = {0};
        assert(clientsock.Recv(buffer, 1023));
        LogMessage(DEBUG, "[%s]", buffer);
        sleep(3);
    }

    clientsock.Close();
    return 0;
}

测试结果如下:

4.服务器业务处理超时测试

当服务器达到性能瓶颈,即处理一次业务花费的时间超过了服务器设置的非活跃连接超时时间时,查看服务器的处理情况。我们的预期结果如下:

  • 由于服务器进行单次业务处理的时间超过了连接的超时时间,所以可能导致其他连接被拖累从而超时释放,具体来说,假设现在4 5 6 7描述符就绪,并且在处理4号描述符就绪事件时超时,那么会出现以下两种情况:
    1. 如果4后面的5 6 7号都是通信连接描述符,则并不影响,因为4号描述符就绪事件处理完毕后就会处理它们的就绪事件并刷新其活跃度。
    2. 如果5号描述符是定时器描述符,此时定时器触发超时,就会执行定时任务,由于6、7号描述符被4号描述符拖累,达到了超时时间,因此会被释放,从而导致在进行6 7业务处理时发生内存访问错误 (6号同理)。
  • 因此,在本次事件处理过程中,并不能直接释放通信连接,而应该将释放操作压入任务队列中,待就绪事件全部处理完毕后再真正释放连接。
/* 业务处理超时,查看服务器的处理情况
    当服务器达到了一个性能瓶颈,在一次业务处理中花费了太长的时间(超过了服务器设置的非活跃超时时间)
     1. 在一次业务处理中耗费太长时间,导致其他的连接也被连累超时,其他的连接有可能会被拖累超时释放
     假设现在  12345描述符就绪了, 在处理1的时候花费了30s处理完,超时了,导致2345描述符因为长时间没有刷新活跃度
       1. 如果接下来的2345描述符都是通信连接描述符,如果都就绪了,则并不影响,因为接下来就会进行处理并刷新活跃度
       2. 如果接下来的2号描述符是定时器事件描述符,定时器触发超时,执行定时任务,就会将345描述符给释放掉
          这时候一旦345描述符对应的连接被释放,接下来在处理345事件的时候就会导致程序崩溃(内存访问错误)
          因此这时候,在本次事件处理中,并不能直接对连接进行释放,而应该将释放操作压入到任务池中,
          等到事件处理完了执行任务池中的任务的时候,再去释放
*/

/**
 * 对于释放连接,ShutDownInLoop 不应该立即进行释放ReleaseInLoop,而是应该压入任务队列中
 * 这样就不需要在只要有读写事件之前就刷新一次活跃度,只需要在业务处理完毕之后刷新活跃度即可
 * OnTime() 定时器需要返回当前超时的次数,来进行执行超时任务
 *  // 根据实际超时的次数,执行对应的超时任务
 */

#include "../source/server.hpp"

int main()
{
    for (int i = 0; i < 10; i++)
    {
        pid_t pid = fork();
        if (pid < 0)
        {
            LogMessage(ERROR, "fork error");
            return -1;
        }
        else if (pid == 0)
        {
            // 创建客户端连接
            Socket clientsock;
            clientsock.CreateClient(8080, "127.0.0.1");
            std::string req = "GET /hello HTTP/1.1
Connection: keep-alive
Content-Length: 0

";
            for (;;)
            {
                int ret = clientsock.Send(req.c_str(), req.size());
                assert(ret > 0);
                char buffer[1024] = {0};
                ret = clientsock.Recv(buffer, 1023);
                LogMessage(DEBUG, "[%s]", buffer);
            }
            clientsock.Close();
            exit(0);
        }
    }
    while(1) sleep(1);
    return 0;
}

测试结果如下:

5.服务器同时多条请求测试

客户端一次性给服务器发送多条请求,观察服务器处理结果。

/*一次性给服务器发送多条数据,然后查看服务器的处理结果*/
/*每一条请求都应该得到正常处理*/


#include "../source/server.hpp"

int main()
{
    // 创建客户端连接
    Socket clientsock;
    clientsock.CreateClient(8080, "127.0.0.1");
    std::string req = "GET /hello HTTP/1.1
Connection: keep-alive
Content-Length: 0

";
    req += "GET /hello HTTP/1.1
Connection: keep-alive
Content-Length: 0

";
    req += "GET /hello HTTP/1.1
Connection: keep-alive
Content-Length: 0

";
    for (;;)
    {
        int ret = clientsock.Send(req.c_str(), req.size());
        assert(ret > 0);
        char buffer[1024] = {0};
        ret = clientsock.Recv(buffer, 1023);
        LogMessage(DEBUG, "[%s]", buffer);
        sleep(3);
    }

    clientsock.Close();
    return 0;
}

测试结果如下,服务器能够正常处理并响应:

服务器大文件传输测试

使用PUT方法向服务器传输大文件,观察服务器处理结果。

/**
 * 大文件传输测试,给服务器上传一个大文件,服务器将文件保存下来,观察处理结果
 * 上次的文件和服务器保存的文件一致
 */

// 创建一个大文件
// dd if=/dev/zero of=./hello.txt bs=1G count=1

#include "../source/server.hpp"
#include "../source/http/http.hpp"

int main()
{
    // 创建客户端连接
    Socket clientsock;
    clientsock.CreateClient(8080, "127.0.0.1");
    std::string req = "PUT /1234.txt HTTP/1.1
Connection: keep-alive
";
    std::string body;
    Util::ReadFile("./hello.txt", &body);
    req += "Content-Length: " + std::to_string(body.size()) + "

";

    assert(clientsock.Send(req.c_str(), req.size()) != -1);
    assert(clientsock.Send(body.c_str(), req.size()) != -1);
    char buffer[1024] = {0};
    assert(clientsock.Recv(buffer, 1023) != -1);
    LogMessage(DEBUG, "[%s]", buffer);
    sleep(15);

    clientsock.Close();
    return 0;
}

服务器内存情况以及 test.txt 文件情况如下:

测试结果如下,服务器能够正常处理并响应:

由于服务器资源有限,只能上传100M数据

服务器性能压力测试

使用服务器压力测试工具 WebBench 模拟多个客户端同时访问服务器,测试服务器的并发量 (可以同时处理多少个客户端的请求而不会出现连接失败) 以及 QPS (每秒钟处理的包的数量)。

测试环境如下:

  • 服务器为2核2G带宽4M的云服务器。
  • 在服务器上运行 WebBench 程序。
  • 使用 WebBench 程序以 1000 的并发量,进行 1h 的测试。
./webbench -c 1000 -t 3600 http://127.0.0.1:8080/hello

测试结果如下 ( 2000 QPS ):

4.服务器业务处理超时测试

当服务器达到性能瓶颈,即处理一次业务花费的时间超过了服务器设置的非活跃连接超时时间时,查看服务器的处理情况。我们的预期结果如下:

  • 由于服务器进行单次业务处理的时间超过了连接的超时时间,所以可能导致其他连接被拖累从而超时释放,具体来说,假设现在4 5 6 7描述符就绪,并且在处理4号描述符就绪事件时超时,那么会出现以下两种情况:
    1. 如果4后面的5 6 7号都是通信连接描述符,则并不影响,因为4号描述符就绪事件处理完毕后就会处理它们的就绪事件并刷新其活跃度。
    2. 如果5号描述符是定时器描述符,此时定时器触发超时,就会执行定时任务,由于6、7号描述符被4号描述符拖累,达到了超时时间,因此会被释放,从而导致在进行6 7业务处理时发生内存访问错误 (6号同理)。
  • 因此,在本次事件处理过程中,并不能直接释放通信连接,而应该将释放操作压入任务队列中,待就绪事件全部处理完毕后再真正释放连接。
/* 业务处理超时,查看服务器的处理情况
    当服务器达到了一个性能瓶颈,在一次业务处理中花费了太长的时间(超过了服务器设置的非活跃超时时间)
     1. 在一次业务处理中耗费太长时间,导致其他的连接也被连累超时,其他的连接有可能会被拖累超时释放
     假设现在  12345描述符就绪了, 在处理1的时候花费了30s处理完,超时了,导致2345描述符因为长时间没有刷新活跃度
       1. 如果接下来的2345描述符都是通信连接描述符,如果都就绪了,则并不影响,因为接下来就会进行处理并刷新活跃度
       2. 如果接下来的2号描述符是定时器事件描述符,定时器触发超时,执行定时任务,就会将345描述符给释放掉
          这时候一旦345描述符对应的连接被释放,接下来在处理345事件的时候就会导致程序崩溃(内存访问错误)
          因此这时候,在本次事件处理中,并不能直接对连接进行释放,而应该将释放操作压入到任务池中,
          等到事件处理完了执行任务池中的任务的时候,再去释放
*/

/**
 * 对于释放连接,ShutDownInLoop 不应该立即进行释放ReleaseInLoop,而是应该压入任务队列中
 * 这样就不需要在只要有读写事件之前就刷新一次活跃度,只需要在业务处理完毕之后刷新活跃度即可
 * OnTime() 定时器需要返回当前超时的次数,来进行执行超时任务
 *  // 根据实际超时的次数,执行对应的超时任务
 */

#include "../source/server.hpp"

int main()
{
    for (int i = 0; i < 10; i++)
    {
        pid_t pid = fork();
        if (pid < 0)
        {
            LogMessage(ERROR, "fork error");
            return -1;
        }
        else if (pid == 0)
        {
            // 创建客户端连接
            Socket clientsock;
            clientsock.CreateClient(8080, "127.0.0.1");
            std::string req = "GET /hello HTTP/1.1
Connection: keep-alive
Content-Length: 0

";
            for (;;)
            {
                int ret = clientsock.Send(req.c_str(), req.size());
                assert(ret > 0);
                char buffer[1024] = {0};
                ret = clientsock.Recv(buffer, 1023);
                LogMessage(DEBUG, "[%s]", buffer);
            }
            clientsock.Close();
            exit(0);
        }
    }
    while(1) sleep(1);
    return 0;
}

测试结果如下:

5.服务器同时多条请求测试

客户端一次性给服务器发送多条请求,观察服务器处理结果。

/*一次性给服务器发送多条数据,然后查看服务器的处理结果*/
/*每一条请求都应该得到正常处理*/


#include "../source/server.hpp"

int main()
{
    // 创建客户端连接
    Socket clientsock;
    clientsock.CreateClient(8080, "127.0.0.1");
    std::string req = "GET /hello HTTP/1.1
Connection: keep-alive
Content-Length: 0

";
    req += "GET /hello HTTP/1.1
Connection: keep-alive
Content-Length: 0

";
    req += "GET /hello HTTP/1.1
Connection: keep-alive
Content-Length: 0

";
    for (;;)
    {
        int ret = clientsock.Send(req.c_str(), req.size());
        assert(ret > 0);
        char buffer[1024] = {0};
        ret = clientsock.Recv(buffer, 1023);
        LogMessage(DEBUG, "[%s]", buffer);
        sleep(3);
    }

    clientsock.Close();
    return 0;
}

测试结果如下,服务器能够正常处理并响应:

服务器大文件传输测试

使用PUT方法向服务器传输大文件,观察服务器处理结果。

/**
 * 大文件传输测试,给服务器上传一个大文件,服务器将文件保存下来,观察处理结果
 * 上次的文件和服务器保存的文件一致
 */

// 创建一个大文件
// dd if=/dev/zero of=./hello.txt bs=1G count=1

#include "../source/server.hpp"
#include "../source/http/http.hpp"

int main()
{
    // 创建客户端连接
    Socket clientsock;
    clientsock.CreateClient(8080, "127.0.0.1");
    std::string req = "PUT /1234.txt HTTP/1.1
Connection: keep-alive
";
    std::string body;
    Util::ReadFile("./hello.txt", &body);
    req += "Content-Length: " + std::to_string(body.size()) + "

";

    assert(clientsock.Send(req.c_str(), req.size()) != -1);
    assert(clientsock.Send(body.c_str(), req.size()) != -1);
    char buffer[1024] = {0};
    assert(clientsock.Recv(buffer, 1023) != -1);
    LogMessage(DEBUG, "[%s]", buffer);
    sleep(15);

    clientsock.Close();
    return 0;
}

服务器内存情况以及 test.txt 文件情况如下:

测试结果如下,服务器能够正常处理并响应:

由于服务器资源有限,只能上传100M数据

服务器性能压力测试

使用服务器压力测试工具 WebBench 模拟多个客户端同时访问服务器,测试服务器的并发量 (可以同时处理多少个客户端的请求而不会出现连接失败) 以及 QPS (每秒钟处理的包的数量)。

测试环境如下:

  • 服务器为2核2G带宽4M的云服务器。
  • 在服务器上运行 WebBench 程序。
  • 使用 WebBench 程序以 1000 的并发量,进行 1h 的测试。
./webbench -c 1000 -t 3600 http://127.0.0.1:8080/hello

测试结果如下 ( 2000 QPS ):

本文地址:https://www.vps345.com/10045.html

搜索文章

Tags

docker 容器 运维 java-rabbitmq java PV计算 带宽计算 流量带宽 服务器带宽 上行带宽 上行速率 什么是上行带宽? CC攻击 攻击怎么办 流量攻击 DDOS攻击 服务器被攻击怎么办 源IP 开源 自动化 n8n dity make 服务器 linux rag ragflow ollama 大模型部署 ubuntu 无人机 机器人 人工智能 安全 Linux 维护模式 AI Dify 大模型应用 linux环境变量 搜索引擎 程序员 prompt LLM 大模型 qt linuxdeployqt 打包部署程序 appimagetool pytorch tensorflow 大模型面经 职场和发展 Deepseek 大模型学习 嵌入式硬件 网络 远程连接 vscode 数据分析 机器学习 计算机视觉 flutter Google pay Apple pay 数据库 postgresql pgpool macos MacMini Mac 迷你主机 mini Apple centos ai nlp 边缘计算 python windows MCP 深度学习 DeepSeek chatgpt gpu算力 android studio 交互 后端 websocket android 区块链 分布式账本 web3 智能合约 信任链 共识算法 Agent llama CrewAI Linux DNS tcp/ip c语言 ide 硬件工程 单片机 物联网 nginx 网络协议 知识图谱 大模型教程 AI大模型 uniapp vue onlyoffice 在线office 相机 milvus MQTT mosquitto 消息队列 harmonyos 华为 华为云 华为od debian wps 安卓 智能手机 计算机网络 web安全 网络安全 php 技能大赛 ffmpeg 开发语言 pycharm flask deepseek 科技 大数据 云计算 区块链项目 操作系统 Qwen3 qwen3 32b vllm 本地部署 阿里云 spring boot spring YOLO r语言 数据挖掘 数据可视化 智能路由器 ESXi opencv github gitlab vmware 虚拟机 vim c++ nac 802.1 portal Docker引擎已经停止 Docker无法使用 WSL进度一直是0 镜像加速地址 fiddler 爬虫 http 卸载 软件 列表 ssh 云原生 iventoy VmWare OpenEuler 系统架构 redis 分布式 缓存 服务器安全 网络安全策略 防御服务器攻击 安全威胁和解决方案 程序员博客保护 数据保护 安全最佳实践 springsecurity6 oauth2 授权服务器 前后端分离 chrome 学习 微信开放平台 微信公众平台 微信公众号配置 gpt transformer 自然语言处理 笔记 WSL2 上安装 Ubuntu kubernetes 网页服务器 web服务器 Nginx Apache Beam 批流统一 性能优化 案例展示 数据分区 容错机制 django vue.js react.js 前端 oracle top Linux top top命令详解 top命令重点 top常用参数 go 多线程服务器 TCP服务器 qt项目 qt项目实战 qt教程 服务器扩容没有扩容成功 conda 远程 命令 执行 sshpass 操作 政务 分布式系统 监控运维 Prometheus Grafana ShapeFile GeoJSON Python ROS 自动驾驶 部署 HTTP 服务器控制 ESP32 DeepSeek BMC IPMI 带外管理 fpga开发 appium 软件测试 自动化测试 功能测试 程序人生 rocketmq 车载系统 ssh漏洞 ssh9.9p2 CVE-2025-23419 游戏引擎 ruoyi mcu tidb GLIBC 架构 mysql hadoop big data 编辑器 关系型 鸿蒙 鸿蒙系统 前端框架 Python教程 pycharm安装 主从复制 kylin eureka spring cloud 神经网络 卷积神经网络 环境迁移 GIS 遥感 WebGIS 大模型推理 ssl Dell HPE 联想 浪潮 mamba 语言模型 agi servlet mcp mcp协议 go-zero mcp服务器 ddos 经验分享 音视频 k8s 线程 多线程 金融 算法 oceanbase rc.local 开机自启 systemd 麒麟 Windows ai工具 存储维护 NetApp存储 EMC存储 https CH340 串口驱动 CH341 uart 485 udp virtualenv arm UEFI Legacy MBR GPT U盘安装操作系统 webpack maven Vmamba kvm qemu libvirt intellij-idea c# javascript edge ansible playbook 自动化运维 p2p AI-native elasticsearch 7-zip jvm muduo 网络库 串口服务器 万物互联 工业自动化 工厂改造 游戏 Ubuntu20.04 2.35 中间件 可信计算技术 安全架构 网络攻击模型 程序 编程 内存 性能分析 群晖 低代码 pip Kali 渗透 devops LSTM cursor AIGC 考研 数据结构 具身智能 强化学习 grep wsl2 wsl vsxsrv 目标检测 YOLOv12 网络结构图 yaml Ultralytics 可视化 git ragflow 源码启动 学习方法 蓝桥杯 jenkins 嵌入式 Docker Docker Compose Kubernetes Deepseek-R1 私有化部署 推理模型 tomcat CosyVoice 其他 burpsuite 安全工具 mac安全工具 burp安装教程 渗透工具 远程工作 mac 截图 录屏 gif 工具 eclipse 1024程序员节 yolov5 ACL 流量控制 基本ACL 网络管理 规则配置 visualstudio 网工 运维开发 系统安全 word图片自动上传 word一键转存 复制word图片 复制word图文 复制word公式 粘贴word图文 粘贴word公式 matlab Playwright pythonai PlaywrightMCP ipython Cursor typescript 智慧农业 开源鸿蒙 团队开发 gnu linux驱动开发 arm开发 vmamba 图文教程 VMware虚拟机 macOS系统安装教程 macOS最新版 虚拟机安装macOS Sequoia node.js 面试 llm prometheus grafana 网络工程师 软考 2024 2024年上半年 下午真题 答案 腾讯云 IO Apache Flume 数据采集 安装部署 配置优化 高级功能 大数据工具集成 H3C 大模型入门 云电竞 云电脑 todesk 驱动开发 kafka jupyter IM即时通讯 QQ 微信 企业微信 剪切板对通 HTML FORMAT uni-app 上传视频文件到服务器 uniApp本地上传视频并预览 uniapp移动端h5网页 uniapp微信小程序上传视频 uniapp app端视频上传 uniapp uview组件库 css css3 html5 AI员工 mysql离线安装 ubuntu22.04 mysql8.0 中兴光猫 换光猫 网络桥接 自己换光猫 SenseVoice 重启 排查 系统重启 日志 原因 rabbitmq ruby 计算机外设 bug mysql安装报错 windows拒绝安装 hdc 鸿蒙NEXT openjdk comfyui comfyui教程 Ollama 智能驾驶 BEVFusion Ubuntu pyautogui 网络药理学 生信 生物信息学 gromacs 分子动力学模拟 MD 动力学模拟 视频编解码 vnc 图形化界面 微服务 负载均衡 AI编程 visual studio code LVM 磁盘分区 lvresize 磁盘扩容 pvcreate Claude Desktop Claude MCP Windows Cli MCP 镜像源 unity 压力测试 大模型压力测试 EvalScope 信息与通信 LLM Web APP Streamlit oneapi adb vue3 excel 在线预览 xlsx xls文件 在浏览器直接打开解析xls表格 前端实现vue3打开excel 文件地址url或接口文档流二进 NAS Termux Samba 鲲鹏 昇腾 npu outlook 错误代码2603 无网络连接 2603 安全漏洞 信息安全 microsoft 电脑 NVML nvidia-smi harmonyOS面试题 sdkman RAGFlow notepad shell脚本免交互 expect linux免交互 VMware Tools vmware tools安装 vmwaretools安装步骤 vmwaretools安装失败 vmware tool安装步骤 vm tools安装步骤 vm tools安装后不能拖 vmware tools安装步骤 ArkUI ArkTS 移动端开发 小程序 MobaXterm 文件传输 WSL2 IP 地址 docker run 数据卷挂载 环境变量 端口映射 交互模式 课程设计 rpa 镜像 docker-compose 框架搭建 vite 防火墙 端口号 开放端口 访问列表 RagFlow RAG wireshark FTP服务器 远程桌面 自定义客户端 SAS Flask FastAPI Waitress Gunicorn uWSGI Uvicorn svn PyQt PySide6 shell 飞腾处理器 硬件架构 国产化 word 模拟器 教程 源码 毕业设计 bash fstab open webui gcc g++ g++13 iTerm2 VMware 图像处理 Linux find grep selenium cnn GoogLeNet gitee 计算生物学 生物信息 基因组 前端面试题 持续部署 cron crontab日志 Alexnet qps 高并发 分子对接 autodock mgltools PDB PubChem 智能体开发 powerpoint SSE v10 DeepSeek-R1 API接口 宝塔面板 同步 备份 建站 服务器配置 IIS服务器 IIS性能 日志监控 gaussdb C++软件实战问题排查经验分享 0xfeeefeee 0xcdcdcdcd 动态库加载失败 程序启动失败 程序运行权限 标准用户权限与管理员权限 db 大文件分片上传断点续传及进度条 如何批量上传超大文件并显示进度 axios大文件切片上传详细教 node服务器合并切片 vue3大文件上传报错提示错误 vu大文件秒传跨域报错cors 镜像下载 freebsd deepseek-r1 大模型本地部署 es6 qt6.3 g726 密码学 商用密码产品体系 匿名FTP 邮件传输代理 SSL支持 chroot监狱技术 微信小程序 notepad++ 监控 GPU状态 卡死 list 隐藏文件 maxkb ARG kotlin iphone openssl zabbix 设备树 毕设 arkUI arkTs cuda 策略模式 知识库 本地知识库部署 DeepSeek R1 模型 pdf 办公自动化 自动化生成 pdf教程 测试工具 集成学习 集成测试 抓包工具 Doris搭建 docker搭建Doris Doris搭建过程 linux搭建Doris Doris搭建详细步骤 Doris部署 axure 富文本编辑器 opengl 网络爬虫 ubuntu20.04 ros ros1 Noetic 20.04 apt 安装 工具分享 nvm tcpdump 显卡驱动持久化 GPU持久化 计算机学习路线 编程语言选择 nohup 异步执行 RTSP xop RTP RTSPServer 推流 视频 stm32 armbian u-boot 服务器无法访问 ip地址无法访问 无法访问宝塔面板 宝塔面板打不开 YOLOv8 NPU Atlas800 A300I pro asi_bench 模型联网 API CherryStudio jmeter ESP32 模拟退火算法 micropython esp32 mqtt 数据库架构 数据管理 数据治理 数据编织 数据虚拟化 虚拟化 大模型训练/推理 推理问题 mindie apache web 框架 chatbox gitee go Java进程管理 DevOps自动化 脚本执行 跨平台开发 远程运维 Apache Exec JSch kali 共享文件夹 yolov8 键盘 开机黑屏 python2 ubuntu24.04 unix diskgenius 打不开xxx软件 无法检查其是否包含恶意软件 python3.11 zip unzip js MAC Ubuntu DeepSeek DeepSeek Ubuntu DeepSeek 本地部署 DeepSeek 知识库 DeepSeek 私有化知识库 本地部署 DeepSeek DeepSeek 私有化部署 5G 3GPP 卫星通信 AnythingLLM AnythingLLM安装 arcgis QT 5.12.12 QT开发环境 Ubuntu18.04 pygame iftop 网络流量监控 ip协议 国产数据库 瀚高数据库 数据迁移 下载安装 ui DevOps 软件交付 数据驱动 应用场景 数据安全 命名管道 客户端与服务端通信 jdk android-studio 京东云 DrissionPage 企业风控系统 互联网反欺诈 DDoS攻击 SQL注入攻击 恶意软件和病毒攻击 工作流自动化工具 bushujiaocheng 部署教程 算家云 AI算力 租算力 到算家云 Trae IDE AI 原生集成开发环境 Trae AI sql Cline golang mount挂载磁盘 wrong fs type LVM挂载磁盘 Centos7.9 AutoDL audio vue音乐播放器 vue播放音频文件 Audio音频播放器自定义样式 播放暂停进度条音量调节快进快退 自定义audio覆盖默认样式 live555 源码剖析 rtsp实现步骤 流媒体开发 gitea 游戏服务器 Minecraft webrtc jar lighttpd安装 Ubuntu配置 Windows安装 性能测试 服务器优化 录音麦克风权限判断检测 录音功能 录音文件mp3播放 小程序实现录音及播放功能 RecorderManager 解决录音报错播放没声音问题 NFC 近场通讯 智能门锁 Qualcomm WoS QNN AppBuilder 信号处理 程序化交易 量化交易 高频交易 哈希算法 minio 文件存储服务器组件 云计算面试题 C 进程地址空间 进程 yum apt chrome devtools chromedriver ip MySql 虚拟显示器 远程控制 Mac内存不够用怎么办 安卓模拟器 桌面环境 Isaac Sim 虚拟仿真 export env 变量 终端工具 远程工具 软件需求 进程间通信 GPU训练 SecureCRT lsb_release /etc/issue /proc/version uname -r 查看ubuntu版本 Ubuntu 24 常用命令 Ubuntu 24 Ubuntu vi 异常处理 CUPS 打印机 Qt5 Maxkb RAG技术 本地知识库 权限 国产操作系统 统信UOS Python基础 Python技巧 多进程 flash-attention 报错 7z 单例模式 kernel dash json 正则表达式 k8s部署 MySQL8.0 高可用集群(1主2从) remote-ssh 软考设计师 中级设计师 SQL 软件设计师 论文笔记 升级 CVE-2024-7347 漏洞 回显服务器 UDP的API使用 RustDesk自建服务器 rustdesk服务器 docker rustdesk 华为认证 交换机 个人博客 安全威胁分析 银河麒麟 npm rsyslog adobe 数据库系统 sqlserver 我的世界服务器搭建 aws googlecloud CDN oracle fusion oracle中间件 语音识别 Chatbox postman 蓝桥杯C++组 C++ 虚幻 ftp服务 文件上传 EtherCAT转Modbus EtherCAT转485网关 ECT转485串口服务器 ECT转Modbus485协议 ECT转Modbus串口网关 ECT转Modbus串口服务器 华为OD 华为OD机试真题 可以组成网络的服务器 电路仿真 multisim 硬件工程师 硬件工程师学习 电路图 电路分析 仪器仪表 localhost rsync openEuler HTTP状态码 客户端错误 服务器端错误 API设计 嵌入式Linux IPC 混合开发 环境安装 JDK java-ee xcode 程序员创富 iot chromium dpi IP配置 netplan rime ollama api ollama外网访问 WSL resolv.conf termux 环境搭建 Bug解决 Qt platform OpenCV mac设置host node 虚拟现实 创业创新 jdk11安装 jdk安装 openjdk11 openjdk11安装 rpc Claude 国内源 人工智能生成内容 WebVM Linux无人智慧超市 LInux多线程服务器 QT项目 LInux项目 单片机项目 html CPU 使用率 系统监控工具 linux 命令 docker desktop 小智 python高级编程 Ansible elk stack lvs fastapi spark HistoryServer Spark YARN jobhistory 硬件 设备 GPU PCI-Express 大模型微调 雨云 NPS 微信小程序域名配置 微信小程序服务器域名 微信小程序合法域名 小程序配置业务域名 微信小程序需要域名吗 微信小程序添加域名 IIS .net core Hosting Bundle .NET Framework vs2022 宝塔面板访问不了 宝塔面板网站访问不了 宝塔面板怎么配置网站能访问 宝塔面板配置ip访问 宝塔面板配置域名访问教程 宝塔面板配置教程 dell服务器 rtsp rtp xrdp 孤岛惊魂4 filezilla 无法连接服务器 连接被服务器拒绝 vsftpd 331/530 IMM 实时音视频 反向代理 RAID RAID技术 磁盘 存储 kind rust腐蚀 windwos防火墙 defender防火墙 win防火墙白名单 防火墙白名单效果 防火墙只允许指定应用上网 防火墙允许指定上网其它禁止 file server http server web server 媒体 直播推流 opensearch helm firefox 测试用例 triton 模型分析 midjourney AI写作 状态管理的 UDP 服务器 Arduino RTOS rustdesk 宝塔 numpy 跨域请求 ecmascript Python 视频爬取教程 Python 视频爬取 Python 视频教程 finebi 3d bigdata 进程控制 宠物 免费学习 宠物领养 宠物平台 小游戏 五子棋 GCC crosstool-ng chrome 浏览器下载 chrome 下载安装 谷歌浏览器下载 邮件APP 免费软件 USB转串口 xshell termius iterm2 客户端 .net nohup后台启动 电脑桌面出现linux图标 电脑桌面linux图标删除不了 电脑桌面Liunx图标删不掉 linux图标删不掉 高德地图 鸿蒙接入高德地图 HarmonyOS5.0 进程信号 快捷键 旋转屏幕 自动操作 Ubuntu 22.04 算力租赁 安装教程 向量数据库 milvus安装 裸机装机 linux磁盘分区 裸机安装linux 裸机安装ubuntu 裸机安装kali 裸机 csrf vm PostgreSQL15数据库 切换root nano 数据集 IMX317 MIPI H265 VCU 影刀 #影刀RPA# 热榜 实时互动 seleium camera Arduino 电子信息 ip命令 新增网卡 新增IP 启动网卡 yum换源 image centos 7 cudnn nvidia make命令 makefile文件 Java LInux ci/cd C语言 xml 单元测试 可用性测试 gru SRS 流媒体 直播 MCP server agent C/S FTP 服务器 vscode1.86 1.86版本 ssh远程连接 react next.js 部署next.js VM搭建win2012 win2012应急响应靶机搭建 攻击者获取服务器权限 上传wakaung病毒 应急响应并溯源 挖矿病毒处置 应急响应综合性靶场 web3.py 我的世界 我的世界联机 数码 大语言模型 LLMs EtherNet/IP串口网关 EIP转RS485 EIP转Modbus EtherNet/IP网关协议 EIP转RS485网关 EIP串口服务器 银河麒麟操作系统 游戏程序 项目部署到linux服务器 项目部署过程 三级等保 服务器审计日志备份 langchain 弹性计算 云服务器 裸金属服务器 弹性裸金属服务器 FunASR ASR asm C# MQTTS 双向认证 emqx Windsurf 像素流送api 像素流送UE4 像素流送卡顿 像素流送并发支持 Pyppeteer c/s element-ui 上传视频并预览视频 vue上传本地视频及进度条功能 vue2选择视频上传到服务器 upload上传视频组件插件 批量上传视频 限制单个上传视频 #STC8 #STM32 web开发 pyscenic 生信教程 电子信息工程 链表 RAGFLOW 检索增强生成 文档解析 大模型垂直应用 ios 版本 安装 Xinference MacOS 向日葵 冯诺依曼体系 火绒安全 mybase 代码 对比 meld Beyond Compare DiffMerge OpenCore harmonyosnext RockyLinux nacos Kali Linux 蓝耘科技 元生代平台工作流 ComfyUI Docker Desktop openwrt USB网络共享 运维监控 拓扑图 王者荣耀 虚拟局域网 AI Agent 字节智能运维 双系统 GRUB引导 Linux技巧 飞牛nas fnos 目标跟踪 OpenVINO 推理应用 Portainer搭建 Portainer使用 Portainer使用详解 Portainer详解 Portainer portainer dify 本地化部署 计算机 Linux Vim tar 安装MySQL docker compose post.io 企业邮箱 搭建邮箱 rtc 磁盘挂载 新盘添加 partedUtil 隐藏目录 文件系统 管理器 通配符 linux子系统 忘记密码 easyTier 内网穿透 组网 AI提示词优化 NVIDIA mcp-proxy mcp-inspector fastapi-mcp sse 嵌入式实习 EMQX 通信协议 MS Materials zotero WebDAV 同步失败 代理模式 ftp 个人开发 阻塞队列 生产者消费者模型 服务器崩坏原因 HTML audio 控件组件 vue3 audio音乐播放器 Audio标签自定义样式默认 vue3播放音频文件音效音乐 自定义audio播放器样式 播放暂停调整声音大小下载文件 LDAP cpu 实时 使用 opcua opcda KEPServer安装 做raid 装系统 ssrf 失效的访问控制 open Euler dde deepin kamailio sip VoIP 外网访问 nuxt3 WebRTC express NFS redhat 创意 社区 DOIT 四博智联 zookeeper 服务器繁忙 备选 网站 api 调用 示例 大数据平台 rtsp服务器 rtsp server android rtsp服务 安卓rtsp服务器 移动端rtsp服务 大牛直播SDK llama.cpp 浏览器自动化 视频平台 录像 视频转发 视频流 asp.net大文件上传 asp.net大文件上传下载 asp.net大文件上传源码 ASP.NET断点续传 gunicorn 锁屏不生效 树莓派 Navidrome 规格说明书 设计规范 .netcore OpenGL 图形渲染 机器人仿真 模拟仿真 换源 Debian 微信分享 Image wxopensdk 多层架构 解耦 灵办AI cmos PX4 rclone AList webdav fnOS cocoapods 软件卸载 系统清理 英语 openvpn server openvpn配置教程 centos安装openvpn 本地环回 bind lvm iNode Macos EVE-NG 华为鸿蒙系统 ArkTS语言 Component 生命周期 条件渲染 Image图片组件 材料工程 Obsidian Dataview firewall 流程图 mermaid 鸿蒙面试 面试题 eNSP 企业网络规划 华为eNSP 网络规划 产测工具框架 IMX6ULL 管理框架 elk Logstash 日志采集 glibc 网络用户购物行为分析可视化平台 大数据毕业设计 软链接 硬链接 KVM rnn Docker Hub docker pull daemon.json 自动化任务管理 telnet 远程登录 springcloud perl miniapp 真机调试 调试 debug 断点 网络API请求调试方法 设置代理 实用教程 性能调优 安全代理 读写锁 指令 Typore dubbo database 私有化 scapy 全文检索 图搜索算法 RDP rust autoware ros2 智能体 autogen openai coze 桥接模式 windows虚拟机 虚拟机联网 deepseek-v3 ktransformers MLLMs VLM gpt-4v 超级终端 多任务操作 提高工作效率 传统数据库升级 银行 Kylin-Server 服务器安装 网卡的名称修改 eth0 ens33 VSCode Invalid Host allowedHosts pillow 云服务 常用命令 文本命令 目录命令 NAT转发 NAT Server UDP ping++ 单一职责原则 豆瓣 追剧助手 迅雷 nas frp 内网服务器 内网代理 内网通信 Headless Linux PVE string模拟实现 深拷贝 浅拷贝 经典的string类问题 三个swap 黑客 渗透测试 信息收集 VPS 网络编程 聊天服务器 套接字 TCP Socket 大文件秒传跨域报错cors 显示管理器 lightdm gdm 高效日志打印 串口通信日志 服务器日志 系统状态监控日志 异常记录日志 tcp 算力 grub 版本升级 扩容 CUDA PyTorch aarch64 编译安装 HPC 毕昇JDK CPU 主板 电源 网卡 机柜 1U 2U powerbi 信息可视化 hive 行情服务器 股票交易 速度慢 切换 股票量化接口 股票API接口 软件开发 券商 股票交易接口api 类型 特点 海康 samba 支持向量机 RK3568 计算机系统 百度云 矩池云 数据下载 数据传输 SoC 概率论 lua h.265 socket sse_starlette Starlette Server-Sent Eve 服务器推送事件 性能监控 mongodb 捆绑 链接 谷歌浏览器 youtube google gmail ArcTS 登录 ArcUI GridItem bcompare Linux24.04 GaN HEMT 氮化镓 单粒子烧毁 辐射损伤 辐照效应 Linux awk awk函数 awk结构 awk内置变量 awk参数 awk脚本 awk详解 HarmonyOS Next DevEco Studio Qwen2.5-coder 离线部署 产品经理 protobuf 序列化和反序列化 x64 SIGSEGV xmm0 并查集 leetcode 沙盒 高级IO epoll 开发环境 curl wget perf linux内核 matplotlib fonts-noto-cjk jellyfin GPU环境配置 Ubuntu22 Anaconda安装 UOS 开机自启动 桌面快捷方式 Echarts图表 折线图 柱状图 异步动态数据 鸿蒙开发 可视化效果 macbook pthread 系统 一切皆文件 brew systemctl composer photoshop 管道 匿名管道 stable diffusion RTX5090 torch2.7.0 腾讯云大模型知识引擎 工作流 workflow 开发 环境配置 实习 Linux PID minicom 串口调试工具 DocFlow Reactor 设计模式 k8s集群资源管理 云原生开发 PPI String Cytoscape CytoHubba moveit 机器人运动 ai小智 语音助手 ai小智配网 ai小智教程 智能硬件 esp32语音助手 diy语音助手 etcd RBAC rancher nftables 大模型技术 本地部署大模型 Ubuntu22.04 开发人员主页 burp suite 抓包 compose centos-root /dev/mapper yum clean all df -h / du -sh 大屏端 trae 软件工程 IPv4/IPv6双栈 双栈技术 网路规划设计 ensp综合实验 IPv4过渡IPv6 IPv4与IPv6 物理地址 页表 虚拟地址 命令模式 源代码 MAVROS 四旋翼无人机 动态库 GCC编译器 -fPIC -shared llamafactory 微调 Qwen dns是什么 如何设置电脑dns dns应该如何设置 Apache OpenNLP 句子检测 分词 词性标注 核心指代解析 Linux网络编程 华为机试 Kylin OS 技术 intellij idea EasyConnect springboot 统信 虚拟机安装 echarts 网页设计 nextjs reactjs unity3d HCIE 数通 移动云 磁盘监控 服务器数据恢复 数据恢复 存储数据恢复 raid5数据恢复 磁盘阵列数据恢复 X11 Xming Netty 即时通信 NIO DigitalOcean GPU服务器购买 GPU服务器哪里有 GPU服务器 SSH Unity Dedicated Server Host Client 无头主机 llama3 Chatglm 开源大模型 大大通 第三代半导体 碳化硅 计算虚拟化 弹性裸金属 崖山数据库 YashanDB 雨云服务器 asp.net上传文件夹 asp.net上传大文件 .net core断点续传 uni-file-picker 拍摄从相册选择 uni.uploadFile H5上传图片 微信小程序上传图片 mybatis 温湿度数据上传到服务器 Arduino HTTP ABAP 阿里云ECS 互信 windows 服务器安装 硅基流动 ChatBox 笔灵AI AI工具 HP Anyware 内网渗透 靶机渗透 智能电视 mariadb 华为昇腾910b3 vCenter服务器 ESXi主机 监控与管理 故障排除 日志记录 qwen2vl fpga 教育电商 ECS服务器 环境 非root anonymous sqlite 站群服务器 Svelte openssh 服务网格 istio Ubuntu Server Ubuntu 22.04.5 rdp 远程服务 Redis Desktop VMware安装mocOS macOS系统安装 safari 本地部署AI大模型 稳定性 看门狗 系统开发 binder framework 源码环境 基础环境 ArkTs 通信工程 毕业 进程优先级 调度队列 进程切换 Reactor反应堆 华为证书 HarmonyOS认证 华为证书考试 动静态库 gpt-3 sublime text3 Xshell firewalld react native ranger MySQL8.0 Bandizip Mac解压 Mac压缩 压缩菜单 SPI devmem ubantu 互联网实用编程指南 IP地址 IPv4 IPv6 计算机基础 环境部署 深度求索 私域 ShenTong can 线程池 怎么卸载MySQL MySQL怎么卸载干净 MySQL卸载重新安装教程 MySQL5.7卸载 Linux卸载MySQL8.0 如何卸载MySQL教程 MySQL卸载与安装 路径解析 anaconda okhttp efficientVIT YOLOv8替换主干网络 TOLOv8 ue4 着色器 ue5 增强现实 沉浸式体验 技术实现 案例分析 AR searxng Cookie docker搭建pg docker搭建pgsql pg授权 postgresql使用 postgresql搭建 嵌入式系统开发 监控k8s 监控kubernetes DeepSeek r1 Open WebUI 文心一言 DBeaver K8S k8s管理系统 qt5 客户端开发 ROS2 ubuntu安装 linux入门小白 免密 公钥 私钥 宝塔面板无法访问 UFW Trae叒更新了? hosts hosts文件管理工具 开源软件 isaacgym dns docker安装nacos nacos容器环境变量 docker启动nacos参数 nacos镜像下载 lstm LSTM-SVM 时间序列预测 实验 stm32项目 Xterminal AD域 webstorm SVN Server tortoise svn autodl ocr odoo 服务器动作 Server action junit Hyper-V WinRM TrustedHosts 多个客户端访问 IO多路复用 TCP相关API 需求分析 vSphere vCenter 软件定义数据中心 sddc Spring Security 黑客技术 AI agent ukui 麒麟kylinos openeuler 服务器部署ai模型 iis 文件分享 远程看看 远程协助 银河麒麟高级服务器 外接硬盘 Kylin 备份SQL Server数据库 数据库备份 傲梅企业备份网络版 swoole IPMITOOL 硬件管理 网络穿透 netty SWAT 配置文件 服务管理 网络共享 执法记录仪 智能安全帽 smarteye skynet 网站搭建 serv00 博客 VMware创建虚拟机 .net mvc断点续传 田俊楠 信创 信创终端 中科方德 ECT转Modbus协议 EtherCAT转485协议 ECT转Modbus网关 gradle Web服务器 多线程下载工具 PYTHON clickhouse Web应用服务器 服务器部署 本地拉取打包 联机 僵尸毁灭工程 游戏联机 开服 弹性服务器 CNNs 图像分类 视频监控 Webserver 异步 shard gateway 热键 深度优先 linux安装配置 MacOS录屏软件 regedit 开机启动 edge浏览器 EMUI 回退 降级 embedding Hive环境搭建 hive3环境 Hive远程模式 Linux的基础指令 mm-wiki搭建 linux搭建mm-wiki mm-wiki搭建与使用 mm-wiki使用 mm-wiki详解 conda配置 conda镜像源 CentOS Stream CentOS cd 目录切换 历史版本 下载 Ubuntu共享文件夹 共享目录 Linux共享文件夹 c/c++ 串口 minecraft 软件构建 DIFY iperf3 带宽测试 Linux权限 权限命令 特殊权限 磁盘清理 cmake deep learning 用户管理 initramfs Linux内核 Grub 可执行程序 Github加速 Mac上Github加速 Chrome浏览器插件 图论 wifi驱动 影视app 蓝牙 Bluetooth 配对 RAGflow rk3588 rknn-toolkit2 离线部署dify fd 文件描述符 c AI代码编辑器 linux上传下载 SSH 密钥生成 SSH 公钥 私钥 生成 子网掩码 公网IP 私有IP DenseNet uv 序列化反序列化 docker搭建nacos详解 docker部署nacos 腾讯云搭建nacos centos7搭建nacos 显卡驱动 log4j Node-Red 编程工具 流编程 WebUI DeepSeek V3 CLion 聚类 mq 输入法 cfssl WLAN selete JAVA import save load 迁移镜像 GameFramework HybridCLR Unity编辑器扩展 自动化工具 网易邮箱大师 健康医疗 音乐服务器 音流 GRE anythingllm open-webui docker国内镜像 文件共享 openresty 搜狗输入法 中文输入法 电子器件 二极管 三极管 三维重建 pppoe radius 物联网开发 高效远程协作 TrustViewer体验 跨设备操作便利 智能远程控制 DeepSeek行业应用 Heroku 网站部署 僵尸世界大战 游戏服务器搭建 HAProxy 银河麒麟桌面操作系统 TrinityCore 魔兽世界 查询数据库服务IP地址 SQL Server 银河麒麟服务器操作系统 系统激活 MNN vscode 1.86 社交电子 ldap token sas sysctl.conf vm.nr_hugepages mock mock server 模拟服务器 mock服务器 Postman内置变量 Postman随机数据 Dell R750XS MI300x 联想开天P90Z装win10 思科模拟器 思科 Cisco hugo 致远OA OA服务器 服务器磁盘扩容 加解密 Yakit yaklang W5500 OLED u8g2 sqlite3 搭建个人相关服务器 域名服务 DHCP 符号链接 配置 服务器管理 配置教程 网站管理 AP配网 AK配网 小程序AP配网和AK配网教程 WIFI设备配网小程序UDP开 Jellyfin 飞牛 代码托管服务 banner React Next.js 开源框架 client close 话题通信 服务通信 visual studio 浪潮信息 AI服务器 服务器ssl异常解决 动态规划 umeditor粘贴word ueditor粘贴word ueditor复制word ueditor上传word图片 ueditor导入word ueditor导入pdf ueditor导入ppt AimRT pyside6 界面 java-zookeeper MinIO Qt QModbus 机架式服务器 1U工控机 RK3588 国产工控机 源代码管理 accept rtcp 腾讯云服务器 轻量应用服务器 linux系统入门 linux命令 零日漏洞 CVE slave HarmonyOS MateBook 多端开发 智慧分发 应用生态 鸿蒙OS webgl 医疗APP开发 app开发 neo4j 数据仓库 数据库开发 deekseek 小艺 Pura X alias unalias 别名 黑苹果 命令行 基础入门 飞牛NAS 飞牛OS MacBook Pro prometheus数据采集 prometheus数据模型 prometheus特点 Attention NLP threejs 3D 代理服务器 trea idea 模拟实现 强制清理 强制删除 mac废纸篓 HiCar CarLife+ CarPlay QT fork wait waitpid exit Linux的权限 ubuntu 18.04 Mac软件 MVS 海康威视相机 终端 Tabs组件 TabContent TabBar TabsController 导航页签栏 滚动导航栏 pyicu 推荐算法 beautifulsoup 视觉检测 实时内核 大版本升 升级Ubuntu系统 Ardupilot Charles 线程同步 线程互斥 条件变量 提示词 容器技术 clipboard 剪贴板 剪贴板增强 mac cocoapods macos cocoapods ceph TRAE ollama下载加速 跨域 VLAN 企业网络 k8s资源监控 annotations自动化 自动化监控 监控service 监控jvm kerberos xpath定位元素 浏览器开发 AI浏览器 ubuntu24 vivado24 linux 命令 sed 命令 springboot远程调试 java项目远程debug docker远程debug java项目远程调试 springboot远程 虚幻引擎 vr 软负载 监控k8s集群 集群内prometheus easyui 网络建设与运维 网络搭建 神州数码 神州数码云平台 云平台 交叉编译 自学笔记 小米 澎湃OS Android 解决方案 链路聚合 端口聚合 win11 windows11 接口优化 k8s二次开发 Sealos virtualbox lb 协议 ebpf uprobe scikit-learn Mermaid 可视化图表 数学建模 底层实现 SystemV ajax 进程程序替换 execl函数 execv函数 execvp函数 execvpe函数 putenv函数 ICMP 论文阅读 脚本 postgres Dify重启后重新初始化 less kubeless solr Crawlee 轮播图 BCLinux 代理配置 企业级DevOps risc-v libreoffice 转换 Linux指令 podman registries 多媒体 BitTorrent 搜索 远程过程调用 Windows环境 无法解析服务器的名称或地址 vasp安装 RTMP 应用层 ecm bpm CORS 压测 ECS hibernate 游戏机 Wi-Fi 统信操作系统 XFS xfs文件系统损坏 I_O error SSL 域名 windows日志 ISO镜像作为本地源 iDRAC R720xd 直流充电桩 充电桩 内网环境 相差8小时 UTC 时间 Nuxt.js KingBase ux java-rocketmq Java Applet URL操作 服务器建立 Socket编程 网络文件读取 AI作画 bonding 能力提升 面试宝典 IT信息化 磁盘镜像 服务器镜像 服务器实时复制 实时文件备份 剧本 SysBench 基准测试 代码调试 ipdb 半虚拟化 硬件虚拟化 Hypervisor 繁忙 解决办法 替代网站 汇总推荐 AI推理 欧标 OCPP 状态模式 小智AI服务端 xiaozhi TTS KylinV10 麒麟操作系统 Vmware 音乐库 迁移指南 上传视频至服务器代码 vue3批量上传多个视频并预览 如何实现将本地视频上传到网页 element plu视频上传 ant design vue vue3本地上传视频及预览移除 超融合 TrueLicense UOS1070e 服务器正确解析请求体 安防软件 云桌面 微软 AD域控 证书服务器 dba WebServer 授时服务 北斗授时 代码规范 zerotier 联网 easyconnect 代理 deepseak 豆包 KIMI 腾讯元宝 高效I/O VPN wireguard 显示器 金仓数据库 2025 征文 数据库平替用金仓 金仓数据库概述 金仓数据库的产品优化提案 日志分析 系统取证 logstash 技术共享 AWS CPU架构 服务器cpu vue在线预览excel和编辑 vue2打开解析xls电子表格 浏览器新开页签或弹框内加载预览 文件url地址或接口二进制文档 解决网页打不开白屏报错问题 issue 大厂程序员 硅基计算 碳基计算 认知计算 生物计算 AGI 系统架构设计 软件哲学 程序员实现财富自由 客户端-服务器架构 点对点网络 服务协议 网络虚拟化 网络安全防御 独立服务器 视频服务器 僵尸进程 信号 VMware安装Ubuntu Ubuntu安装k8s sequoiaDB navicat 移动开发 sonoma 自动更新 OpenHarmony 分析解读 用户缓冲区 HarmonyOS NEXT 原生鸿蒙 支付 微信支付 开放平台 etl 查看显卡进程 fuser su sudo vpn IO模型 sublime text ELF加载 多产物 跨平台 retry 重试机制 Office 空间 查错 lio-sam SLAM STL 接口返回 swift miniconda 顽固图标 启动台 GKI KMI 内核 苹果电脑装windows系统 mac安装windows系统 mac装双系统 macbook安装win10双 mac安装win10双系统 苹果电脑上安装双系统 mac air安装win pipe函数 管道的大小 匿名管道的四种情况 Mac部署 Ollama模型 Openwebui 配置教程 AI模型 进程等待 内存泄漏 容器清理 大文件清理 空间清理 jina ubuntu24.04.1 MDK 嵌入式开发工具 ssh远程登录 TCP协议 bot OpenSSH P2P HDLC 烟花代码 烟花 元旦 bat 流水线 脚本式流水线 实战案例 proxy模式 显示过滤器 Wireshark安装 问题解决 NLP模型 copilot Helm k8s集群 生活 Docker快速入门 GeneCards OMIM TTD WireGuard 异地组网 计算机科学与技术 sudo原理 su切换 内存管理 考试 Alist mount 挂载 网盘 client-go Masshunter 质谱采集分析软件 使用教程 科研软件 VM虚拟机 知行EDI 电子数据交换 知行之桥 EDI finalsheel 小番茄C盘清理 便捷易用C盘清理工具 小番茄C盘清理的优势尽显何处? 教你深度体验小番茄C盘清理 C盘变红?!不知所措? C盘瘦身后电脑会发生什么变化? 4 - 分布式通信、分布式张量 fabric 集成 通用环境搭建 MySQL 高可用 开发工具 基础指令 dify部署 Playwright MCP kylin v10 麒麟 v10 Ubuntu 24.04.1 轻量级服务器 SSL证书 code-server 流式接口 服务器时间 pyqt 恒源云 bootstrap 并集查找 换根法 树上倍增 无桌面 SEO jetty undertow thingsboard cpp-httplib nfs Erlang OTP gen_server 热代码交换 事务语义 tailscale derp derper 中转 业界资讯 xss Clion Nova ResharperC++引擎 Centos7 远程开发 sentinel 分布式训练 LORA VNC 矩阵 工业4.0 西门子PLC 通讯 iBMC UltraISO win服务器架设 windows server Qwen2.5-VL saltstack MQTT协议 消息服务器 云耀服务器 充电桩平台 充电桩开源平台 网络原理 免费 laravel wordpress Putty 花生壳 pxe 自定义登录信息展示 motd 美化登录 动态域名 linq 光电器件 LED 机架式 IDC 粘包问题 元服务 应用上架 deepseek r1 玩机技巧 软件分享 软件图标 keepalived Linux环境 Ark-TS语言 网络文件系统 csrutil mac恢复模式进入方法 SIP 恢复模式 Maven archlinux kde plasma wpf 玩游戏 NVM Node Yarn PM2 win向maOS迁移数据 cpolar mvc java毕业设计 微信小程序医院预约挂号 医院预约 医院预约挂号 小程序挂号 端口开放 青少年编程 树莓派项目 多路转接 latex direct12 word转pdf charles mac安装软件 mac卸载软件 mac book 模块测试 SSH 服务 SSH Server OpenSSH Server 互联网医院 fast docker命令大全 openstack Xen seatunnel docker部署Python 自动化编程 抗锯齿 dock 加速 端口 查看 ss 免费域名 域名解析 OpenManus 钉钉 达梦 DM8 System V共享内存 进程通信 电视剧收视率分析与可视化平台 Zoertier 内网组网 netlink libnl3 VGG网络 卷积层 池化层 ufw IPv6测试 IPv6测速 IPv6检测 IPv6查询 CAD瓦片化 栅格瓦片 矢量瓦片 Web可视化 DWG解析 金字塔模型 Linux的基础开发工具 d3d12 智能问答 Spring AI Milvus 红黑树封装map和set web环境 Multi-Agent 欧拉系统 医院门诊管理系统 mapreduce 学习路线 代码复审 broadcom GPUGEEK scrapy 恒玄BES 共享 设置 影刀证书 分享 HBase分布式集群 HBase环境搭建 HBase安装 HBase完全分布式环境 xfce Nginx报错413 Request Entity Too Large 的客户端请求体限制 飞书 国标28181 监控接入 语音广播 流程 SDP URL Unity插件 Anolis nginx安装 linux插件下载 游戏开发 干货分享 黑客工具 密码爆破 chfs ubuntu 16.04 vue-i18n 国际化多语言 vue2中英文切换详细教程 如何动态加载i18n语言包 把语言json放到服务器调用 前端调用api获取语言配置文件 wsgiref Web 服务器网关接口 服务器主板 AI芯片 XCC Lenovo idm 北亚数据恢复 oracle数据恢复 OD机试真题 服务器能耗统计 VS Code 智能音箱 智能家居 AD 域管理 无法访问wordpess后台 打开网站页面错乱 linux宝塔面板 wordpress更换服务器 nosql 数字证书 签署证书 WINCC Carla 配置原理 glm4 负载测试 yashandb solidworks安装 massa sui aptos sei 三次握手 paddle 火山引擎 工厂方法模式 实时云渲染 云渲染 3D推流 能源 惠普服务器 惠普ML310e Gen8 惠普ML310e Gen8V2 janus 风扇散热策略 曙光 海光 宁畅 中科可控 物理服务器 服务器租用 云服务器租用 物理机租用 科勘海洋 数据采集浮标 浮标数据采集模块 OpenAI 全栈 aiohttp asyncio raid AI导航站 语法 av1 电视盒子 机顶盒ROM 魔百盒刷机 VR手套 数据手套 动捕手套 动捕数据手套 风扇控制软件 合成模型 扩散模型 图像生成 ArtTS whistle 子系统 星河版 数据库管理 bert 导航栏 mujoco 软件商店 livecd systemtools 实时日志 logs NTP服务器 orbslam2 ANDROID_HOME zshrc 系统内核 Linux版本 function address 函数 地址 进程池实现 红黑树 迁移 本地不受DeepSeek chrome历史版本下载 chrominum下载 uni-app x FS bootfs rootfs linux目录 linux/cmake tftp NVIDIA显卡安装 Ubuntu开机黑屏 figma RoboVLM 通用机器人策略 VLA设计哲学 vlm fot robot 视觉语言动作模型 yum源切换 更换国内yum源 docker部署翻译组件 docker部署deepl docker搭建deepl java对接deepl 翻译组件使用 项目部署 deployment daemonset statefulset cronjob 集群管理 图片增强 增强数据 静态IP docker search homeassistant OS 蜂窝网络 频率复用 射频单元 无线协议接口RAN 主同步信号PSS Modbus TCP 烟雾检测 yolo检测 消防检测 LLaMA-Factory 基本指令 模板 5分钟快速学 docker入门 dockerfile 仓库 Linux系统编程 触觉传感器 GelSight GelSightMini GelSight触觉传感器 pnet 百度 pnetlab vb Radius 根服务器 es h.264 线性代数 电商平台 佛山戴尔服务器维修 佛山三水服务器维修 聊天室 宕机切换 服务器宕机 流量运营 架构与原理 IDEA 端口测试 lrzsz caddy cocos2d 3dcoat PTrade QMT 量化股票 OpenManage 事件驱动 vmware tools 制造 LVS 静态NAT RNG 状态 可复现性 随机数生成 jQuery rtmp gitlab服务器 事件分析 边缘服务器 利旧 AI识别 5090 显卡 AI性能 EF Core 客户端与服务器评估 查询优化 数据传输对象 查询对象模式 A2A 实时传输 移动魔百盒 macOS 极限编程 Metastore Catalog GRANT REVOKE qtcreator nginx默认共享目录 AppLinking 应用间跳转 SFTP 手动分区 C/C++ 文件清理 亲测 linux常用命令 文档 数据库数据恢复 zephyr Makefile Make 机器人操作系统 李心怡 零售 输入系统 AzureDataStudio 机械臂 webview 漏洞报告生成 定义 核心特点 优缺点 适用场景 手机 容器化 Serverless Python学习 Python编程 springboot容器部署 springboot容器化部署 微服务容器化负载均衡配置 微服务容器多节点部署 微服务多节点部署配置负载均衡 tar.gz tar.xz linux压缩 nmcli 网络配置 访问公司内网 MobileNetV3 rxjava MinerU STP 生成树协议 PVST RSTP MSTP 防环路 网络基础 Quixel Fab UE5 游戏商城 CKA authorized_keys 密钥 AISphereButler flink ardunio BLE hexo Async注解 openvino access blocked 破解 站群 多IP 流量 证书 签名 MCP 服务器 JADX-AI 插件 网络接口 时间间隔 所有接口 多网口 分布式数据库 集中式数据库 业务需求 选型误 低成本 矩阵乘法 3D深度学习 Ubuntu 24.04 搜狗输入法闪屏 Ubuntu中文输入法 能效分析 自定义shell当中管道的实现 匿名和命名管道 ps命令 IT 护眼模式 时间轮 泰山派 根文件系统 gerrit 编译 烧录 路径规划 VUE Mysql 二级页表 gstreamer coffeescript elementui 若依框架 云盘 安全组 lvgl8.3 lvgl9.2 lvgl lvgl安装 illustrator watchtower 数字比特流 模拟信号 将二进制数据映射到模拟波形上 频谱资源 振幅频率相位 载波高频正弦波 软路由 服务注册与发现 线程安全 CodeBuddy首席试玩官 安全性测试 写时拷贝 Linux的进程调度队列 活动队列 dsp开发 CAN 多总线 proxy_pass 仙盟大衍灵机 东方仙盟 仙盟创梦IDE 根目录 开发效率 Windmill SonarQube authing aac 泛型编程 排序算法 选择排序 DELL R730XD维修 全国服务器故障维修 服务器托管 云托管 数据中心 idc机房 linux cpu负载异常 量子计算 Cache Aside Read/Write Write Behind eventfd 高性能 bug定位 缺陷管理 雾锁王国 SFTP服务端 报警主机 豪恩 VISTA120 乐可利 霍尼韦尔 枫叶 时刻 DICOM 文件权限 Linux的进程概念 cuda驱动 dnf Navigation 路由跳转 鸿蒙官方推荐方式 鸿蒙原生开发 嵌入式实时数据库 命令键 homebrew windows转mac ssh密匙 Mac配brew环境变量 视频号 HP打印机 Eigen Autoware 辅助驾驶 HarmonyOS 5开发环境 进度条 南向开发 北向开发 Web3 Telegram containerd Linux的进程控制 sql注入 生成对抗网络 原子操作 AXI 多系统 电子学会 BMS 储能 中文分词 UDS Bootloader 嵌入式软件 labview 实时语音识别 流式语音识别 shell编程 http状态码 请求协议 分类 网络IO 队列 数据库占用空间 proto actor actor model Actor 模型 MQTT Broker GMQT CSDN开发云 笔记本电脑 大模型应用开发 AI 应用商业化 gemini gemini国内访问 gemini api gemini中转搭建 Cloudflare 支付宝小程序 云开发 TCP回显服务器 更换镜像源 重置密码 系统完整性 越狱设备 Windows应急响应 应急响应 webshell 网络攻击防御 网络攻击 激光雷达 镭眸 GenAI LLM 推理优化 LLM serving tvm安装 深度学习编译器 CKEditor5 冯诺依曼体系结构 #Linux #shell #脚本 编译器 路由器 对话框showDialog showActionMenu 操作列表ActionSheet CustomDialog 文本滑动选择器弹窗 消息提示框 警告弹窗 libtorch FreeLearning EulerOS 版本对应 Linux 发行版 企业级操作系统 RHEL 开源社区 CMake 自动化编译工具 pytorch3d vmvare 电脑操作 深度强化学习 深度Q网络 Q_Learning 经验回收 微信自动化工具 微信消息定时发送 回归 docker安装mysql win下载mysql镜像 mysql基本操作 docker登陆私仓 docker容器 deepseek与mysql muduo库 计算机八股 开启关闭防火墙 N8N docker 失效 docker pull失效 docker search超时 思科实验 高级网络互联 Spring Boot 驱动器映射 批量映射 win32wnet模块 网络驱动器映射工具 mysql 8 mysql 8 忘记密码 pavucontrol 蓝牙耳机 去中心化 网络带宽 问题排查 若依 内存不足 outofmemory Key exchange 主包过大 鼠标 teamspeak pikachu靶场 XSS漏洞 XSS DOM型XSS FreeRTOS 进程管理 麒麟OS LangGraph CLI JavaScript langgraph.json Modbustcp服务器 Lenovo System X GNOME messages dmesg js逆向 Web测试 参数服务器 分布式计算 数据并行 材质 贴图 three.js mobaxterm codereview code-review 机床 仿真 课件 教学 课程 数码相机 全景相机 设备选择 实用技巧 数字空间 杂质 桶装水小程序 在线下单送水小程序源码 桶装水送货上门小程序 送水小程序 订水线上商城 webgis cesium 鸿蒙项目 实战项目 入门 精通 恢复 智能手表 Pura80 WATCH 5 nvcc A100 更新apt 安装hadoop前的准备工作 RTOS 空Ability示例项目 讲解 TiDB测试集群 I/O 设备管理 汇编 uboot 部署方案 权限掩码 粘滞位 Agentic Web NLWeb 自然语言网络 微软build大会 Typescript Unlocker electron ROS1/ROS2 Wayland 简单工厂模式 huggingface AI控制浏览器 Browser user 责任链模式 高考 省份 年份 分数线 数据 改行学it 局域网 调试方法 Valgrind 内存分析工具 BiSheng 扩展错误 服务 人工智能作画 系统架构设计师 WIFI7 无线射频 高通 射频校准 射频调试 射频匹配 asp.net OSB Oracle中间件 SOA 模型上下文协议 MultiServerMCPC load_mcp_tools load_mcp_prompt Windows 11 重装电脑系统 Featurize Mobilenet 分割 信创国产化 达梦数据库 Scoket 客户端/服务器架构 分布式应用 三层架构 Web应用 跨平台兼容性 blender 数字孪生 udp回显服务器 zipkin 算法协商 故障排查 flinkcdc 物理机 Java 日志框架 Log4j2 Logback SLF4J 结构化日志 企业级应用 哥sika webserver jvm调优 LRU策略 内存增长 垃圾回收 mcp client mcp server PATH 命令行参数 main的三个参数 Windows Hello 摄像头 指纹 生物识别 vr看房 在线看房系统 房产营销 房产经济 三维空间 九天画芯 铁电液晶 显示技术 液晶产业 技术超越 软硬链接 文件 C++11 lambda 包装类 HarmonyOS SDK Map Kit 地图 English RHCE CTF 程序地址空间 时序数据库 iotdb vsode arkts arkui dnn 单用户模式 CUDA Toolkit 苹果 PDF 图片 表格 文档扫描 发票扫描 体验鸿蒙电脑操作系统 Windows电脑能装鸿蒙吗 系统升级 16.04 nvm安装 lsof 原创作者 mac完美终端 Jenkins流水线 声明式流水线 pow 指数函数 优化 软件安装 记账软件 容器部署 编程与数学 usb typec 自动化测试框架 VAD 视频异常检测 VAR 视频异常推理 推理数据集 强化微调 GRPO 集合 List OpenTiny pandas dataworks maxcompute 几何绘图 三角函数 麒麟kos 网络检测 ping openlayers bmap tile server TraeAgent 进程状态 PCB mcp-server coze扣子 AI口播视频 飞影数字人 coze实战 pi0 lerobot aloha act requests python库 ipv6 光猫设置 路由器设置 myeclipse Searxng 2025一带一路金砖国家 金砖国家技能大赛 技能发展与技术创新大赛 首届网络系统虚拟化管理与运维 比赛样题 线程同步与互斥 地平线5 相机标定 磁盘IO iostat 决策树 漫展 cs144 funasr asr 语音转文字 gpu 加密 BIO Java socket Java BIO Java NIO Java 网络编程 观察者模式 SQI iOS Trust Authentication Challenge ESP8266简单API服务器 Arduino JSON FS100P 华为OD机考 机考真题 需要广播的服务器数量 cordova 跨域开发 uni-popup报错 连接服务器超时 点击屏幕重试 uniapp编译报错 uniapp vue3 imported module TypeError HTTP3 全双工通信 多路复用 实时数据传输 视频直播物理服务器租用 HarmonyOS5 软件高CPU占用 ProcessExplorer Process Hacker System Informer Windbg 线程的函数调用堆栈 CTE AGE octomap_server bpf bpfjit pcap 汽车 药品管理 源码软件 云解析 云CDN SLS日志服务 云监控 美食 分布式锁 线程互斥与同步 GDB调试 Ubuntu环境 四层二叉树 断点设置 infini-synapse 安全整改 黑屏 ohmyzsh time时间函数 cp 进度显示 上架 PP-OCRv5 ubuntu20.04 OCR MAC地址 Arduino下载开发板 esp32开发板 esp32-s3 AOD-PONO-Net 图像去雾技术 NAT ICMPv6 network NetworkManager unionFS OverlayFS OCI docker架构 写时复制 客户端和服务器端 FCN SSM 项目实战 页面放行 物理层 数字化转型 弹性 dockercompose安装 compose.yml文件详解 dockercompose使用 c盘 vue2 概率与统计 随机化 位运算 几何计算 数论 csapp 缓冲区 敏捷开发 Jenkins 配置凭证 视频会议 重构 进程操作 理解进程 paddlepaddle scala 过期连接 开启黑屏 服务发现 大学大模型可视化教学 全球气象可视化 大学气象可视化 抽象工厂模式 cangjie struts 物联网嵌入式开发实训室 物联网实训室 嵌入式开发实训室 物联网应用技术专业实训室 alphafold3 协作 快速入门 cn2 带宽 JavaWeb Echo 集群 siteground siteground安装wp 一键安装wordpress 服务器安装wordpress 科研绘图 生信服务器 虚拟主机 物理机服务器 泛微OA tengine web负载均衡 WAF 转流 rtsp取流 rtmp推流 食用文档 debezium 数据变更 android-ndk 分布式总线 react Native 学习笔记 redisson 黑马 苍穹外卖 iptables mysql8.4.5 ubuntu18.04 进程创建 进程退出 MVVM 鸿蒙5.0 备忘录应用 ai编程 HDC2025 HarmonyOS 6 vscode-server CAN总线 WebFuture 打包工具 WinCC OT与IT SCADA 智能制造 MES 信奥 Cilium 最新微服务 迭代器模式 guava 路由配置 gin 机床主轴 热误差补偿 风电齿轮箱 故障诊断 物理-数据融合 预测性维护 NGINX POD Docker 部署es9 Docker部署es Docker搭建es9 Elasticsearch9 Docker搭建es openGauss nvidia驱动 Tesla显卡 dfs 滑动验证码 反爬虫 英语六级 接口隔离原则 医药 pve SpringBoot 前端项目部署 微前端 国产芯片 小亦平台 运维问题解决方法 gaussdb问题解决 java18 开闭原则 proteus KingbaseES dos 批处理 日期 物理服务器租用 效率 Termius Vultr 远程服务器 Win10修改MAC Bilibili B站 skywalking FreeFileSync 定时备份 数据链路层 工作流自动化 AI智能体 rtsp转rtmp 海康rtsp转rtmp 摄像头rtsp到rtmp rtsp转发 rtsp摄像头转rtmp rtsp2rtmp tty2 RustDesk 搭建服务器 AudioLM SPP 统信uos EasyTier