首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

网络服务性能优化:Wrktcp与Perf工具详解

编程知识
2024年09月14日 15:53
  • wrktcp安装
    码云地址:https://gitee.com/icesky1stm/wrktcp
    直接下载,cd wrktcp-master && make,会生成wrktcp,就ok了,很简单

  • wrktcp使用
    压测首先需要一个服务,写了一个epoll+边沿触发的服务,业务是判断ip是在国内还是国外,rq:00000015CHECKIP1.0.4.0,rs:000000010,写的有些就简陋兑付看吧,主要为了压测和分析性能瓶颈。

#include <stdio.h>
#include <ctype.h>
#include <unistd.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <string.h>
#include <arpa/inet.h>
#include <sys/socket.h>
#include <sys/epoll.h>
#include <fcntl.h>
#include <errno.h>
#include <iostream>
#include <sstream>
#include <thread>
#include <netinet/in.h>
#include <netdb.h>
#include <cstring>
#include <map>
#include <fstream>
#include <cstdio>
#include <cstdlib>
#include <syslog.h>


std::map<unsigned long, unsigned long> g_ip_list; // 存储 IP 范围

bool init_ip_list(const char* file_name, std::map<unsigned long, unsigned long> &ip_list)
{
    FILE *fp = nullptr;
    if ((fp = fopen(file_name, "r")) == nullptr)
    {
        return false;
    }

    int i = 0;
    int total_count = 0;
    char buf[64] = {0};

    while (fgets(buf, sizeof(buf), fp))
    {
        i++;
        if (buf[0] == '#')
            continue;

        char *pout = nullptr;
        char *pbuf = buf;
        char *pc[10];
        int j = 0;

        while ((pc[j] = strtok_r(pbuf, "|", &pout)) != nullptr)
        {
            j++;
            pbuf = nullptr;
            if (j > 7)
                break;
        }

        if (j != 7)
        {
            syslog(LOG_ERR, "%s:%d, unknown format the line is %d", __FILE__, __LINE__, i);
            continue;
        }

        if (strcmp(pc[2], "ipv4") == 0 && strcmp(pc[1], "CN") == 0)
        {
            unsigned long ip_begin = inet_addr(pc[3]);

            if (ip_begin == INADDR_NONE)
            {
                syslog(LOG_ERR, "%s:%d, ip is unknown, the line is %d, the ip is %s", __FILE__, __LINE__, i, pc[3]);
                continue;
            }
            int count = atoi(pc[4]);
            ip_begin = ntohl(ip_begin);
            unsigned long ip_end = ip_begin + count - 1;
            ip_list.insert(std::make_pair(ip_end, ip_begin));

            total_count++;
        }
    }

    syslog(LOG_INFO, "%s:%d, init_ip_list, total count is %d", __FILE__, __LINE__, total_count);

    fclose(fp);
    return true;
}

void extract_ip(char *buf, char *ip) {  
    // 假设协议字符串格式总是 "00000015CHECKIPx.x.x.x"  
    // 找到IP地址的起始位置  
    char *start = strstr(buf, "CHECKIP");  
    if (start == NULL) {  
        fprintf(stderr, "Invalid protocol string\n");  
        return;  
    }  
    // 跳过"CHECKIP"  
    start += 7;  
    // 复制IP地址到ip变量,注意检查边界  
    strncpy(ip, start, 15); // IP地址最多15个字符,包括'\0'  
    ip[15] = '\0'; // 确保字符串以'\0'结尾  
} 

// server
int main(int argc, const char* argv[])
{
	const char* file_name = "ip_list.txt";
    if (!init_ip_list(file_name, g_ip_list)) {
        std::cerr << "Failed to initialize IP list." << std::endl;
        return 1;
    }
	
    // 创建监听的套接字
    int lfd = socket(AF_INET, SOCK_STREAM, 0);
    if(lfd == -1)
    {
        perror("socket error");
        exit(1);
    }

    // 绑定
    struct sockaddr_in serv_addr;
    memset(&serv_addr, 0, sizeof(serv_addr));
    serv_addr.sin_family = AF_INET;
    serv_addr.sin_port = htons(9999);
    serv_addr.sin_addr.s_addr = htonl(INADDR_ANY);  // 本地多有的IP
    // 127.0.0.1
    // inet_pton(AF_INET, "127.0.0.1", &serv_addr.sin_addr.s_addr);
    
    // 设置端口复用
    int opt = 1;
    setsockopt(lfd, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt));

    // 绑定端口
    int ret = bind(lfd, (struct sockaddr*)&serv_addr, sizeof(serv_addr));
    if(ret == -1)
    {
        perror("bind error");
        exit(1);
    }

    // 监听
    ret = listen(lfd, 64);
    if(ret == -1)
    {
        perror("listen error");
        exit(1);
    }

    // 现在只有监听的文件描述符
    // 所有的文件描述符对应读写缓冲区状态都是委托内核进行检测的epoll
    // 创建一个epoll模型
    int epfd = epoll_create(100);
    if(epfd == -1)
    {
        perror("epoll_create");
        exit(0);
    }

    // 往epoll实例中添加需要检测的节点, 现在只有监听的文件描述符
    struct epoll_event ev;
    ev.events = EPOLLIN;    // 检测lfd读读缓冲区是否有数据
    ev.data.fd = lfd;
    ret = epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &ev);
    if(ret == -1)
    {
        perror("epoll_ctl");
        exit(0);
    }


    struct epoll_event evs[1024];
    int size = sizeof(evs) / sizeof(struct epoll_event);
    // 持续检测
    while(1)
    {
        // 调用一次, 检测一次
        int num = epoll_wait(epfd, evs, size, -1);
        printf("==== num: %d\n", num);

        for(int i=0; i<num; ++i)
        {
            // 取出当前的文件描述符
            int curfd = evs[i].data.fd;
            // 判断这个文件描述符是不是用于监听的
            if(curfd == lfd)
            {
                // 建立新的连接
                int cfd = accept(curfd, NULL, NULL);
                // 将文件描述符设置为非阻塞
                // 得到文件描述符的属性
                int flag = fcntl(cfd, F_GETFL);
                flag |= O_NONBLOCK;
                fcntl(cfd, F_SETFL, flag);
                // 新得到的文件描述符添加到epoll模型中, 下一轮循环的时候就可以被检测了
                // 通信的文件描述符检测读缓冲区数据的时候设置为边沿模式
                ev.events = EPOLLIN | EPOLLET;    // 读缓冲区是否有数据
                ev.data.fd = cfd;
                ret = epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &ev);
                if(ret == -1)
                {
                    perror("epoll_ctl-accept");
                    exit(0);
                }
            }
            else
            {
                // 处理通信的文件描述符
                // 接收数据
                char buf[128];
                memset(buf, 0, sizeof(buf));
                // 循环读数据
                while(1)
                {
                    int len = recv(curfd, buf, sizeof(buf)-1, 0);
                    if(len == 0)
                    {
                        // 非阻塞模式下和阻塞模式是一样的 => 判断对方是否断开连接
                        printf("客户端断开了连接...\n");
                        // 将这个文件描述符从epoll模型中删除
                        epoll_ctl(epfd, EPOLL_CTL_DEL, curfd, NULL);
                        close(curfd);
                        break;
                    }
                    else if(len > 0)
                    {
                        // 通信
                        // 接收的数据打印到终端
                        write(STDOUT_FILENO, buf, len);
						char ip[16]; // 存储IP地址  
						extract_ip(buf, ip);  
						printf("Received IP: %s\n", ip);
						
                        // 发送数据
                        //send(curfd, buf, len, 0);
						// 验证 IP 地址
						struct in_addr address;
						int result = inet_pton(AF_INET, ip, &address); // 检查 IP 地址的有效性
						if (result < 0) {
							std::cout << "Invalid IP address: " << result << " " << ip << std::endl;
							send(curfd, "-Err\n", 5, 0);
							continue;
						}

						unsigned long ip_num = ntohl(address.s_addr);
						auto it = g_ip_list.lower_bound(ip_num);
						if (it != g_ip_list.end() && it->first >= ip_num && it->second <= ip_num) {
							send(curfd, "000000010", 9, 0); // 国内
						} else {
							send(curfd, "000000011", 9, 0); // 国外
						}
                    }
                    else
                    {
                        // len == -1
                        if(errno == EAGAIN)
                        {
                            printf("数据读完了...\n");
							close(curfd);
                            break;
                        }
                        else
                        {
                            perror("recv");
                            exit(0);
                        }
                    }
                }
            }
        }
    }

    return 0;
}

编译g++ epoll_test.cpp -o epoll_test,直接执行./epoll_test,监听0的9999端口

  • wrk配置文件sample_tiny.ini
[common]
# ip & port
host = 127.0.0.1
port = 9999

[request]
req_body = CHECKIP1.0.4.0

[response]
rsp_code_location = head

说下其中的坑,req_body就是要发的协议,但是wrktcp会在前面加长度固定8位:00000015;默认成功成功响应码是000000,设置rsp_code_location这个会让wrktcp从返回协议(000000010)头开始找成功响应码
上面那些说明:wrktcp的README有一些说明,但解释的不太全,需要自己去试和看源码

  • todo
    固定协议前面加8位长度,不可能每个服务都是这样的协议,怎么去自定义的协议,希望大佬指教,好像wrk可以自定义协议。
  • wrk压测命令
    ./wrktcp -t15 -c15 -d100s --latency sample_tiny.ini
-t, --threads:     使用线程总数,一般推荐使用CPU核数的2倍-1
-c, --connections: 连接总数,与线程无关。每个线程的连接数为connections/threads
-d, --duration:    压力测试时间, 可以写 2s, 2m, 2h
--latency:     打印延迟分布情况
--timeout:     指定超时时间,默认是5000毫秒,越长占用统计内存越大。
--trace: 	   打印出分布图
--html: 	   将压测的结果数据,输出到html文件中。
--test:		   每个连接只会执行一次,一般用于测试配置是否正确。
-v  --version:     打印版本信息

测试了两遍,TPS能维持在1600左右

  Running 2m loadtest @ 127.0.0.1:9999 using sample_tiny.ini
  15 threads and 15 connections
  Time:100s TPS:1644.64/0.00 Latency:7.69ms BPS:14.45KB Error:0
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency     4.66ms   14.17ms 318.09ms   98.89%
    Req/Sec   113.66    233.09     1.69k    94.95%
  Latency Distribution
     50%  823.00us
     75%    8.17ms
     90%    9.15ms
     99%   23.08ms
  164554 requests in 1.67m, 1.41MB read
Requests/sec:   1643.21    (Success:1643.21/Failure:0.00)
Transfer/sec:     14.44KB
  • perf
    压测监测服务:perf record -p 10263 -a -g -F 99 -- sleep 10
    参数说明:
    -p : 进程
    -a : 记录所有事件
    -g : 启用基于 DWARF 调试信息的函数调用栈跟踪。这将记录函数调用栈信息,使得生成的报告更加详细,能够显示出函数调用的关系。
    -F : 采样频率
    --sleep:执行 sleep 命令,使系统休眠 10 秒钟。在这个期间,perf record 将记录指定进程的性能数据。

会在当前目录生成perf.data文件,执行perf report,会看到printf和write占用的CPU比较高,删除上面服务的printf和write函数,重新压测

重新压测之后,TPS能维持在3W+

Running 2m loadtest @ 127.0.0.1:9999 using sample_tiny.ini
  15 threads and 15 connections
  Time:100s TPS:32748.45/0.00 Latency:438.00us BPS:287.83KB Error:0
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency   519.35us    1.24ms  63.18ms   97.47%
    Req/Sec     2.19k   536.83     4.83k    76.97%
  Latency Distribution
     50%  349.00us
     75%  426.00us
     90%  507.00us
     99%    5.12ms
  3275261 requests in 1.67m, 28.11MB read
Requests/sec:  32716.39    (Success:32716.39/Failure:0.00)
Transfer/sec:    287.55KB
From:https://www.cnblogs.com/liudw-0215/p/18414324
本文地址: http://www.shuzixingkong.net/article/2025
0评论
提交 加载更多评论
其他文章 react-pdf预览在线PDF的使用
1、在react项目中安装react-pdf依赖包 建议安装8.0.2版本的react-pdf,如果安装更高版本的可能出现一些浏览器的兼容性问题; npm install react-pdf@8.0.2 -S 1、PC端的使用 1.1、封装一个组件:PdfViewModal.tsx import R
react-pdf预览在线PDF的使用
小李移动开发成长记 —— 大话小程序
小李移动开发成长记 —— 大话小程序 做传统网站前端开发的同学初次接触小程序,会有许多困惑:为什么没有div,view 是什么、怎么没有 ajax,wx.request 为什么是回调方式、预览怎么要用小程序开发者工具、APPID有什么用、安装npm包怎么还要构建、tabBar 是什么、语法怎么和vu
小李移动开发成长记 —— 大话小程序
全能还是专精?关于技术通才与技术专家的思考
在日新月异的 IT 行业中,每隔数年乃至数月,便会涌现出革新性的技术或前沿框架,引领行业潮流。 比如前端开发,我刚开始工作时,大部分都是静态页面+JavaScript,页面上只有一些简单的交互。 后来出现了Ajax技术和JQuery库,现在想起当年第一次使用JQuery时,真的觉得这就是前端库的终点
全能还是专精?关于技术通才与技术专家的思考
OpenSSL证书通过Subject Alternative Name扩展字段扩展证书支持的域名
1、概述 1.1 什么是Subject Alternative Name(证书主体别名) SAN(Subject Alternative Name) 是 SSL 标准 x509 中定义的一个扩展。它允许一个证书支持多个不同的域名。通过使用SAN字段,可以在一个证书中指定多个DNS名称(域名)、IP地
OpenSSL证书通过Subject Alternative Name扩展字段扩展证书支持的域名 OpenSSL证书通过Subject Alternative Name扩展字段扩展证书支持的域名 OpenSSL证书通过Subject Alternative Name扩展字段扩展证书支持的域名
Codes 开源研发项目管理平台——创新的敏捷测试解决方案
Codes 是国内首款重新定义 SaaS 模式的开源项目管理平台,支持云端认证、本地部署、全部功能开放,并且对 30 人以下团队免费。它通过整合迭代、看板、度量和自动化等功能,简化测试协同工作,使敏捷测试更易于实施。并提供低成本的敏捷测试解决方案,如同步在线离线测试用例、流程化管理缺陷、低代码接口自
Codes 开源研发项目管理平台——创新的敏捷测试解决方案 Codes 开源研发项目管理平台——创新的敏捷测试解决方案 Codes 开源研发项目管理平台——创新的敏捷测试解决方案
擅长处理临时数据的结构——栈
目录实践1 —— 从字符串中移除星号 栈和数组存储数据的方式一样,它们都只是元素的列表。不同之处在于栈的以下3个限制: 数据只能从栈末插入; 数据只能从栈末删除; 只能读取栈的最后一个元素。 栈和队列、链表...一样,都是抽象的数据结构, 何为抽象数据结构? 它指一种数据组织的形式,它不关注具体的实
擅长处理临时数据的结构——栈 擅长处理临时数据的结构——栈 擅长处理临时数据的结构——栈
记一次 公司.NET项目部署在Linux环境压测时 内存暴涨分析
一:背景 讲故事 公司部署在某碟上的项目在9月份压测50并发时,发现某个容器线程、内存非正常的上涨,导致功能出现了异常无法使用。根据所学,自己分析了下线程和内存问题,分析时可以使用lldb或者windbg,但是个人比较倾向于界面化的windbg,所以最终使用windbg开干。 二:WinDbg 分析
前端项目通过 Nginx 发布至 Linux,并通过 rewrite 配置访问后端接口
本文通过将 arco 框架的前端项目,部署至 CentOS 7,并访问同服务器的 WebAPI 接口,来简单演示一下,如何将前端项目发布至 Linux 系统。
前端项目通过 Nginx 发布至 Linux,并通过 rewrite 配置访问后端接口 前端项目通过 Nginx 发布至 Linux,并通过 rewrite 配置访问后端接口