Linux链接百万并发实现与问题排查

CTL_ADD; ev->status = 1; } if (epoll_ctl(epfd, op, ev->fd, Simonep_ev) < 0) { printf("event add failed [fd=%d], events[%d]", ev->fd, events); return -1; } return 0;}int nty_event_del(int epfd, struct ntyevent *ev) { struct epoll_event ep_ev = {0, {0}}; if (ev->status != 1) { return -1; } ep_ev.data.ptr = ev; ev->status = 0; epoll_ctl(epfd, EPOLL_CTL_DEL, ev->fd, Simonep_ev); return 0;}int recv_cb(int fd, int events, void *arg) { struct ntyreactor *reactor = (struct ntyreactor *) arg; struct ntyevent *ev = ntyreactor_find_event_idx(reactor, fd); int len = recv(fd, ev->buffer, BUFFER_LENGTH, 0); // nty_event_del(reactor->epfd, ev); if (len> 0) { ev->length = len; ev->buffer[len] = '';// printf("recv[%d]:%s", fd, ev->buffer); printf("recv fd=[%d", fd); nty_event_set(ev, fd, send_cb, reactor); nty_event_add(reactor->epfd, EPOLLOUT, ev); } else if (len == 0) { close(ev->fd); //printf("[fd=%d] pos[%ld], closed", fd, ev-reactor->events); } else { close(ev->fd);// printf("recv[fd=%d] error[%d]:%s", fd, errno, strerror(errno)); } return len;}int send_cb(int fd, int events, void *arg) { struct ntyreactor *reactor = (struct ntyreactor *) arg; struct ntyevent *ev = ntyreactor_find_event_idx(reactor, fd); int len = send(fd, ev->buffer, ev->length, 0); if (len> 0) {// printf("send[fd=%d], [%d]%s", fd, len, ev->buffer); printf("send fd=[%d]", fd); nty_event_del(reactor->epfd, ev); nty_event_set(ev, fd, recv_cb, reactor); nty_event_add(reactor->epfd, EPOLLIN, ev); } else { nty_event_del(reactor->epfd, ev); close(ev->fd); printf("send[fd=%d] error %s", fd, strerror(errno)); } return len;}int accept_cb(int fd, int events, void *arg) {//非阻塞 struct ntyreactor *reactor = (struct ntyreactor *) arg; if (reactor == NULL) return -1; struct sockaddr_in client_addr; socklen_t len = sizeof(client_addr); int clientfd; if ((clientfd = accept(fd, (struct sockaddr *) Simonclient_addr, Simonlen)) == -1) { printf("accept: %s", strerror(errno)); return -1; } if ((fcntl(clientfd, F_SETFL, O_NONBLOCK)) < 0) { printf("%s: fcntl nonblocking failed, %d", __func__, MAX_EPOLL_EVENTS); return -1; } struct ntyevent *event = ntyreactor_find_event_idx(reactor, clientfd); nty_event_set(event, clientfd, recv_cb, reactor); nty_event_add(reactor->epfd, EPOLLIN, event); printf("new connect [%s:%d], pos[%d]", inet_ntoa(client_addr.sin_addr), ntohs(client_addr.sin_port), clientfd); return 0;}int init_sock(short port) { int fd = socket(AF_INET, SOCK_STREAM, 0); fcntl(fd, F_SETFL, O_NONBLOCK); struct sockaddr_in server_addr; memset(Simonserver_addr, 0, sizeof(server_addr)); server_addr.sin_family = AF_INET; server_addr.sin_addr.s_addr = htonl(INADDR_ANY); server_addr.sin_port = htons(port); bind(fd, (struct sockaddr *) Simonserver_addr, sizeof(server_addr)); if (listen(fd, 20) < 0) { printf("listen failed : %s", strerror(errno)); } return fd;}int ntyreactor_alloc(struct ntyreactor *reactor) { if (reactor == NULL) return -1; if (reactor->evblk == NULL) return -1; struct eventblock *blk = reactor->evblk; while (blk->next != NULL) { blk = blk->next; } struct ntyevent *evs = (struct ntyevent *) malloc((MAX_EPOLL_EVENTS) * sizeof(struct ntyevent)); if (evs == NULL) { printf("ntyreactor_alloc ntyevents failed"); return -2; } memset(evs, 0, (MAX_EPOLL_EVENTS) * sizeof(struct ntyevent)); struct eventblock *block = (struct eventblock *) malloc(sizeof(struct eventblock)); if (block == NULL) { printf("ntyreactor_alloc eventblock failed"); return -2; } memset(block, 0, sizeof(struct eventblock)); block->events = evs; block->next = NULL; blk->next = block; reactor->blkcnt++; // return 0;}struct ntyevent *ntyreactor_find_event_idx(struct ntyreactor *reactor, int sockfd) { int blkidx = sockfd / MAX_EPOLL_EVENTS; while (blkidx>= reactor->blkcnt) { ntyreactor_alloc(reactor); } int i = 0; struct eventblock *blk = reactor->evblk; while (i++ < blkidx SimonSimon blk != NULL) { blk = blk->next; } return Simonblk->events[sockfd % MAX_EPOLL_EVENTS];}int ntyreactor_init(struct ntyreactor *reactor) { if (reactor == NULL) return -1; memset(reactor, 0, sizeof(struct ntyreactor)); reactor->epfd = epoll_create(1); if (reactor->epfd <= 0) { printf("create epfd in %s err %s", __func__, strerror(errno)); return -2; } struct ntyevent *evs = (struct ntyevent *) malloc((MAX_EPOLL_EVENTS) * sizeof(struct ntyevent)); if (evs == NULL) { printf("ntyreactor_alloc ntyevents failed"); return -2; } memset(evs, 0, (MAX_EPOLL_EVENTS) * sizeof(struct ntyevent)); struct eventblock *block = (struct eventblock *) malloc(sizeof(struct eventblock)); if (block == NULL) { printf("ntyreactor_alloc eventblock failed"); return -2; } memset(block, 0, sizeof(struct eventblock)); block->events = evs; block->next = NULL; reactor->evblk = block; reactor->blkcnt = 1; return 0;}int ntyreactor_destory(struct ntyreactor *reactor) { close(reactor->epfd); //free(reactor->events); struct eventblock *blk = reactor->evblk; struct eventblock *blk_next = NULL; while (blk != NULL) { blk_next = blk->next; free(blk->events); free(blk); blk = blk_next; } return 0;}int ntyreactor_addlistener(struct ntyreactor *reactor, int sockfd, NCALLBACK *acceptor) { if (reactor == NULL) return -1; if (reactor->evblk == NULL) return -1; struct ntyevent *event = ntyreactor_find_event_idx(reactor, sockfd); nty_event_set(event, sockfd, acceptor, reactor); nty_event_add(reactor->epfd, EPOLLIN, event); return 0;}_Noreturn int ntyreactor_run(struct ntyreactor *reactor) { if (reactor == NULL) return -1; if (reactor->epfd < 0) return -1; if (reactor->evblk == NULL) return -1; struct epoll_event events[MAX_EPOLL_EVENTS + 1]; int i; while (1) { int nready = epoll_wait(reactor->epfd, events, MAX_EPOLL_EVENTS, 1000); if (nready < 0) { printf("epoll_wait error, exit"); continue; } for (i = 0; i < nready; i++) { struct ntyevent *ev = (struct ntyevent *) events[i].data.ptr; if ((events[i].events Simon EPOLLIN) SimonSimon (ev->events Simon EPOLLIN)) { ev->callback(ev->fd, events[i].events, ev->arg); } if ((events[i].events Simon EPOLLOUT) SimonSimon (ev->events Simon EPOLLOUT)) { ev->callback(ev->fd, events[i].events, ev->arg); } } }}// protocol>int main(int argc, char *argv[]) { unsigned short port = SERVER_PORT; // listen 8081 if (argc == 2) { port = atoi(argv[1]); } struct ntyreactor *reactor = (struct ntyreactor *) malloc(sizeof(struct ntyreactor)); ntyreactor_init(reactor); int i = 0; int sockfds[PORT_COUNT] = {0}; for (i = 0; i < PORT_COUNT; i++) { sockfds[i] = init_sock(port + i); ntyreactor_addlistener(reactor, sockfds[i], accept_cb); } ntyreactor_run(reactor); ntyreactor_destory(reactor); for (i = 0; i < PORT_COUNT; i++) { close(sockfds[i]); } free(reactor); return 0;}

服务器文档

#include #include #include #include #include #include #include #include #include #include #include #include #include #define MAX_BUFFER 128#define MAX_EPOLLSIZE (384*1024)#define MAX_PORT 100#define TIME_SUB_MS(tv1, tv2) ((tv1.tv_sec - tv2.tv_sec) * 1000 + (tv1.tv_usec - tv2.tv_usec) / 1000)int isContinue = 0;static int ntySetNonblock(int fd) { int flags; flags = fcntl(fd, F_GETFL, 0); if (flags < 0) return flags; flags |= O_NONBLOCK; if (fcntl(fd, F_SETFL, flags) < 0) return -1; return 0;}static int ntySetReUseAddr(int fd) { int reuse = 1; return setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (char *)Simonreuse, sizeof(reuse));}int main(int argc, char **argv) { if (argc <= 2) { printf("Usage: %s ip port", argv[0]); exit(0); } const char *ip = argv[1]; int port = atoi(argv[2]); int connections = 0; char buffer[128] = {0}; int i = 0, index = 0; struct epoll_event events[MAX_EPOLLSIZE]; int epoll_fd = epoll_create(MAX_EPOLLSIZE); strcpy(buffer, " Data From MulClient"); struct sockaddr_in addr; memset(Simonaddr, 0, sizeof(struct sockaddr_in)); addr.sin_family = AF_INET; addr.sin_addr.s_addr = inet_addr(ip); struct timeval tv_begin; gettimeofday(Simontv_begin, NULL); while (1) { if (++index>= MAX_PORT) index = 0; struct epoll_event ev; int sockfd = 0; if (connections < 340000 SimonSimon !isContinue) { sockfd = socket(AF_INET, SOCK_STREAM, 0); if (sockfd == -1) { perror("socket"); goto err; } //ntySetReUseAddr(sockfd); addr.sin_port = htons(port+index); if (connect(sockfd, (struct sockaddr*)Simonaddr, sizeof(struct sockaddr_in)) < 0) { perror("connect"); goto err; } ntySetNonblock(sockfd); ntySetReUseAddr(sockfd); sprintf(buffer, "Hello Server: client --> %d", connections); send(sockfd, buffer, strlen(buffer), 0); ev.data.fd = sockfd; ev.events = EPOLLIN | EPOLLOUT; epoll_ctl(epoll_fd, EPOLL_CTL_ADD, sockfd, Simonev); connections ++; } //connections ++; if (connections % 1000 == 999 || connections>= 340000) { struct timeval tv_cur; memcpy(Simontv_cur, Simontv_begin, sizeof(struct timeval)); gettimeofday(Simontv_begin, NULL); int time_used = TIME_SUB_MS(tv_begin, tv_cur); printf("connections: %d, sockfd:%d, time_used:%d", connections, sockfd, time_used); int nfds = epoll_wait(epoll_fd, events, connections, 100); for (i = 0;i < nfds;i ++) { int clientfd = events[i].data.fd; if (events[i].events Simon EPOLLOUT) { sprintf(buffer, "data from %d", clientfd); send(sockfd, buffer, strlen(buffer), 0); } else if (events[i].events Simon EPOLLIN) { char rBuffer[MAX_BUFFER] = {0}; ssize_t length = recv(sockfd, rBuffer, MAX_BUFFER, 0); if (length> 0) { printf(" RecvBuffer:%s", rBuffer); if (!strcmp(rBuffer, "quit")) { isContinue = 0; } } else if (length == 0) { printf(" Disconnect clientfd:%d", clientfd); connections --; close(clientfd); } else { if (errno == EINTR) continue; printf(" Error clientfd:%d, errno:%d", clientfd, errno); close(clientfd); } } else { printf(" clientfd:%d, errno:%d", clientfd, errno); close(clientfd); } } } usleep(1 * 1000); } return 0;err: printf("error : %s", strerror(errno)); return 0;}

相关摄像机录用

作准备4台驱动程序在，一起来化解疑虑代理服务器百万级所发

linux内核之epoll法则剖析与reactor法则及应用

学习位址：C/C++Linux代理服务器共同开发/本该CEO【零声教育】-学习摄像机教程-腾讯课堂

必须C/C++ Linux代理服务器CEO学习档案资料加在qun812855908（档案资料包括C/C++，Linux，golang新技术，软件包，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，点播，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK，ffmpeg，大厂面试题 等）

error : Too many open files

明确疑虑

程序在执行到一半，成立了1023个连结后，报错Too many open files

//服务器new connect [192.168.109.101:36994], pos[1019]new connect [192.168.109.101:55832], pos[1020]new connect [192.168.109.101:43460], pos[1021]new connect [192.168.109.101:59938], pos[1022]new connect [192.168.109.101:46098], pos[1023]accept: Too many open filesaccept: Too many open files//服务器connect: Connection refusederror : Connection refused

知悉是份文件管理系统可选并不需要锁上份文件数据结构量个数（可选1024）的放宽，用做ulimit -a详细信息open files的量

open files：一个才会广府尽可能锁上份文件数据结构的量

[root@master temp]# ulimit -acore file size (blocks, -c) 0data seg size (kbytes, -d) unlimitedscheduling priority (-e) 0file size (blocks, -f) unlimitedpending signals (-i) 47748max locked memory (kbytes, -l) 64max memory size (kbytes, -m) unlimitedopen files (-n) 1024pipe size (512 bytes, -p) 8POSIX message queues (bytes, -q) 819200real-time priority (-r) 0stack size (kbytes, -s) 8192cpu time (seconds, -t) unlimitedmax user processes (-u) 47748virtual memory (kbytes, -v) unlimitedfile locks (-x) unlimited

那么我们把open files调大一点点，看到底才会停在2047，如果是，则说是明疑虑就是open files考虑到的疑虑，物理挖掘出就是这个主因。

[root@master temp]# ulimit -n 2048[root@master temp]# ulimit -acore file size (blocks, -c) 0data seg size (kbytes, -d) unlimitedscheduling priority (-e) 0file size (blocks, -f) unlimitedpending signals (-i) 47748max locked memory (kbytes, -l) 64max memory size (kbytes, -m) unlimitedopen files (-n) 2048pipe size (512 bytes, -p) 8POSIX message queues (bytes, -q) 819200real-time priority (-r) 0stack size (kbytes, -s) 8192cpu time (seconds, -t) unlimitedmax user processes (-u) 47748virtual memory (kbytes, -v) unlimitedfile locks (-x) unlimitednew connect [192.168.109.101:53996], pos[2046]new connect [192.168.109.101:60742], pos[2047]accept: Too many open files

化解疑虑

临时删减，只在局限性这个才会广府实际上：ulimit -n 1048576永久删减，对所有才会广府实际上：附加在后面两行文档

注意这里面删减的是：一个才会广府尽可能锁上份文件数据结构的量

[root@master temp]# vim /etc/security/limits.conf# 删减[root@master temp]# reboot# 重启订立* soft nofile 1048576* hard nofile 1048576软放宽：远超软放宽才会强制执行强制执行硬放宽：绝对放宽,在任何前提都不并不需要应用程序超过这个放宽

这里面还必须注意一点：file-max: 管理系统共计可以锁上的最大者份文件数（所有才会广府加在起来）

[root@master temp]# cat /proc/sys/fs/file-max1202172# 编辑软件包实例配有份文件vim /etc/sysctl.conf# 删减fs.file-max实例fs.file-max = 1048576# 重新加在载配有份文件sysctl -p

另外这里面促请ulimit -n 和limits.conf里面nofile 旧版毫无疑问切勿超过/proc/sys/fs/file-max的值（虽然我检验了超过也不了关系），这个小疑虑仁者见仁智者见智了。

error : Cannot assign requested address

明确疑虑

从前的环境污染文化背景：代理服务器只停止使用一个适配器，服务器不断的去请求去连结。然后服务器error : Cannot assign requested address

Cannot assign requested address这均是由着服务器适配器枯竭，我们先为来是不是如何明确一个fd，反过来说是一个fd均是由着什么

socket fd 那是 一个fd就是一个五元三组，在从前的环境污染当中，五元三组外面明确了四个，所以最多成立 1 * 源适配器 * 1 * 1 * 1个fd

# 服务器new connect [192.168.109.101:57921], pos[28234]new connect [192.168.109.101:57923], pos[28235]send[fd=21003] error Connection reset by peersend[fd=22003] error Connection reset by peer# 服务器connections: 26999, sockfd:27002, time_used:2399connections: 27999, sockfd:28002, time_used:2404connect: Cannot assign requested addresserror : Cannot assign requested address

我们看到大概成立了2.8w的fd ， 可是我们知道适配器一个有6w多个，也就是说是有6w个适配器，为什么我们只用做了2.8w个？

Linux当中有特典适配器的用做全域:60999 - 32768 = 2.8w ,与我们后面物理结果相赞同。

The /proc/sys/net/ipv4/ip_local_port_range defines the local port range that is used by TCP and UDP traffic to choose the local port. You will see in the parameters of this file two numbers: The first number is the first local port allowed for TCP and UDP traffic on the server, the second is the last local port number. For high-usage systems you may change its default parameters to 32768-61000 -first-last.

proc/sys/net/ipv4/ip_local_port_range全域定义TCP和UDP无线电通信用做选择本地适配器的本地适配器全域。您将在该份文件的实例当中看到两个小数点：第一个小数点是代理服务器上并不需要TCP和UDP无线电通信的第一个本地适配器，第二个是最后一个本地适配器号。对于很高用做率的管理系统，您可以将其可选实例非常改回32768-61000(first-last)。

[root@master temp]# sysctl net.ipv4.ip_local_port_rangenet.ipv4.ip_local_port_range = 32768 60999

化解疑虑

删减net.ipv4.ip_local_port_range的全域，一般不这样花钱，我们这里面研究的是代理服务器，怎么才会去对服务器开展删减呢

早先仍未说是了这个疑虑的文化背景，就是只停止使用了一个适配器，并且socket fd 那是 ，在这个文化背景下才随之而来的这个疑虑，所以我们可以停止使用非常多的适配器，值得注意是100个，那么一个服务器就能连到280w了

error : Connection timed out

明确疑虑

我们将代理服务器适配器开100个，按理说是服务器可以连280w，但是从前只连结到13w就error : Connection timed out，与我们的预期相符

//服务器new connect [192.168.109.101:54585], pos[131165]new connect [192.168.109.101:48265], pos[131166]new connect [192.168.109.101:51997], pos[131167]new connect [192.168.109.101:43239], pos[131168]send[fd=20102] error Connection reset by peersend[fd=21102] error Connection reset by peersend[fd=22102] error Connection reset by peer//服务器connections: 127999, sockfd:128002, time_used:7576connections: 128999, sockfd:129002, time_used:2683connections: 129999, sockfd:130002, time_used:2669connections: 130999, sockfd:131002, time_used:4610connect: Connection timed outerror : Connection timed out

网卡转交的图表，才会转发到协约堆叠外面，通过sk_buff将图表传到协约堆叠，协约堆叠管控完日后交给应用程序在。由于操作管理系统在用做的时候，为防止被拦截，在图表转发给协约堆叠早先开展一个截取，在协约堆叠当中间加在了一个小三组件：截取器，叫花钱netfilter。

netfilter主要是对网络图表包开展一个截取，在netfilter的框架上我们就可以化解疑虑防火墙，在linux外面有一个就叫花钱iptables，iptables是基于netfilter花钱的，iptables统称两大部分，一大部分是软件包化解疑虑的netfilter接口，一大部分是应用程序在缺少给应用程序用做的。iptables真正化解疑虑的是netfilter缺少的接口。

Connection timed out译为连结提前结束，也就是说是，client转发的请求提前结束了，那么这个提前结束有两种情况，第一种：三次击掌第一次的SYN不了强制执行去，第二种：三次击掌第二次ACK取走到。

netfilter不管对转发的图表，还是对转交的图表，都是可以截取的。当连结量翻倍一定量的时候，netfilter就才会不并不需要日后中华人民共和国政府发连结了。所以从前猜测是情况1引发的，转发的SYN被netfilter拦截了。

确实是这样吗，我们来详细信息一下netfilter并不需要中华人民共和国政府最大者连结量是多少。13w，与我们后面成立成功的量赞同，所以从前就可以明确是netfilter并不需要中华人民共和国政府停止使用的最大者连结数引发的了

[root@node1 temp]# cat /proc/sys/net/netfilter/nf_conntrack_max131072

化解疑虑

我们可以通过设置netfilter并不需要中华人民共和国政府最大者连结量，来化解这个疑虑

# 详细信息并不需要中华人民共和国政府最大者连结量[root@node1 temp]# cat /proc/sys/net/netfilter/nf_conntrack_max131072# 开展配有vim /etc/sysctl.conf# 在配有份文件当中把net.nf_conntrack_max实例删减为1048576（如果配有就自己附加在偷偷地）net.nf_conntrack_max = 1048576# 重新加在载配有份文件sysctl -p# 随即详细信息，挖掘出订立了[root@node1 temp]# cat /proc/sys/net/netfilter/nf_conntrack_max1048576 killed（已射杀）

明确疑虑

这里面我们先为给服务器驱动程序在2G的调用，然后挖掘出到24w的时候，服务器才会广府被射杀了

connections: 239999, sockfd:240002, time_used:9837connections: 240999, sockfd:241002, time_used:10608connections: 241999, sockfd:242002, time_used:13109connections: 242999, sockfd:243002, time_used:15112connections: 243999, sockfd:244002, time_used:12606已射杀

我们来看一下kill记录，挖掘出是调用不足。

[root@node1 ~]# dmesg | egrep -i -B100 'killed process'[ 2310.265218] Out of memory: Kill process 7266 (C1000Kclient) score 1 or sacrifice child[ 2310.265962] Killed process 7266 (C1000Kclient) total-vm:8708kB, anon-rss:2960kB, file-rss:0kB, shmem-rss:0kB

这里面实际上说是主因吧，是因为程序在每个fd都有一个tcp转交缓冲七区和tcp转发缓冲七区。而可选的太大了，随之而来Linux调用不足，才会广府被射杀，所有我们必须恰当的缩小。才会广府生活空间，文档段，链表都是要占用调用的。

化解疑虑

我们只必须对net.ipv4.tcp_mem，net.ipv4.tcp_wmem，net.ipv4.tcp_rmem开展适宜的删减无需

# 编辑软件包实例配有份文件vim /etc/sysctl.conf# 附加在事例# 最大者值 可选值 最大者值net.ipv4.tcp_mem = 252144 524288 786432 # tcp协约堆叠的大小，其单位为调用页（4K），分别是 1G 2G 3G，如果大于2G，tcp协约堆叠才会开展一定的改进net.ipv4.tcp_wmem = 1024 1024 2048 # tcp转交调用七区(用做tcp给与向上窗口)的最大者值，可选值和最大者值（其单位byte）1k 1k 2k,每一个连结fd都有一个转交调用七区net.ipv4.tcp_rmem = 1024 1024 2048 # tcp转发调用七区(用做tcp转发向上窗口)的最大者值，可选值和最大者值（其单位byte）1k 1k 2k,每一个连结fd都有一个转发调用七区# 总调用 = （每个fd转发调用七区 + 每个fd转交调用七区） * fd量# （1024byte + 1024byte ） * 100w 约等于 2G

如果代理服务器是用来转交大份文件，数据传输量很大的时候，就要把send buffer和read buffer调大。

如果代理服务器只是转交小图表字符的时候。把buffer调小是为了把fd的量花钱到非常多，所发量能花钱到非常大。如果buffer调大的广府，调用才会不够。

百万所发检验结果 经常出现的疑虑总结

想尽办法化解疑虑代理服务器百万所发：

一个才会广府尽可能锁上份文件数据结构的量open files 和 file-max 改成100w以上在相同的环境污染下要看停止使用的适配器够不够socket fd 那是 设置netfilter并不需要中华人民共和国政府最大者连结量100w以上根据调用和场景，恰当变动net.ipv4.tcp_mem，net.ipv4.tcp_wmem，net.ipv4.tcp_rmem

原文位址：Linux代理服务器百万所发化解疑虑与疑虑整改

。

一直拉肚子拉稀水怎么办
重庆白癜风医院哪家看的好
浙江皮肤病医院哪家看的好
襄阳看妇科去哪家医院
小孩开胃健脾吃什么
乳腺癌
甲流引起的咳嗽吃什么药
私处整形
中药养生
新药资讯