windows flask 多进程高并发-CSDN博客

最近在做的一个项目需要将十几个python函数封装程flask服务供外界调用每个函数之间没有什么关系相互独立。虽然感觉不是很难但因为用的windows系统遇到的坑比较多在此一一总结一下。

flask偶尔出现卡死问题

见上一篇文章

不能高并发问题

因为十几个函数都要被调用而且调用量不小对响应时效性有较高要求需要能充分利用CPU并行计算采用了如下几个解决方法

1.flask + gevent + multiprocess + wsgi

在网上搜到这个解决方案
但不知道是系统原因还是我的算法原因运行之后发现CPU占用量比较低而且同时收到服务请求后是串行计算并返回的。看来这种方法在我这种情况下并不适用。

2.设置多线程

还有一个解决方法是代码运行时设置多线程即输入命令
python 文件名.py runserver --threaded
但发现依然没有并行计算

3.设置多进程

这个解决方案是在代码的app.run()函数中设置process=nn就是你想要的进程数。但设置之后报错说是不能同时设置多线程和多进程。然后又在app.run()中设置threaded=False发现又报错可能是这个功能只支持linux系统而不支持windows

还看到nginx和gunicorn的方法但是不知道这个对windows是否支持而且好像有点麻烦就没有试

4.手动负载均衡

通过测试发现一个现象就是flask并非完全串行当同时接收到2个请求如果执行第一个请求会占用计算资源那么就是算完第一个再算第二个而如果第一个请求的计算是等待比如time.sleep或者挂起状态则会同时去处理第二个请求而不用等到第一个请求返回结果。
因此想到了一个解决方法就是每个函数都单独启一个flask服务对于耗时比较长的函数根据需求多启几个服务每个服务设置的端口号不同然后再启动一个对外的flask服务外界所有请求都发送到这一个flask端口然后这个端口内部再向对应的flask服务发送请求。
原始flask代码

from flask import Flask, render_template
from gevent.pywsgi import WSGIServer
from gevent import monkey
import time
import json

monkey.patch_all()
app = Flask(__name__)

@app.route('/')
def connect():
	return "connected test"

@app.route('/index')
def index_test():
	time0 = time.time()
	for i in range(10000):
		j = list(range(1000))
	print(time.time() - time0)
	res = {'data':1}
	res = json.dumps(res)
	return res

if __name__ == "__main__":
	server  = WSGIServer(("0.0.0.0", 5000), app)
	print("Server started")
	server.serve_forever()

测试调用代码

import requests
from threading import Thread
import time
def req():
    time0 = time.time()
    res = requests.get('http://127.0.0.1:5000/index')
    print(time.time() - time0)
    # print(res.text)
for i in range(5):
    th = Thread(target=req)
    th.start()

结果
fask端显示的结果为

0.5939996242523193
127.0.0.1 - - [2023-10-12 09:49:03] "GET /index HTTP/1.1" 200 127 0.600002
0.48799610137939453
127.0.0.1 - - [2023-10-12 09:49:04] "GET /index HTTP/1.1" 200 127 0.488996
0.5429947376251221
127.0.0.1 - - [2023-10-12 09:49:04] "GET /index HTTP/1.1" 200 127 0.544997
0.4839961528778076
127.0.0.1 - - [2023-10-12 09:49:05] "GET /index HTTP/1.1" 200 127 0.485996
0.4319908618927002
127.0.0.1 - - [2023-10-12 09:49:05] "GET /index HTTP/1.1" 200 127 0.434000

请求发送端显示的结果是

1.0300004482269287
1.3990015983581543
1.8730018138885498
2.3450255393981934
2.831998586654663

收到返回的时间却在逐渐增加说明没有并行计算

改进代码
入口flask代码

from flask import Flask, render_template
from gevent.pywsgi import WSGIServer
from gevent import monkey
import requests
import time
import json

monkey.patch_all()
app = Flask(__name__)
path_num = {'num':-1}
@app.route('/')
def connect():
	return "connected test"

@app.route('/index')
def index_test():
	# time0 = time.time()
	# for i in range(10000):
	# 	j = list(range(1000))
	# print(time.time() - time0)
	# res = {'data':1}
	# res = json.dumps(res)
	if path_num['num'] > 4:
		path_num['num'] = 0
	else:
		path_num['num'] += 1
	num = path_num['num']
	url = f'http://127.0.0.1:{9030+num}/index'
	res = requests.post(url=url)
	return res.text

if __name__ == "__main__":
	server  = WSGIServer(("0.0.0.0", 5000), app)
	server.serve_forever()
	# app.run()

算法flask代码

from flask import Flask, render_template
from gevent.pywsgi import WSGIServer
from gevent import monkey
import time
import json

monkey.patch_all()
app = Flask(__name__)

@app.route('/')
def connect():
	return "connected test"

@app.route('/index')
def index_test():
	time0 = time.time()
	for i in range(10000):
		j = list(range(1000))
	print(time.time() - time0)
	res = {'data':1}
	res = json.dumps(res)
	return res

if __name__ == "__main__":
	server  = WSGIServer(("0.0.0.0", 9030), app)
	print("Server started")
	server.serve_forever()
	# app.run()

这里的算法flask代码启动了5个接口分别是9030~9034
用同样的方式测试返回的结果为

0.0500025749206543
0.05100274085998535
0.050002098083496094
0.05200028419494629
0.062003135681152344

差不多同时返回

总结

虽然最后一种方式有点麻烦但可以解决现有问题其中算法flask服务启动的越多性能越好。