Gunicorn+GeventWorker环境下fork进程意外结束的问题

版权声明:本文为博主原创文章,转载请注明出处。

前言

在使用Gunicorn+GeventWorker托管Flask应用,使用os.fork时出现了以下问题。

1
Parent changed, shutting down : <Worker xxxx>
  • 本文摘录自本人毕业设计论文。

问题分析

通过os.fork创建进程,实际上是将当前进程的内存数据复制了一份给子进程,当子进程发现其不是由Gunicorn主进程所创建时,Gunicorn中的GeventWorker会将脱离管理的进程杀死。

由于实现业务功能需要使用WebSocket,而WebSocket通信基于Flask-Sockets实现,Flask-Sockets又在Gunicorn环境中依赖GeventWorker启动,所以导致了无法正常使用os.fork。

根据Gunicorn中GeventWorker源码分析可知,当使用os.fork创建子进程时,其父进程id会发生变化,当子进程受到到来自Gunicorn主进程通知时,会发现其脱离父进程的管理,然后结束子进程本身。

  • 以下为Gunicorn中gunicorn.workers.ggevent包部分代码。
1
2
3
4
5
6
class GeventWorker(AsyncWorker):
def notify(self):
super().notify()
if self.ppid != os.getppid():
self.log.info("Parent changed, shutting down: %s", self)
sys.exit(0)
  • 定位问题所在确是一大难题,但所幸解决问题的方案其实并不复杂,只需要对GeventWorker的notify方法进行重写即可。

  • 由于需要使用WebSocket,实际上是需要对GeventWebSocketWorker的notify方法进行重写。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import os
import sys

worker = None
fork_killer = True

try:
from geventwebsocket.gunicorn.workers import GeventWebSocketWorker
from gunicorn.workers.base_async import AsyncWorker


class SaikaWorker(GeventWebSocketWorker):
def notify(self):
super(AsyncWorker, self).notify()
if fork_killer:
# Fix fork child process from self.
ppid = os.getppid()
if ppid not in [self.ppid, self.pid]:
self.log.info("Parent changed, shutting down: %s", self)
sys.exit(0)


worker = SaikaWorker
except ImportError:
pass


def set_fork_killer(enable=True):
"""Attention: Must exit fork process..."""
global fork_killer
fork_killer = enable
  • 对于GeventWorker杀死子进程的行为,本人称之为“fork_killer”;并在SaikaWorker对“fork_killer”进行了改进,默认允许在Gunicorn中通过os.fork创建子进程。

  • 通过调用set_fork_killer,可以彻底关闭“fork_killer”

    • 但脱离管理的子进程,必须要在任务完成后结束进程,否则会出现预期外的情况。

Comments