前言

在使用Gunicorn+GeventWorker托管Flask应用，使用os.fork时出现了以下问题。

Parent changed, shutting down : <Worker xxxx>
  • 本文摘录自本人毕业设计论文。

问题分析

通过os.fork创建进程，实际上是将当前进程的内存数据复制了一份给子进程，当子进程发现其不是由Gunicorn主进程所创建时，Gunicorn中的GeventWorker会将脱离管理的进程杀死。

由于实现业务功能需要使用WebSocket，而WebSocket通信基于Flask-Sockets实现，Flask-Sockets又在Gunicorn环境中依赖GeventWorker启动，所以导致了无法正常使用os.fork。

根据Gunicorn中GeventWorker源码分析可知，当使用os.fork创建子进程时，其父进程id会发生变化，当子进程受到到来自Gunicorn主进程通知时，会发现其脱离父进程的管理，然后结束子进程本身。

  • 以下为Gunicorn中gunicorn.workers.ggevent包部分代码。
class GeventWorker(AsyncWorker):
    def notify(self):
        super().notify()
        if self.ppid != os.getppid():
            self.log.info("Parent changed, shutting down: %s", self)
            sys.exit(0)

解决方案

  • 定位问题所在确是一大难题，但所幸解决问题的方案其实并不复杂，只需要对GeventWorker的notify方法进行重写即可。

  • 由于需要使用WebSocket，实际上是需要对GeventWebSocketWorker的notify方法进行重写。

import os
import sys

worker = None
fork_killer = True

try:
    from geventwebsocket.gunicorn.workers import GeventWebSocketWorker
    from gunicorn.workers.base_async import AsyncWorker


    class SaikaWorker(GeventWebSocketWorker):
        def notify(self):
            super(AsyncWorker, self).notify()
            if fork_killer:
                # Fix fork child process from self.
                ppid = os.getppid()
                if ppid not in [self.ppid, self.pid]:
                    self.log.info("Parent changed, shutting down: %s", self)
                    sys.exit(0)


    worker = SaikaWorker
except ImportError:
    pass


def set_fork_killer(enable=True):
    """Attention: Must exit fork process..."""
    global fork_killer
    fork_killer = enable

  • 对于GeventWorker杀死子进程的行为，本人称之为“fork_killer”；并在SaikaWorker对“fork_killer”进行了改进，默认允许在Gunicorn中通过os.fork创建子进程。

  • 通过调用set_fork_killer，可以彻底关闭“fork_killer”

    • 但脱离管理的子进程，必须要在任务完成后结束进程，否则会出现预期外的情况。