一、僵尸进程问题
在docker里，使用selenium爬虫，
webdriver quit后，会产生很多僵尸进程。
docker run
-
it
-
v
/
home
/
blackip
:/
home
/
blackips
/
selenium
:
1.0
python3 linux_black_ip
.
py
top查看僵尸进程：
ps -ef | grep defunct查看僵尸进程：
僵尸进程的父进程是python3。
看了下chrome运行时的状况，发现开始的父进程并不是1，但到最后都变成了1，并且变为defunct状态：
ps -ef | grep chrome| grep -v defunct
超多的僵尸进程会耗尽 pid 表，导致
Chrome failed to start: exited abnormally.
snapshot-consumer | selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally.snapshot-consumer | (unknown error: DevToolsActivePort file doesn't exist)snapshot-consumer | (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)snapshot-consumer | Stacktrace:
二、原因分析
在调查了进程树之后，终于发现：chromedriver fork出了多个子进程和一个孙进程，而
调用quit后，chrome driver正常退出，而它的子孙们变成了孤儿进程
，被托管给了docker的1号进程，也就是docker的启动进程。这些孤儿进程退出后，根据孤儿进程托管的优先级，最终由1号进程托管，而
1号进程是业务进程，
没有能力处理子进程退出的信号
（wait/waitpid），这些孤儿进程就变成了僵尸进程。
对于Linux 来说，
pid 为 1 的进程，有着特殊的使命：
-
传递退出信号，确保子进程正确退出
-
wait子进程退出，回收僵尸进程
三、解决办法
3.1、脚本内部加入信号处理的方法
参照文章：
docker，孤儿进程和僵尸进程 - 简书
# python3
# 开头加入如下代码，告诉此进程 SIGCLD的信号用SIG_IGN方法处理
import signal
signal.signal(signal.SIGCLD, signal.SIG_IGN)
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
chrome_options = webdriver.ChromeOptions() # 或者 chrome_options = Options()
chrome_options.add_experimental_option('excludeSwitches', ['enable-automation']) # 防止反爬
chrome_options.add_argument('--disable-blink-features=AutomationControlled') # 避免webdriver检测
chrome_options.add_argument("--remote-debugging-port=9222") # 解决报错 WebDriverException: Message: unknown error: DevToolsActivePort file doesn't exist
chrome_options.add_argument('--no-sandbox') # 直接把sandbox禁用了，–-no-sandbox参数是让Chrome在root权限下跑
chrome_options.add_argument('--disable-dev-shm-usage') # 大量渲染时候写入/tmp而非/dev/shm
chrome_options.add_argument('--headless') # 无头模式，传递此参数浏览器不会显示界面，程序在后台运行
hrome_options.add_argument('--disable-gpu') # 禁用GPU加速
chrome_options.add_argument("user-agent='Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'") # 模拟浏览器
# chrome_options.add_argument('--proxy-server=http://127.0.0.1:10809') # 利用v2ray配置代理
driver = webdriver.Chrome(options=chrome_options, service=Service('/usr/local/bin/chromedriver'))
# driver.set_page_load_timeout(300)
driver.maximize_window() # 仅仅适配到当前显示屏大小，数据偶尔还是不完整，需要下滑鼠标
try:
driver.get("https://www.163.com")
except Exception as e:
print(e)
else:
content = driver.page_source.encode('utf-8') # 获取页面响应数据
print content
finally：
driver.quit()
缺点：需要修改每个相关脚本。
3.2、dumb_init
参照
：
-
防止产生僵尸进程的dumb-init程序
-
dumb-init：一个Docker容器初始化系统_语言 & 开发_金灵杰_InfoQ精选文章
# It's a good idea to use dumb-init to help prevent zombie chrome processes.
ADD https://github.com/Yelp/dumb-init/releases/download/v1.2.0/dumb-init_1.2.0_amd64 /usr/local/bin/dumb-init
RUN chmod +x /usr/local/bin/dumb-initdocker run my_container dumb-init python -c 'while True: pass'
结果：1号进程是dumb-init
缺点：需要先安装dumb
-init才能在docker run时使用dumb
-init。
3.3、docker运行时加入--init参数
在docker运行时加入--init参数，这样
docker内1号进程就是docker-init进程，业务进程则是其子进程
。
docker-init进程会将收到的信号传递给其子进程，并且会处理僵尸进程。
docker run -it --init -v /home/blackip:/home/blackips/ selenium:1.0 python3 linux_black_ip.py
可以看到1号进程是/sbin/docker-init -- python3 linux_black_ip.py；top查看的僵尸进程zombie为0。
3.4、其他解决办法参考
-
一次 Docker 容器内大量僵尸进程排查分析 - 番茄系统家园 (nndssk.com)
-
node.js - Kubernetes equivalent of `docker run --init` - Stack Overflow
如果直接使用 docker、docker-compose 就用第一种，如果是 k8s，就用第二种！
四、参考
docker，防止产生孤儿进程和僵尸进程 - 简书 (jianshu.com)文章来源地址https://www.yii666.com/blog/423619.html网址:yii666.com
(6条消息) 爬虫服务(chromedp)僵尸进程排查记录_chromedp 僵尸进程_liyunlong41的博客-CSDN博客文章来源地址:https://www.yii666.com/blog/423619.html
dumb-init：一个Docker容器初始化系统_语言 & 开发_金灵杰_InfoQ精选文章文章地址https://www.yii666.com/blog/423619.html
网址:yii666.com<