十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
这篇文章主要为大家展示了“Python中subprocess.Popen子进程管道阻塞的示例分析”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Python中subprocess.Popen子进程管道阻塞的示例分析”这篇文章吧。
创新互联公司凭借在网站建设、网站推广领域领先的技术能力和多年的行业经验,为客户提供超值的营销型网站建设服务,我们始终认为:好的营销型网站就是好的业务员。我们已成功为企业单位、个人等客户提供了网站设计制作、网站设计服务,以良好的商业信誉,完善的服务及深厚的技术力量处于同行领先地位。问题产生描述
使用子进程处理一个大的日志文件,并对文件进行分析查询,需要等待子进程执行的输出结果,进行下一步处理。
出问题的代码
# 启用子进程执行外部shell命令 def __subprocess(self,cmd): try: # 执行外部shell命令, 输出结果输出管道 p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT) p.wait() # 从标准输出读出shell命令的输出结果 #rt = p.stdout.read().decode() # 以换行符拆分数据,并去掉换行符号存入列表 rt_list = rt.strip().split('\n') except Exception as e: if(DEBUG): print(traceback.format_exc()) return rt_list
问题分析
子进程产生一些数据,他们会被buffer起来,当buffer满了,会写到子进程的标准输出和标准错误输出,这些东西通过管道发送给父进程。当管道满了之后,子进程就停止写入,于是就卡住了,及时取走管道的输出就不会出现阻塞了
但是本人此处采取的是临时文件接收子进程输出,由于临时文件是建立在磁盘上的,没有size的限制,并且文件被close后,相应的磁盘上的空间也会被释放掉。
已改进的代码
import tempfile # 启用子进程执行外部shell命令 def __subprocess(self,cmd): try: # 得到一个临时文件对象, 调用close后,此文件从磁盘删除 out_temp = tempfile.TemporaryFile(mode='w+') # 获取临时文件的文件号 fileno = out_temp.fileno() # 执行外部shell命令, 输出结果存入临时文件中 p = subprocess.Popen(cmd, shell=True, stdout=fileno, stderr=fileno) p.wait() # 从临时文件读出shell命令的输出结果 out_temp.seek(0) rt = out_temp.read() # 以换行符拆分数据,并去掉换行符号存入列表 rt_list = rt.strip().split('\n') except Exception as e: if(DEBUG): print(traceback.format_exc()) finally: if out_temp: out_temp.close() return rt_list
以上是“Python中subprocess.Popen子进程管道阻塞的示例分析”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!