使用Python进行自动化录屏

如何在执行Python代码/操作时自动生成录屏

本文将展示如何在有另一个Python进程运行时，使用Python自动录制屏幕生成视频，并用以检查其执行情况。

大多数时候，当需要对非常老旧的系统进行自动化时，将不得不通过GUI来完成，因为它们没有API，GUI自动化可能非常棘手并且会出现意外行为。

解决这个问题的最好方法是尝试处理代码中的每一个可能的异常，但也可能会发生意外错误。所以当发生异常时，最好保存一个异常情况的视频来以便于分析，并调试代码。

怎么做？

使用Python的多进程库，在与运行自动化的线程不同的线程中，运行屏幕录制脚本。已经用三个不同的库测试了这个脚本的屏幕录制：Mss
，Pillow
，和Pyautogui
。在这些库中，Mss
是表现最好的一个。

以下是固定时间录制的代码片段：

from time import sleep
from mss.windows import MSS as mss 
import multiprocessing
import pyautogui
import cv2
import numpy as np
from os import remove


class FixedTimeCapture:

    def __init__(self, capture_time:int, video_path:str='C:/test') -> None:
        self.fps = 15
        self.capture_time = capture_time
        self.video_path = video_path.replace('\\','/') + '.avi'

        self.process = multiprocessing.Process(
            target=self.capture_screen,
            args=(),
            name='Screen Capture'
        )  

    def capture_screen(self):
        SCREEN_SIZE = tuple(pyautogui.size())
        fourcc = cv2.VideoWriter_fourcc(*'XVID')
        out = cv2.VideoWriter(self.video_path, fourcc, self.fps, (SCREEN_SIZE))
        print(f'Screen capture started')

        w, h = pyautogui.size() 
        monitor = {'top':0, 'left':0, 'width':w, 'height':h}  
        with mss() as sct:
            for i in range(int(self.capture_time * self.fps)):
                try:
                    img = sct.grab(monitor=monitor) 
                    frame = np.array(img)
                    frame = cv2.cvtColor(frame, cv2.COLOR_BGRA2BGR)
                    out.write(frame)
                except IOError:                    
                    pass   
            cv2.destroyAllWindows()
            out.release()
            sleep(3)
            print('Screen capture finished')

    def start_capture(self):
        self.process.start()

    def abort_capture(self):
        if not self.process.is_alive():
            print('The process is not executing')
        else:
            print('Aborting screen capture')
            self.process.kill()
            sleep(3)
            try:
                remove(self.video_path)
            except:
                print('Couldnt delete the file')


if __name__ == '__main__':
    ct = FixedTimeCapture(capture_time=10, video_path=r'C:\test')
    ct.start_capture()

    # 如果想中止录制并在其完成之前删除文件
    # ct = FixedTimeCapture(capture_time=10, video_path=r'C:\test2')
    # ct.start_capture()
    # sleep(5)
    # ct.abort_capture()

复制

请注意，其中包含了一个选项来中止进程并在必要时删除文件。使用的是AVI
视频编解码器，录制速度为15帧/秒，但可以自行更改这些设置。

不知道录制的过程要花多长时间的情况下，可以创建一个函数来开始录制，另一个函数来结束录制。

from time import sleep
from mss.windows import MSS as mss 
import multiprocessing
import pyautogui
import cv2
import numpy as np
from os import remove


class CaptureScreen:

    def __init__(self, video_path:str) -> None:
        self.fps = 15
        self.video_path = video_path.replace('\\','/') + '.avi'

        self.process = multiprocessing.Process(
             target=self.capture_screen,
             args=(),
             name='Screen Capture'
        )  


    def capture_screen(self):

        SCREEN_SIZE = tuple(pyautogui.size())
        fourcc = cv2.VideoWriter_fourcc(*'XVID')
        out = cv2.VideoWriter(self.video_path, fourcc, self.fps, (SCREEN_SIZE))
        img = None
        print(f'Screen capture started')

        # MSS
        w, h = pyautogui.size() 
        monitor = {'top':0, 'left':0, 'width':w, 'height':h}      
        with mss() as sct:        
            while True:      
                try:                
                    try:               
                        img = sct.grab(monitor=monitor)         
                        frame = np.array(img)               
                        frame = cv2.cvtColor(frame, cv2.COLOR_BGRA2BGR)                 
                        out.write(frame)                                 
                    except IOError:                    
                        pass            
                except KeyboardInterrupt:                
                    break
            cv2.destroyAllWindows()
            out.release()

        # # PILLOW 
        # from PIL import ImageGrab
        # w, h = pyautogui.size()           
        # while True:        
        #     try:   
        #         try:      
        #             img = ImageGrab.grab(bbox =(0, 0, w, h))         
        #             frame = np.array(img)                  
        #             frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)                 
        #             out.write(frame)   
        #         except IOError:                    
        #             pass                                               
        #     except KeyboardInterrupt:                
        #         break
        # cv2.destroyAllWindows()
        # out.release()

        # # PYAUTOGUI
        # while True:
        #     try:
        #         try:   
        #             img = pyautogui.screenshot()
        #             frame = np.array(img)
        #             frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
        #             out.write(frame)
        #         except IOError:                    
        #             pass  
        #     except KeyboardInterrupt:
        #         break
        # cv2.destroyAllWindows()
        # out.release()

    def start_capture(self):
        self.process.start()

    def finish_capture(self):
        if not self.process.is_alive():
            print('The process is not executing')
        else:
            self.process.terminate()
            sleep(3)
            print('Screen capture finished')


if __name__ == '__main__':
    c = CaptureScreen(video_path=r'C:\test')
    c.start_capture()
    sleep(15)
    c.finish_capture()

复制

在这个例子中，还包含了Pillow
和Pyautogui
的实现，如果想进行一下测试，需要调整帧率以获得100%完美的视频再现速度。

推荐书单

《Python从入门到精通（第2版）》

《Python从入门到精通（第2版）》从初学者角度出发，通过通俗易懂的语言、丰富多彩的实例，详细介绍了使用Python进行程序开发应该掌握的各方面技术。全书共分23章，包括初识Python、Python语言基础、运算符与表达式、流程控制语句、列表和元组、字典和集合、字符串、Python中使用正则表达式、函数、面向对象程序设计、模块、异常处理及程序调试、文件及目录操作、操作数据库、GUI界面编程、Pygame游戏编程、网络爬虫开发、使用进程和线程、网络编程、Web编程、Flask框架、e起去旅行网站、AI图像识别工具等内容。所有知识都结合具体实例进行介绍，涉及的程序代码都给出了详细的注释，读者可轻松领会Python程序开发的精髓，快速提升开发技能。除此之外，该书还附配了243集高清教学微视频及PPT电子教案。

购买链接：https://item.jd.com/13284890.html

精彩回顾

《使用ChatGPT API创建Python文档，竟然如此简单》

《16 个必知必会的 Python 技巧，助你高效编程》

《餐厅数据一网打尽，用Python采集并分析TripAdvisor》

《得来全不费功夫，使用Python爬虫自动采集Cookies、URL等网页数据》

《Pandas大显身手，数据分析更轻松》

《GPT-4已来，Python API使用最新版GPT》