因此，在寻求基于图像识别的软件自动化时，我开始利用opencv的模板匹配和pyautogui库学习python。 我知道像autohotkey和autoit这样的工具可能更容易工作，但是我对机器学习也很感兴趣，所以我想用python。 在
在python之前，我研究了Sikuli、Autohotkey和Autoit，但是我认为它们很麻烦，一会儿就不能使用了。 我看过用那些框架构建的软件。 那些达成了我想实现的目标。 在
我想做的是将一系列图像与当前屏幕匹配，找到它们后点击。 此过程是无状态的，因此每次都必须与所有模板匹配。 在
要求：使用任何APP应用程序(不仅是windows wpf )
多监视器功能(pyautoui在这方面存在问题)。 这样，屏幕截图也非常大。 例如，3840×1080，带两台显示器)。
几乎可以立即找到并放置UI元素(0.5秒) ) )。
可选：无阻塞鼠标/光标操作
我在python上的第一次实现是有效的，但每个图像大约需要一秒钟。 所以我巡视看它们(20张照片)时，花了大约20秒。 通过使用joblib库使用多线程来减少此问题。 这样可以将时间缩短75%，具体取决于可用的内核，但还太晚了。 而且，那似乎还不是可伸缩的方法。 在
所以我的问题是，对此，最好的可扩展方法是什么？ 在
这不是和自动驾驶的用例很像吗？ 软件怎么处理？ 在
我选择的工具(python、pyautogui、opencv )是否适合这个？ 在
有个同事给了我一个想法。 将卷积神经网络(CNN )置于顶层，只有在分类器找到模板时才执行循环。 这真的解决了这个问题吗？ 必须在某个时间点遍历所有图像。 在
我希望你能澄清我的问题。 如果需要，还可以提供代码示例。 在