需要执行:
pip install scrapypip install requests
在Windows下用pip安装Scrapy报如下错误,看错误提示就知道去http://aka.ms/vcpython27找解决方法了
error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcpython27
打开http://aka.ms/vcpython27会跳转到http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266
将安装包下载
Microsoft Visual C++ Compiler for Python 2.7
回来安装即可解决问题但是在执行如下命令
scrapy crawl beijing -o result.csv -a store_dir="./webserver/img"
的时候又报错:
exceptions.ImportError: No module named win32api
2016-05-13 11:32:57 [twisted] CRITICAL:参考:http://sourceforge.net/projects/pywin32/,找到http://sourceforge.net/projects/pywin32/files/pywin32/中的最新的版本,然后去下载对应的版本安装即可。
不过在安装的时候又遇到问题:
Python version 2.7 required, which was not found in the registry.
这个是因为win32api有32位的,有64位的,选择合适的版本即可。