1. Python常用爬虫库

   python爬虫常用的模块或库

• urllib urllib2
• Beautiful Soup http://www.crummy.com/software/BeautifulSoup/
• lxml http://lxml.de
• HTQL http://htql.net/
• Scrapy http://scrapy.org/
• Mechanize http://wwwsearch.sourceforge.net/mechanize/
• PyQuery http://pythonhosted.org/pyquery/index.html
• requests http://docs.python-requests.org/en/latest/
• creepy
  某台湾大神开发的，功能简单，能够自动抓取某个网站的所有内容，当然你也可是设定那些url需要抓。
  地址：https://pypi.python.org/pypi/creepy
• selenium
  可视化界面，抓取自动化，api使用超简单，完全像是自己在操作浏览器。
  官方网站：http://www.seleniumhq.org/

原文：http://blog.csdn.net/sunfiner/article/details/18922101