beautifulsoup库简单抓取网页--获取所有链接例子

时间:2016-06-27 00:09:19   收藏:0   阅读:1186


简介:

   通过BeautifulSoup 的 find_all方法,找出所有a标签中的href属性中包含http的内容,这就是我们要找的网页的一级链接( 这里不做深度遍历链接) 

   并返回符合上述条件的a标签的href属性的内容,这就是我们要找的某个网页的所带有的一级链接


#!/opt/yrd_soft/bin/python

import re
import urllib2
import requests
import lxml
from bs4 import BeautifulSoup

url = ‘http://www.baidu.com‘

#page=urllib2.urlopen(url)
page=requests.get(url).text
pagesoup=BeautifulSoup(page,‘lxml‘)
for link  in pagesoup.find_all(name=‘a‘,attrs={"href":re.compile(r‘^http:‘)}):
    #print type(link)
    print link.get(‘href‘)


本文出自 “linux与网络那些事” 博客,请务必保留此出处http://khaozi.blog.51cto.com/952782/1793072

原文:http://khaozi.blog.51cto.com/952782/1793072

评论(0
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!