python抽取指定url页面的title方法_Python

python抽取指定url页面的title方法

2021-02-20 00:28Together_CZ Python

今天小编就为大家分享一篇python抽取指定url页面的title方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

今天简单使用了一下python的re模块和lxml模块，分别利用的它们提供的正则表达式和xpath来解析页面源码从中提取所需的title，xpath在完成这样的小任务上效率非常好，在这里之所以又使用了一下正则表达式是因为xpath在处理一些特殊的页面的时候会出现乱码的情况，当然这不是xpath的原因，而是页面本身编码，跟utf-8转码之间有冲突所致，这里看代码：

									# !/usr/bin/python

									#-*-coding:utf-8-*-

									'''

									功能：抽取指定url的页面内容中的title

									'''

									import re

									import chardet

									import urllib

									from lxml import etree

									def utf8_transfer(strs):

									 '''

									 utf8编码转换

									 '''

									 try:

									  if isinstance(strs, unicode):

									   strs = strs.encode('utf-8')

									  elif chardet.detect(strs)['encoding'] == 'GB2312':

									   strs = strs.decode("gb2312", 'ignore').encode('utf-8')

									  elif chardet.detect(strs)['encoding'] == 'utf-8':

									   strs = strs.decode('utf-8', 'ignore').encode('utf-8')

									 except Exception, e:

									  print 'utf8_transfer error', strs, e

									 return strs

									def get_title_xpath(Html):

									 '''

									 用xpath抽取网页Title

									 '''

									 Html = utf8_transfer(Html)

									 Html_encoding = chardet.detect(Html)['encoding']

									 page = etree.HTML(Html, parser=etree.HTMLParser(encoding=Html_encoding))

									 title = page.xpath('/html/head/title/text()')

									 try:

									  title = title[0].strip()

									 except IndexError:

									  print 'Nothing'

									 print title

									def get_title(Html):

									 '''

									 用re抽取网页Title

									 '''

									 Html = utf8_transfer(Html)

									 compile_rule = ur'<title>.*</title>'

									 title_list = re.findall(compile_rule, Html)

									 if title_list == []:

									  title = ''

									 else:

									  title = title_list[0][7:-8]

									 print title

									if __name__ == '__main__':

									    url = 'http://www.baidu.com'

									    html = urllib.urlopen(url).read()

									    new_html = utf8_transfer(html)

									    try:

									        get_title_xpath(new_html)

									        get_title(new_html)

									    except Exception, e:

									        print e