弱柳千条杏一枝，半含春雨半垂丝。风景再美，若没人一起欣赏，也会有种莫名的忧伤。满山满谷乳白色的雾气，那样的深，那样的浓，像流动的浆液，能把人浮起来似的。
本文实例讲述了python抓取并保存html页面时乱码问题的解决方法。分享给大家供大家参考，具体如下：
在用Python抓取html页面并保存的时候，经常出现抓取下来的网页内容是乱码的问题。出现该问题的原因一方面是自己的代码中编码设置有问题，另一方面是在编码设置正确的情况下，网页的实际编码和标示的编码不符合造成的。html页面标示的编码在这里：
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
这里提供一种简单的办法解决：使用chardet判断网页的真实编码，同时从url请求返回的info判断标示编码。如果两种编码不同，则使用bs模块扩展为GB18030编码；如果相同则直接写入文件（这里设置系统默认编码为utf-8）。
import urllib2
import sys
import bs4
import chardet
reload(sys)
sys.setdefaultencoding('utf-8')
def download(url):
htmlfile = open('test.html','w')
try:
result = urllib2.urlopen(url)
content = result.read()
info = result.info()
result.close()
except Exception,e:
print 'download error!!!'
print e
else:
if content != None:
charset1 = (chardet.detect(content))['encoding'] #real encoding type
charset2 = info.getparam('charset') #declared encoding type
print charset1,' ', charset2
# case1: charset is not None.
if charset1 != None and charset2 != None and charset1.lower() != charset2.lower():
newcont = bs4.BeautifulSoup(content, from_encoding='GB18030') #coding: GB18030
for cont in newcont:
htmlfile.write('%s\n'%cont)
# case2: either charset is None, or charset is the same.
else:
#print sys.getdefaultencoding()
htmlfile.write(content) #default coding: utf-8
htmlfile.close()
if __name__ == "__main__":
url = '//www.haodaima.com'
download(url)
得到的test.html文件打开如下，可以看到使用的是UTF-8无BOM编码格式存储的，也就是我们设置的默认编码：
希望本文所述对大家Python程序设计有所帮助。
以上就是python抓取并保存html页面时乱码问题的解决方法。生命并不是你活了多少日子，而是你记住了多少日子，你要使你过的每一天，都值得记忆。更多关于python抓取并保存html页面时乱码问题的解决方法请关注haodaima.com其它相关文章！
