把指定url文件存到filename中。
def urlretrieve(url, filename=None, reporthook=None, data=None): global _urlopener if not _urlopener: _urlopener = FancyURLopener() return _urlopener.retrieve(url, filename, reporthook, data)
由上面源码可知,urlretrieve()实际是调用FancyURLopener的retrieve()方法。
def retrieve(self, url, filename=None, reporthook=None, data=None): """retrieve(url) 对本地对象返回 (filename, headers) 或对远程对象返回(tempfilename, headers)"""
其实没什么,就是把读open(url)返回的对象,保存到filename中,filename为空时生成一个临时文件。
这里要单说一下reporthook,这是一个回调函数,在连接建立和每次块读取完之后调用一次。
会传入三个参数:
如果看进度这是很有用的。
下面通过例子来演示一下这个方法的使用,这个例子将新浪首页的html抓取到本地,保存在D:/sina.html文件中,同时显示下载的进度。
def cbk(a, b, c): '''回调函数 @a: 已经下载的数据块 @b: 数据块的大小 @c: 远程文件的大小 ''' per = 100.0 * a * b / c if per > 100: per = 100 print '%.2f%%' % per url = 'http://www.sina.com.cn' local = 'd://sina.html' urllib.urlretrieve(url, local, cbk)