ITEEDU

urllib.urlretrieve()

把指定url文件存到filename中。

def urlretrieve(url, filename=None, reporthook=None, data=None):
    global _urlopener
    if not _urlopener:
        _urlopener = FancyURLopener()
    return _urlopener.retrieve(url, filename, reporthook, data)

由上面源码可知,urlretrieve()实际是调用FancyURLopener的retrieve()方法。

    def retrieve(self, url, filename=None, reporthook=None, data=None):
        """retrieve(url) 对本地对象返回 (filename, headers) 
        或对远程对象返回(tempfilename, headers)"""

其实没什么,就是把读open(url)返回的对象,保存到filename中,filename为空时生成一个临时文件。

这里要单说一下reporthook,这是一个回调函数,在连接建立和每次块读取完之后调用一次。

会传入三个参数:

  1. 到现在传输的块数。
  2. 每一块的大小。
  3. 文件总大小。

如果看进度这是很有用的。

下面通过例子来演示一下这个方法的使用,这个例子将新浪首页的html抓取到本地,保存在D:/sina.html文件中,同时显示下载的进度。

def cbk(a, b, c):
    '''回调函数
    @a: 已经下载的数据块
    @b: 数据块的大小
    @c: 远程文件的大小
    '''
    per = 100.0 * a * b / c
    if per > 100:
        per = 100
    print '%.2f%%' % per
 
url = 'http://www.sina.com.cn'
local = 'd://sina.html'
urllib.urlretrieve(url, local, cbk)