解决urlretrieve下载不完全的问题

Posted on | In

问题：

1
2
3
我们使用request.urlretrieve(url,filename)时经常遇到下载到一半时，出现urllib.ContentTooShortError错误。
这是因为文件下载不完全导致的错误。
如果发现问题的是诸如图片和音乐文件这一类文件较小的问题，可以很容易使用以下方式解决。

解决：
我们可以使用捕捉错误解决这个问题，例如：

1
2
3
4
5
try:
    request.urlretrieve(url,filename)
except urllib.ContentTooShortError:
    print 'Network conditions is not good.Reloading.'
    request.urlretrieve(url,filename)

但是这种方法在网路很不稳定时，依然会抛出错误，这是因为第二次重新下载时依然出现下载不完全的情况。

我们可以使用 递归 的方法，即每次下载不完全时重新下载解决这个问题。

1
2
3
4
5
6
def auto_down(url,filename):
    try:
        request.urlretrieve(url,filename)
    except urllib.ContentTooShortError:
        print 'Network conditions is not good.Reloading.'
        auto_down(url,filename)

我们可以使用自己定义的auto_down()来代替python的urllib.request.urlretrieve()函数，实现我们自动重新下载的目标。

tips:新下载的文件会覆盖原来下载不完全的文件。