使用curl在命令行中下载文件_bat脚本 curl 下载文件夹下所有文件-程序员宅基地

技术标签： database 文件传输工具下载工具 upload microsoft windows Python

今天帮同学从一个网站上下载点数据，但是上面有上百个链接，一个一个点击下载实在是工作量太大。于是自己就想找一个命令行下载工具并用Python写一个简单的脚本来替代这些工作。

百度了一下，找到了curl

curl： curl是利用URL语法在命令行方式下工作的文件传输工具。 [百科： http://baike.baidu.com/view/1326315.htm]
官网： http://curl.haxx.se/
其中libcurl有C语言、Python接口（PyCurl： http://pycurl.sourceforge.net/）等等。 curl.exe也可以作为一个命令行下载工具。

将来学习了多线程，可以改为多线程下载。

最简单的下载语法：

curl -o [filename] <url>

例如：

Microsoft Windows [版本 6.0.6001]
版权所有 (C) 2006 Microsoft Corporation。保留所有权利。

C:\Windows\system32>curl -o E:\MIT_BIH_Arrhythmia_Database\103.dat  http://physionet.org/physiobank/database/mitdb/103.dat
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  1 1904k    1 23082    0     0   3582      0  0:09:04  0:00:06  0:08:58  3556

这样子就从网页http://physionet.org/physiobank/database/mitdb/103.dat把文件103.dat下载到本地E盘E:\MIT_BIH_Arrhythmia_Database\103.dat

curl --head <url>

获取下载文件的大小。例如：

C:\Windows\system32>curl --head http://physionet.org/physiobank/database/mitdb/100.atr
HTTP/1.1 200 OK
Date: Mon, 28 Nov 2011 05:35:46 GMT
Server: Apache/2.2.17 (Fedora)
Last-Modified: Thu, 30 Jul 1992 01:21:18 GMT
ETag: "82c1c18-11ce-287fa5a2e9f80"
Accept-Ranges: bytes
Content-Length: 4558
Connection: close
Content-Type: application/octet-stream

curl --connect-timeout <seconds> <url>

（参考： http://blog.csdn.net/learnhard/article/details/5683703）

连接超时时间设置。

curl -m <seconds> <url>

传输数据超时时间设置。例如：

C:\Windows\system32>curl -o E:\MIT_BIH_Arrhythmia_Database\104.dat  -m 20 "http://physionet.org/physiobank/database/mitdb/104.dat"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  1 1904k    1 20162    0     0    953      0  0:34:06  0:00:21  0:33:45   377
curl: (28) Operation timed out after 20000 milliseconds with 20162 out of 195000
0 bytes received

# !/usr/bin/env python
# Filename: down.py
# download files from http://physionet.org/physiobank/database/mitdb/

import os

home = r"E:\MIT_BIH_Arrhythmia_Database"
fext = [".atr", ".dat", ".hea"]
hurl = r"http://physionet.org/physiobank/database/mitdb/"

for ext in fext:
    for index in range(100, 234):
        fname  = str(index) + ext
        fsave  = home + os.path.sep + fname
        fget   = hurl + fname
        if False == os.path.isfile(fsave):
            command = "curl -o " + fsave + " " + fget
            os.system(command)

PS：对于批量下载任务迅雷也有一个功能支持：

本文链接：https://blog.csdn.net/mayadong7349/article/details/7019208

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Linux>命令参数介绍_linux >> 参数-程序员宅基地

文章浏览阅读169次。ls 命令常用选项及功能ls命令的基本格式 ls [选项] 目录名称选项功能-a显示全部的文件，包括隐藏文件（开头为 . 的文件）也一起罗列出来，这是最常用的选项之一。-A显示全部的文件，连同隐藏文件，但不包括 . 与 … 这两个目录。-d仅列出目录本身，而不是列出目录内的文件数据。-fls 默认会以文件名排序，使用 -f 选项会直接列出结果..._linux >> 参数

以太网知识-MII接口 RMII / SMII接口 MII / RGMII接口_mii/rmii怎么接两个phy-程序员宅基地

文章浏览阅读2w次。本文主要分析MII/RMII/SMII，以及GMII/RGMII/SGMII接口的信号定义，及相关知识，同时本文也对RJ-45接口进行了总结，分析了在10/100模式下和1000M模式下的设计方法。1. MII接口分析 MII接口提供了MAC与PHY之间、PHY与STA(Station Management)之间的互联技术，该接口支持10Mb/s与100Mb/s的数据传输速率，数据传输的位宽为4位。提到MII，就有可能涉及到RS，PLS，STA等名词术语，下面讲一下他们之间对应的关系_mii/rmii怎么接两个phy

K210 图像识别（加训练模型）_k210图像识别-程序员宅基地

文章浏览阅读3.4w次，点赞85次，收藏742次。以管理员的方式运行下载模式高速改为低速模式_k210图像识别

解决Unity开启多个协程卡顿问题_unity 多个协程-程序员宅基地

文章浏览阅读3.1k次。Unity开启多个协程往往造成卡顿，因此需要每完成一个协程再新开启一个协程。for (int i = 0; i < result.result.Count; i++) { try { BaseStation responses = JsonMapper.ToObject<BaseStation>(JsonMapper.ToJson(result.result[i])); ..._unity 多个协程

spring+SpringMvc+Mybaits配置多个数据库_springmvc+mybatis配置多个数据库-程序员宅基地

文章浏览阅读410次。一、配置文件二、创建一个实体类，切换数据库三、切换数据库的代码_springmvc+mybatis配置多个数据库

前端框架们_阿里前端框架乌米-程序员宅基地

文章浏览阅读675次。我司打算搞个地图应用，领导发给我一份ppt，里面有个前端的技术架构图：what！前端技术都进化得这么复杂啦？就搞一个前端，至于用到这么多框架？就问你晕不晕！底部的es6，fetch是基础的语法，这个没什么好讲的。arcgis jsapi，是地图服务接口，也没什么好说的。webpack，打包工具，还行吧。顶部的echarts，经常用，很好用，不错。但ant design是蚂蚁金服的东东，与r..._阿里前端框架乌米

随便推点

[MySQL] 查看正在执行的sql语句 show processlist_show processlist 能显示sql 语句吗-程序员宅基地

文章浏览阅读8.9k次。processlist命令的输出结果显示了有哪些线程在运行可以帮助识别出有问题的查询语句，两种方式使用这个命令。 1. 进入mysql/bin目录下输入mysql admin processlist; 2. 启动mysql，输入show processlist; 如果有SUPER权限，则可以看到全部的线程，否则，只能看到自己发起的线程（这是指，当前对应的MySQL帐户..._show processlist 能显示sql 语句吗

小学生学python到底能干什么-颤抖 | 小学生都开始学Python了，十年后你还有工作么？...-程序员宅基地

文章浏览阅读156次。原标题：颤抖 | 小学生都开始学Python了，十年后你还有工作么？今日摘要AI火爆全球，Python技能需求达到174%！小学生已经开始学Python，还成为高考必备项目，十年后你还有工作么？今日活动：Python数据学习交流群进群福利：超过10万人下载的10本最火数据书籍+ 1000+Python高清教学视频+ Python数据分析工具书+ 名企导师专场AI & Python专场讲座德勤...

《鸟哥的Linux私房菜》第四版导学_好了a18第四-程序员宅基地

文章浏览阅读1.1w次。鸟哥的Linux私房菜0、计算机概论0.1、电脑：辅助人脑的好工具（什么是电脑？什么是计算机a3）0.1.1、电脑硬件的五大单元（电脑硬件大致可分为三个部分b3）（什么是CPU a4）（CPU主要的组成部分b4）（算术逻辑单元的功能c4）（控制单元的功能d4）（CPU读取的数据来源e4）（电脑硬件的五个组成部分f4）（数据在内存流动的基本知识g4）0.1.2、一切设计的起点：CPU架构（常见的两种CPU架构a5）（世界上使用最广的CPU b5）（常见的RISC指令集CPU c5）（常见的CISC指_好了a18第四