网易首页 > 网易号 > 正文 申请入驻

数字货币回测准备:下载与清洗全量历史数据

0
分享至

01

历史数据:回测到实盘的第一步

我们实现一个完整的量化投资策略,一般要经历历史数据准备、数据清洗、回测建模、实盘交易系统实现这4个步骤。其中,完整、高质量的历史数据,是我们整个流程的第一步。有了足够长时间、数据质量足够好的历史数据,我们才能将自己的想法形成的策略,通过回测在历史数据上进行验证,进而将通过历史回测检验的交易策略应用到实盘。

对于国内的股票、期货市场数据,我们可以通过许多三方的数据接口、数据商获取到高质量的历史数据,而对于数字货币市场,由于某些原因限制,我们很难获取到三方提供的数据。因此,寻找到一个我们可以免费获取的、数据时间足够长的、数据类型足够丰富的历史数据源,是我们研究数字货币策略,从回测到实盘的关键的第一步。

02

历史数据概览

我们为大家找到了完全符合上述要求的免费历史数据源,来自某安,其同时也是主流投资者交易的最多的平台,方便我们对接回测和实盘交易,即我们通过该交易平台历史数据的研究、回测得到的策略,可以直接用于该平台的实盘交易。

可以看到,其提供了丰富的历史数据种类,包括K线数据、成交数据、指数数据、Orderbook数据等,同时数据也覆盖了现货、USDT本位合约、币本位合约的全品类历史标的。不论是研究单一标的,还是研究套利(合约、现货)都可以从该数据源获取适合的数据。

我们看到上图的右侧是有下载按钮的,也就是每一种数据类型,币种类型,我们都可以点击进入对应的下载链接进行下载,我们以K线数据为例,点进K-line界面的USD - M FuturesData右侧的下载图表,实际上进入的是币安存放历史数据的ftp,进入后的数据展示界面如下。

可以看到该界面是按照币种来进行排布的,我们随意点击进入一个币种,以ADAUSDT为例。

ADAUSDT目录下是该币种的各个K线周期,每个K线周期对应的是不同周期下的K线数据。平台提供的K线周期很全,从1分钟K到日K级别的各个周期都有。假如我们点击进入1m/的这个链接,将显示如下页面。

可以看到这个页面下对应的是ADAUSDT合约每一天的1分钟K线数据,其中每天的数据都是以一个zip文件进行了打包。除了数据文件,还有一个日期对应的同名CHECKSUM文件,是在下载后帮忙我们检查下载数据完整性的,有了这个CHECKSUM文件,我们就可以避免在下载过程中出现的数据丢失而导致后续回测中出现数据方面的问题。

除了我们举例看到的ADAUSDT,其他的币种,也是按照同样的方式,在数据FTP上进行排列存放的,我们随机再看一个币种SHIBUSDT,也是同样的格式。

当然,除了按日排布存储的历史数据外,我们还可以下载到按月排布的历史数据,即某个币种某一个月的历史数据,统一存放在一个zip文件中。平台提供了多种存储形式,供我们选择。按月排布的历史数据,其优点是我们下载过程中所需要下载处理的文件数量显著变少,而其缺点是数据每月月末才更新当月数据,某些需要滚动回测调优参数的策略,月度数据会稍显滞后。

以上我们看到的数据展示,都可以点击页面的数据链接直接下载。比如我们点击上图的最后一行1000SHIBUSDT-1m-2022-01.zip,就可以将SHIBUSDT在2022年1月的1分钟K线下载下来。如果我们仅仅获取某个币种很短一段时间的历史数据,上述手工下载的方式是可行的,但如果我们需要大规模回测多币种、多周期的历史数据,显然我们需要的是全自动的、更高效的数据下载方式。

03

如何调用API下载历史数据

幸运的是,我们可以调用历史数据下载的API接口,来完成大规模、批量下载历史数据的工作。根据上述截图可以发现,该历史数据在ftp上的文件分布呈现出很强的规律性,即以monthly、daily区分月度、日度数据,以klines等标签区分数据是k线数据或成交数据或Orderbook数据,接下来再以币种、K线周期划分不同的数据集。

因此,我们只需要调用API接口,按照文件夹的排布规模,下载对应所需的数据即可。我们以下载所有USDT本位合约的K线数据为例。首先,我们调用get_all_symbols接口获取所有的USDT本位合约的名称。由于USDT本位合约还有BUSD为货币基准的币种合约,为减少下载数据量,我们仅选取USDT为货币基准的U本位合约。

接下来,我们就可以下载所有选中合约的K线数据了,我们选择的是下载全USDT币种、全时间、所有周期的K线数据,因此在对应的配置文件中,设置好对应的时间范围、K线周期范围。

第三步,我们调用API中的数据下载方法,到对应的文件夹名称下获取我们所需的K线数据。此处的代码示例,我们获取的是U本位合约下、按月度发布的全量K线数据,与此同时,我们还下载了对应的checksum文件,为数据解压校验做准备。

第四步,开始运行程序,在运行界面我们可以看到,对于上一次运行已经下载的文件,程序不会重复下载,只会下载增量部分,与此同时,如果该请求时间对应的目录或文件不存在,系统也会发出提示。

第五步,查看下载的文件。以下是我们下载到本地,其中一个币种1INCHUSDT的数据样例。可以说,批量下载就是一个把服务器上的文件结构搬运到本地的过程。

当然,除了USDT本位合约的K线数据,我们还可以下载现货K线数据,以及下载任意资产类别的成交数据等等,例如下载按日度整理的现货的成交数据,可以通过以下代码完成。

04

清洗历史数据准备回测

数据清洗第一步工作:解压缩。

对于下载的数据结果,我们可以看到,不论是1分钟周期,还是其他周期,都是按照月份放在一个个zip压缩文件夹内,如上一小节的本地截图所示。我们当然可以选择手工一个个解压缩,但最快的方式还是调用Python的zipfile工具进行批量的解压缩。

我们以解压全币种1分钟数据为例,打开其中一个币种1INCHUSDT的解压文件,看到的是按月划分的csv数据文件。

数据清洗第二步工作:数据预处理。

我们再打开第一个1INCHUSDT-1m-2020-12.csv的文件,会发现该数据的两个问题,首先是数据没有列名称,部分列数据我们无法推知其含义;其次是数据的时间戳列是用unix时间戳的形式记录的,对于回测不太方便,最好将其转化为普通的日期、时间。除此之外,由于数据是按月划分的,我们最好将其进行汇总,方便回测时能一次读入。

对于第一个列名问题,我们找到官方的说明文档,上面有关于每个列字段含义的说明。我们可以根据上述字段说明对于数据列名进行重命名。

因此,数据预处理部分的工作就是为了解决上述3个问题:列名、时间戳格式、以及数据合并。我们同样使用Python对数据进行预处理,最终得到的回测准备数据格式如下。每个币种一个文件,增加了正确的列名,并在最后两列增加了正确的日期和分钟时间。

本期分享的完整版源码于数量技术宅知识星球独家发布,想要加入的朋友,请添加技术宅微信sljsz01或sljsz05领取星球优惠券。

知识星球量化学院官方指定优惠链接

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
5年1.12亿美金!21分+26分+30分!森林狼最成功签约诞生

5年1.12亿美金!21分+26分+30分!森林狼最成功签约诞生

钱说体育
2026-11-19 08:30:24
蒋介石最大的决策失误:错杀瞿秋白,让国民党失去了最后的人心

蒋介石最大的决策失误:错杀瞿秋白,让国民党失去了最后的人心

宅家伍菇凉
2025-11-19 09:30:03
祝贺!中国成功连任

祝贺!中国成功连任

政知新媒体
2026-11-17 07:11:29
女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

一丝不苟的法律人
2026-11-16 11:01:14
郑丽文:绝不放弃武力护台,洪秀柱直言:两岸和平,怎能不统一?

郑丽文:绝不放弃武力护台,洪秀柱直言:两岸和平,怎能不统一?

闻识
2026-11-18 11:07:48
王传福,依旧C位!

王传福,依旧C位!

大佬灼见
2026-11-18 20:57:53
高迪曝陈泽大瓜!甩出多张截图,聊天记录不堪入目,陈泽最新回应

高迪曝陈泽大瓜!甩出多张截图,聊天记录不堪入目,陈泽最新回应

杨仔述
2026-11-18 12:57:26
梅西接班人!22岁小巨星狂舞:左右脚世界波 万人高歌致敬

梅西接班人!22岁小巨星狂舞:左右脚世界波 万人高歌致敬

叶青足球世界
2026-11-18 09:02:40
一位英伟达员工在社交平台上发长文深情致敬黄仁勋,结果因为配图实在太“真实”,帖子瞬间在科技圈变成了大型欢乐现场!

一位英伟达员工在社交平台上发长文深情致敬黄仁勋,结果因为配图实在太“真实”,帖子瞬间在科技圈变成了大型欢乐现场!

财经要参
2026-11-19 07:30:05
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
泰国总理回到祖籍地广东太激动!飙粤语"猴开森"

泰国总理回到祖籍地广东太激动!飙粤语"猴开森"

看看新闻Knews
2026-11-18 17:20:13
美以伊局势:美军再袭伊朗格什姆岛;特朗普:正认真对待伊朗或在华盛顿引爆脏弹的消息;伊朗称打击巴林的美军雷达系统,美军否认被击中

美以伊局势:美军再袭伊朗格什姆岛;特朗普:正认真对待伊朗或在华盛顿引爆脏弹的消息;伊朗称打击巴林的美军雷达系统,美军否认被击中

极目新闻
2026-11-18 07:16:44
永州女局长风波偃旗息鼓:一个多月过去,官宣核查下,公众还要等多久

永州女局长风波偃旗息鼓:一个多月过去,官宣核查下,公众还要等多久

十为先生
2026-11-18 15:41:00
广州失去两条国际航线

广州失去两条国际航线

窗帘拉开
2026-11-18 19:50:04
大瓜,黄仁勋黄乐最新视频流出

大瓜,黄仁勋黄乐最新视频流出

小鱼爱鱼乐
2026-11-18 20:27:43
又签20架!歼-10CE攻下第4国,这回轮到西方战机慌了

又签20架!歼-10CE攻下第4国,这回轮到西方战机慌了

巷北楠猫本尊
2026-11-18 16:04:40
因长得太漂亮被导演追求,因拒绝无戏可拍,直到和搭档胡歌走红

因长得太漂亮被导演追求,因拒绝无戏可拍,直到和搭档胡歌走红

白面书誏
2026-11-18 11:26:19
韩媒震惊:韩国队竟然输给了世界排名第95的中国队,脸都不要了

韩媒震惊:韩国队竟然输给了世界排名第95的中国队,脸都不要了

念洲
2026-11-18 18:24:15
泰钽700月销仅68台 别把消费者当傻子了

泰钽700月销仅68台 别把消费者当傻子了

汽车天涯
2026-11-18 15:26:37
马斯克曾预言:接下来全世界将面临一场危机,或只有中国是个例外

马斯克曾预言:接下来全世界将面临一场危机,或只有中国是个例外

瓦伦西亚月亮
2026-11-18 13:48:08
2026-11-19 09:03:00
数量技术宅 incentive-icons
数量技术宅
爱好数据分析量化投资的技术宅
287文章数 212关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
房产
手机
家居
公开课

PC Gamer试玩GTA6百小时:双主角出色但任务重复

房产要闻

6.6亿!海口卖地!

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版