Mysql导出100万条数据,9种导出方法优缺点和速度、文件大小测试
阿里云国内75折 回扣 微信号:monov8 |
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6 |
这里写目录标题
这一次我主要就是想针对mysql导出的速度和文件大小进行优缺点测试这次主要就是用上之前生成的天气表这是表里面的数据
导出就用Navicat中的导出向导
点开就会出现10种的导出方法由于我不需要最后一种方法所以就不进行测试每种方法都对应着不同的作用
1.DBase文件
导出100万条由于是数据库类型文件所以dbf导出后大小非常大100万条数据有1.741GB这种格式文件能够最大保证数据库内的数据完整性
2.文本文件
导出txt文件100万条数据需要9.57秒文件大小77MB勉强可以接受也可以直接打开文件对里面的数据进行读取win10自带软件打开文件超过1分钟用notepad++打开txt文件就几秒
3. CSV文件
导出100万条数据需要9.22秒文件大小在77.27MB用notepad++打开几秒就可以显示全部内容
4.HTML文件
导出100万条数据需要7秒文件大小在132MB打开查看文件也是属于秒开
浏览器可以很直观看到排列好的数据体验还是不错
5.Excel数据表低版本
用低版本Excel导出数据100万条需要用15秒文件是131MB而且单表最大只能支持65536行数据如果超出会把你的数据进行拆分打开读取数据时间也较久
6.Excel文件2007年以后版本
导出100万条数据需要42秒文件大小是37MB打开文件后需要读取数据在10秒单表支持超过100万条数据不用担心被拆分的情况
7.SQL脚本文件
导出整个表的结构和100万条数据需要18.5秒文件大小在219MB
8.XML文件
导出需要8秒文件大小在274MB导出后可读性和改写性较差
9.JSON文件
导出100万条数据需要9秒文件在251MB
总结
可以根据自身的需求选择相应的mysql数据库导出方式根据不同项目去选择相应的导出方式即可。
导出方式 | 文件大小 | 可改写性 | 数据安全性 | 导出速度 |
---|---|---|---|---|
1.DBase文件 | 1.741GB | 无 | 高 | 41秒 |
2.文本文件 | 77MB | 可以修改和查询数据 | 中 | 9.57秒 |
3.CSV文件 | 77.27MB | 可以修改和查询数据 | 中 | 9.22秒 |
4.HTML文件 | 132MB | 可以查询数据 | 中 | 7.04秒 |
5.Excel数据表低版本(不推荐) | 131MB | 可以增删改查数据和做可视化 | 中 | 15秒 |
6.Excel文件2007年以后版本 | 37MB | 可以增删改查数据和做可视化 | 中 | 42秒 |
7.SQL脚本文件 | 219MB | 无 | 高 | 18.5秒 |
8.XML文件 | 274MB | 可读性和改写性较差 | 高 | 8秒 |
9.JSON文件 | 251MB | 可读性和改写性较差 | 高 | 9秒 |