环境:
openstack上的一个8核CPU、16GB内存、110GB磁盘的虚拟机
ubuntu12.04 x64 server系统
安装redis2.6.7
过程:
做实验的时候需要把一个2.1亿条的key-value数据导入redis以提供快速的查询。
安装、配置、启动redis之后,需要把数据导入到redis中。
尝试用jedis写客户端往redis中逐条插入数据的话,速度很慢,一分钟插入几万条就谢天谢地了,2.1亿条得好几天(我猜redis每秒10万条的插入速度是批插的速度,而且是插入的比较短的数据)。
关于redis批插,查了一下,有的用了一个叫redis_import_tools的工具https://github.com/unbracketed/redis-import-tools
使用python写的,看了一下readme感觉有点麻烦,上面说是比redis自带的pipe line功能要快,我还就不信邪了,试试redis自己的pipe line到底能有多慢:
参考http://redis.io/topics/mass-insert
这里写得很清楚了,自己生成一个redis protocol格式的数据文件即可。2.1亿条(9GB,其中纯数据不到4GB)的导入大概用了12分钟的样子,导入后redis-server进程差不多吃掉了90%的内存(总共16GB)。看来:
1、redis自己的pipe还是很强大的;
2、redis十分吃内存,物理内存最好是数据的4倍以上(而且是没有其他进程占用资源的情况下),否则就要设置系统的内存分配方式,使得redis可以使用虚拟内存,但查询速度可能会有所降低。
分享到:
相关推荐
本篇文章主要介绍了如何高效地向Redis插入大量的数据,现在分享给大家,感兴趣的小伙伴们可以参考一下。
数据管理:支持数据的增删改查操作,以及数据的批量导入和导出。 集群管理:支持 Redis 集群的探索和管理,帮助用户理解和操作复杂的集群环境。 安全性:提供安全连接选项,支持 SSL 加密连接,保障数据传输安全。 ...
redis 数据校验工具 redissycner-compare 基于docker-compse的一体化部署方案 redissyncer 功能列表 单节点、多节点在线同步 指定db库数据映射 批量RDB文件并行导入 批量AOF文件并行导入 批量MIX混合文件导入 增量...
redis windows 客户端最新版 RDM为您提供了一个易于使用的 GUI,可以访问您的 Redis 数据库并执行一些基本操作: ...从 RDB 文件中导入数据 - 您可以轻松地将大型 rdb 文件中的数据分到多个较小的 redis 服务器上
Excel_To_DB 一款将Excel表格中的数据导入至数据库中的小工具,SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库 详细介绍:
redis windows 客户端最新版 RDM为您提供了一个易于使用的 GUI,可以访问您的 Redis 数据库并执行一些基本操作: ...从 RDB 文件中导入数据 - 您可以轻松地将大型 rdb 文件中的数据分到多个较小的 redis 服务器上
每次启动redis,使用管道技术,从mysql批量导入活跃用户数据到redis中,并设置过期时间.4、教程使用线程池技术,每个线程拥有自己独立的数据,线程绑定类。每一个实例就包含一个线程每个线程数据里包含:mysql连接器、...
一个约八百万行数据的mysql表,原本导入到redis中需要90分钟,使用这个方法后,只需要两分钟。不管你信不信,反正我是信了。 Mysql到Redis的数据协议 redis-cli命令行工具有一个批量插入模式,是专门为批量执行命令...
RDM为您提供了一个易于使用的 GUI,可以访问您的 Redis 数据库并执行一些基本...从 RDB 文件中导入数据 - 您可以轻松地将大型 rdb 文件中的数据分到多个较小的 redis 服务器上,或者只导入数据的子集 为多个键设置 TT
直接从网址加载数据 SSL和基本身份验证 Unicode支持 :victory_hand: 外挂程式 为了安装插件,只需运行pip install plugin-name 从redis列表中连续读取并索引到elasticsearch 用于列出和索引来自S3的文件的插件 ...
该系统实现了公司销售人员,渠道代理人员,超级管理员的基本工作,可以维护渠道商机等商业数据,把商业机会数字化,客户跟踪历史记录,批量导入客户信息,多条件筛选,提高工作人员的协作能力,实现总公司,代理,...
RDM为您提供了一个易于使用的 GUI,可以访问您的 Redis 数据库并执行一些基本...从 RDB 文件中导入数据 - 您可以轻松地将大型 rdb 文件中的数据分到多个较小的 redis 服务器上,或者只导入数据的子集 为多个键设置 TT
CRMEB单商户v4.0.3基于Thinkphp6.0+vue+mysql+redis开发 砍价,拼团,秒杀,优惠券等营销功能齐全。 前后台全部采用前后端分离式开发 前端框架为uni-app,多端合一 首页页面后台可视化编辑操作,后台采用iview框架 H5...
Redis批量查询优化 Redis高性能集群之Twemproxy of Redis 数据存储 MongoDB NOSQL简介及MongoDB支持的数据类型分析 MongoDB可视化客户端及JavaApi实践 手写基于MongoDB的ORM框架 MongoDB企业级集解决方案 ...
在线方式,完成动力电池数据管理系统(电动汽车电池状态),电池数据我这边提供,主要功能至少包括: 1)动力电池数据格式的设置 2)动力电池数据的批量导入 3)动力电池数据的查询等……
获取不同城市的社保缴费项目,展示,批量导入员工参保数据。展示,导出月报表数据。归档月报表数据。 (7)考勤:不同的企业,不同的部门考勤核算是不一样的。所以需要对考勤的出勤时间,请假约定,出勤不足是否扣款...
dao 数据访问层 service 服务层 #启动项目说明: 要安装mysql,创建数据库,导入doc目录下的sql文件 启动redis服务。 启动项目,访问。 swagger2访问地址 项目介绍 项目提供了异步调度的demo 项目提供了excel导入...
完成了遗传算法自动组卷、文本批量导入题库,邀请码加入课程、数据可视化等一系列前后端功能。 本项目为本人毕业设计,未经许可,不可用于任何商业用途。禁止通过该项目进行毕设项目买卖 第一次接触SpringBoot和...