Redis协议简介及持久化Aof文件解析

Redis提供了两种不同的持久化模式:

  • RDB 快照模式,该模式用于生成某个时间点的备份信息,并且会对当前的key value进行编码存储到rdb文件中
  • AOF 持久化模式,该模式类似binlog的形式,会记录服务器所有的写请求,在服务重启的时候通过回放执行命令请求来恢复原有的数据

AOF文件记录的是原始的Redis写请求命令,所以在了解AOF文件之前我们需要了解下Redis协议。

Redis协议介绍

Redis客户端和服务端之间可以通过RESP (REdis Serialization Protocol)来进行通信,作者在设计这个协议主要依据了以下三点:

  • 易实现
  • 解析速度快
  • 容易被人类理解

RESP协议主要由以下几种数据类型组成:简单字符串、错误信息、整数、字符串、数组。客户端发送给服务端的是一个数组命令,服务端根据不同命令的实现进行回复。每个数据类型的定义如下:

  • 简单字符串: 以+号开头结尾为\r\n,比如+OK\r\n
  • 错误信息: 以-号开头结尾为\r\n的字符串,比如-ERR Readonly\r\n
  • 整数: 以:开头结尾为\r\n,开头和结尾之间为整数,比如:1\r\n
  • 字符串: 以$开头随后为该字符串长度和\r\n,接下去为真正的字符串内容和\r\n
  • 数组: 以*开头的,随后指定了数组元素个数并通过\r\n划分,每个数组元素都可以为上面的四种,比如*1\r\n$4\r\nping\r\n

对于Redis的请求客户端以RESP协议的形式发送过来,Redis后端执行完命令之后如果打开了aof文件记录Redis会讲该请求记录到AOF文件中。

AOF文件解析

在日常开发测试中,有时候为了方便查看历史的命令记录我们需要对AOF文件进行解析,这样可以方便我们查看对某个Key的记录。这里我们通过Python代码调用hiredis库来进行Redis AOF文件的解析,代码如下:

#!/usr/bin/env python

""" A redis appendonly file parser
"""

import logging
import hiredis
import sys

if len(sys.argv) != 2:
   print sys.argv[0], 'aof_file'
   sys.exit()
file = open(sys.argv[1])
line = file.readline()
cur_request = line
while line:
    req_reader = hiredis.Reader()
    req_reader.setmaxbuf(0)
    req_reader.feed(cur_request)
    command = req_reader.gets()
    try:
        if command is not False:
            print command
            cur_request = ''
    except hiredis.ProtocolError:
        print 'protocol error'
    line = file.readline()
    cur_request += line
file.close

结束

使用以上脚本解析一个aof文件结果如下,得到如下结果之后用户就可以很方便的查看一个Key相关的操作了。

['PEXPIREAT', 'RedisTestLog', '1479541381558']
['SET', 'RedisTestLog', '39124268']
['PEXPIREAT', 'RedisTestLog', '1479973381559']
['HSET', 'RedisTestLogHash', 'RedisHashField', '16']
['PEXPIREAT', 'RedisTestLogHash', '1479973381561']
['SET', 'RedisTestLogString', '79146']
时间: 2016-11-17

Redis协议简介及持久化Aof文件解析的相关文章

解决redis aof文件过大的问题

执行BGREWRITEAOF命令对redis的AOF进行重写 redis-cli BGREWRITEAOF 相关解释: Redis的AOF机制有点类似于Mysql binlog,是Redis的提供的一种持久化方式(另一种是RDB),它会将所有的写命令按照一定频率(no, always, every seconds)写入到日志文件中,当Redis停机重启后恢复数据库. AOF重写: (1) 随着AOF文件越来越大,里面会有大部分是重复命令或者可以合并的命令(100次incr = set key 1

Redis教程(十):持久化详解_Redis

一.Redis提供了哪些持久化机制:     1). RDB持久化:     该机制是指在指定的时间间隔内将内存中的数据集快照写入磁盘.        2). AOF持久化:     该机制将以日志的形式记录服务器所处理的每一个写操作,在Redis服务器启动之初会读取该文件来重新构建数据库,以保证启动后数据库中的数据是完整的.     3). 无持久化:     我们可以通过配置的方式禁用Redis服务器的持久化功能,这样我们就可以将Redis视为一个功能加强版的memcached了.    

《趣学CCNA——路由与交换》——2.2节UDP协议简介

2.2 UDP协议简介趣学CCNA--路由与交换TCP是一个面向连接的协议,而UDP则正好相反,它是一个"无连接的"协议.这意味着,您不会在这一节读到关于握手流程的那些复杂的内容,可以省下一些时间和精力用来刷微博.微信.但是,TCP费那么大工夫去握手可不是因为它空虚寂寞觉得冷,这一切都是为了保障接收方能够收到自己发送的数据.UDP省掉了这个过程,这也就说明,UDP 并不关心对方能不能收到它发送的信息.因此,如果说TCP发送出去的数据是能够随时查询投递状态的快递包裹或者挂号信,那么UDP

htmlcxx中css文件解析中yyparse有内存泄露,哪位大神能不能帮忙看一下

问题描述 htmlcxx中css文件解析中yyparse有内存泄露,哪位大神能不能帮忙看一下 使用最新版的htmlcxx0.85版,把内部的css解析部分抽出之后,检测出内存泄露

sax-xml文件解析时报错,久不得解

问题描述 xml文件解析时报错,久不得解 报错的语句:Document document = builder.parse(new Proxool().getClass().getResourceAsStream("/proxool.xml")); 这是我的xml文件: 我就郁闷了,求指点~ 解决方案 jdbc:mysql://localhost:3306/db?useUnicode=true&characterEncoding=UTF-8 解决方案二: UTF-8改成utf8试

javascript-页面js文件解析执行过程

问题描述 页面js文件解析执行过程 在高性能javascript书中有如下讲解,感觉甚是不懂!如下:每个文件必须等到前一个文件下载并执行完成才开始下载.如下图:(http://img.ask.csdn.net/upload/201508/25/1440490986_104397.png) 疑问:一些外部引入的js文件不是不能被执行么,还有那些页面加载完后再执行的js文件,这里为什么是下载并执行呢!又晕了,求大神解答!感谢! 解决方案 这个要看你的htnl怎么写的,如果是外部js,那么肯定是先下载

json文件解析。。。。。。。

问题描述 json文件解析....... [ {"id":"100","age":"1","name":"张三"}, {"id":"101","age":"2","name":"李四"}, {"id":"102","ag

《趣学CCNA——路由与交换》一第2章 TCP/IP协议2.1 TCP协议简介

第2章 TCP/IP协议 趣学CCNA--路由与交换 在上一章,我们郑重其事地介绍了无聊的OSI七层参考模型,并浓墨重彩地讲述了其中每一层负责提供的功能.OSI模型出身名门.条理清晰,只有一个"小小的"缺点,那就是一直没人太拿它当回事儿.所以,如果对它太认真,你就败了. 我们是有职业精神的,因此在介绍OSI模型时反复强调了这个模型是如何地曲高和寡.我们在上一章中花大篇幅介绍OSI模型有三个目的:一是延续各类技术教材的惯例,以免将本书作为技术开蒙读物的读者在与别人讨论技术问题时,因全然不

html c++-如何读取本地html文件,并将该文件解析,根据解析的数据创建新的html

问题描述 如何读取本地html文件,并将该文件解析,根据解析的数据创建新的html 问题是这样的: 我在网上获取了别人的html源代码后,把源代码保存到本地html,然后通过什么样的方法读取到里面table的数据,再根据这些数据构建一个新的html文件,再另存到本地 相当于这么一个软件,输入时别人的html源代码,输出我重新整理好的html文件,不知道大家能不能懂--汗,我知道js是无法获得本地文件,所以只能依赖其他平台来处理html 请各位大侠给点思路,比如c++? 解决方案 java jso