如何在 Linux 系统中创建一个云端加密文件系统

如何在 Linux 系统中创建一个云端加密文件系统

Amazon S3 和 Google Cloud Storage 之类的商业云存储服务以能承受的价格提供了高可用性、可扩展、无限容量的对象存储服务。为了加速这些云产品的广泛采用,这些提供商为他们的产品通过明确的 API 和 SDK 培养了一个良好的开发者生态系统。而基于云的文件系统便是这些活跃的开发者社区中的典型产品,已经有了好几个开源的实现。

S3QL 便是最流行的开源云端文件系统之一。它是一个基于 FUSE 的文件系统,提供了好几个商业或开源的云存储后端,比如 Amazon S3、Google Cloud Storage、Rackspace CloudFiles,还有 OpenStack。作为一个功能完整的文件系统,S3QL 拥有不少强大的功能:最大 2T 的文件大小、压缩、UNIX 属性、加密、基于写入时复制的快照、不可变树、重复数据删除,以及软、硬链接支持等等。写入 S3QL 文件系统任何数据都将首先被本地压缩、加密,之后才会传输到云后端。当你试图从 S3QL 文件系统中取出内容的时候,如果它们不在本地缓存中,相应的对象会从云端下载回来,然后再即时地解密、解压缩。

需要明确的是,S3QL 的确也有它的限制。比如,你不能把同一个 S3FS 文件系统在几个不同的电脑上同时挂载,只能有一台电脑同时访问它。另外,ACL(访问控制列表)也并没有被支持。

在这篇教程中,我将会描述“如何基于 Amazon S3 用 S3QL 配置一个加密文件系统”。作为一个使用范例,我还会说明如何在挂载的 S3QL 文件系统上运行 rsync 备份工具。

准备工作

本教程首先需要你创建一个 Amazon AWS 帐号(注册是免费的,但是需要一张有效的信用卡)。

然后 创建一个 AWS access key(access key ID 和 secret access key),S3QL 使用这些信息来访问你的 AWS 帐号。

之后通过 AWS 管理面板访问 AWS S3,并为 S3QL 创建一个新的空 bucket。

为最佳性能考虑,请选择一个地理上距离你最近的区域。

在 Linux 上安装 S3QL

在大多数 Linux 发行版中都有预先编译好的 S3QL 软件包。

对于 Debian、Ubuntu 或 Linux Mint:


  1. $ sudo apt-get install s3ql

对于 Fedora:


  1. $ sudo yum install s3ql

对于 Arch Linux,使用 AUR

首次配置 S3QL

在 ~/.s3ql 目录中创建 autoinfo2 文件,它是 S3QL 的一个默认的配置文件。这个文件里的信息包括必须的 AWS access key,S3 bucket 名,以及加密口令。这个加密口令将被用来加密一个随机生成的主密钥,而主密钥将被用来实际地加密 S3QL 文件系统数据。


  1. $ mkdir ~/.s3ql
  2. $ vi ~/.s3ql/authinfo2


  1. [s3]
  2. storage-url: s3://[bucket-name]
  3. backend-login: [your-access-key-id]
  4. backend-password: [your-secret-access-key]
  5. fs-passphrase: [your-encryption-passphrase]

指定的 AWS S3 bucket 需要预先通过 AWS 管理面板来创建。

为了安全起见,让 authinfo2 文件仅对你可访问。


  1. $ chmod 600 ~/.s3ql/authinfo2

创建 S3QL 文件系统

现在你已经准备好可以在 AWS S3 上创建一个 S3QL 文件系统了。

使用 mkfs.s3ql 工具来创建一个新的 S3QL 文件系统。这个命令中的 bucket 名应该与 authinfo2 文件中所指定的相符。使用“--ssl”参数将强制使用 SSL 连接到后端存储服务器。默认情况下,mkfs.s3ql 命令会在 S3QL 文件系统中启用压缩和加密。


  1. $ mkfs.s3ql s3://[bucket-name] --ssl

你会被要求输入一个加密口令。请输入你在 ~/.s3ql/autoinfo2 中通过“fs-passphrase”指定的那个口令。

如果一个新文件系统被成功创建,你将会看到这样的输出:

挂载 S3QL 文件系统

当你创建了一个 S3QL 文件系统之后,下一步便是要挂载它。

首先创建一个本地的挂载点,然后使用 mount.s3ql 命令来挂载 S3QL 文件系统。


  1. $ mkdir ~/mnt_s3ql
  2. $ mount.s3ql s3://[bucket-name] ~/mnt_s3ql

挂载一个 S3QL 文件系统不需要特权用户,只要确定你对该挂载点有写权限即可。

视情况,你可以使用“--compress”参数来指定一个压缩算法(如 lzma、bzip2、zlib)。在不指定的情况下,lzma 将被默认使用。注意如果你指定了一个自定义的压缩算法,它将只会应用到新创建的数据对象上,并不会影响已经存在的数据对象。


  1. $ mount.s3ql --compress bzip2 s3://[bucket-name] ~/mnt_s3ql

因为性能原因,S3QL 文件系统维护了一份本地文件缓存,里面包括了最近访问的(部分或全部的)文件。你可以通过“--cachesize”和“--max-cache-entries”选项来自定义文件缓存的大小。

如果想要除你以外的用户访问一个已挂载的 S3QL 文件系统,请使用“--allow-other”选项。

如果你想通过 NFS 导出已挂载的 S3QL 文件系统到其他机器,请使用“--nfs”选项。

运行 mount.s3ql 之后,检查 S3QL 文件系统是否被成功挂载了:


  1. $ df ~/mnt_s3ql
  2. $ mount | grep s3ql

卸载 S3QL 文件系统

想要安全地卸载一个(可能含有未提交数据的)S3QL 文件系统,请使用 umount.s3ql 命令。它将会等待所有数据(包括本地文件系统缓存中的部分)成功传输到后端服务器。取决于等待写的数据的多少,这个过程可能需要一些时间。


  1. $ umount.s3ql ~/mnt_s3ql

查看 S3QL 文件系统统计信息及修复 S3QL 文件系统

若要查看 S3QL 文件系统统计信息,你可以使用 s3qlstat 命令,它将会显示诸如总的数据、元数据大小、重复文件删除率和压缩率等信息。


  1. $ s3qlstat ~/mnt_s3ql

你可以使用 fsck.s3ql 命令来检查和修复 S3QL 文件系统。与 fsck 命令类似,待检查的文件系统必须首先被卸载。


  1. $ fsck.s3ql s3://[bucket-name]

S3QL 使用案例:Rsync 备份

让我用一个流行的使用案例来结束这篇教程:本地文件系统备份。为此,我推荐使用 rsync 增量备份工具,特别是因为 S3QL 提供了一个 rsync 的封装脚本(/usr/lib/s3ql/pcp.py)。这个脚本允许你使用多个 rsync 进程递归地复制目录树到 S3QL 目标。


  1. $ /usr/lib/s3ql/pcp.py -h

下面这个命令将会使用 4 个并发的 rsync 连接来备份 ~/Documents 里的所有内容到一个 S3QL 文件系统。


  1. $ /usr/lib/s3ql/pcp.py -a --quiet --processes=4 ~/Documents ~/mnt_s3ql

这些文件将首先被复制到本地文件缓存中,然后在后台再逐步地同步到后端服务器。

若想了解与 S3QL 有关的更多信息,如自动挂载、快照、不可变树,我强烈推荐阅读 官方用户指南。欢迎告诉我你对 S3QL 怎么看,以及你对任何其他工具的使用经验。

原文发布时间:2014-12-03

本文来自云栖合作伙伴“linux中国”

时间: 2017-05-02

如何在 Linux 系统中创建一个云端加密文件系统的相关文章

ubuntu-如何在linux系统中实现传递访问请求

问题描述 如何在linux系统中实现传递访问请求 有一台linux(ubuntu)主机,双网卡.eth1和eth2分别接到两个不同的网段1和网段2". 另一台Web服务,位于网段2. 我需要实现的是,用网段1中其它主机的浏览器向Linux发请求,请求会被转发到网段2中的Web服务器.让linux看起来就是Web服务. 请问这个需求如何实现? 解决方案 ngnix反向代理,负载平衡 解决方案二: 机器上设置iptable来设置路由转发规则

使用Gnupg对Linux系统中的文件进行加密

GnuPG(GNU Privacy Guard或GPG)是一个以GNU通用公共许可证释出的开放源码用于加密或签名的软件,可用来取代PGP.大多数gpg软件仅支持命令行方式,一般人较难掌握.由于gpg软件开放源代码,很难隐藏后门,因此比pgp等商业软件安全. 1. 在实验机中创建alice和bob用户并设置密码 2. 切换到alice用户并生成密钥/公钥 3. 同样切换到bob用户也生成一遍 4. 将bob用户的公钥通过ASCII格式导出 5. 切换到用户alice然后导入bob的公钥并对文件进行

如何在Linux系统中运行ASP.NET vNext

最新的ASP.NET vNext完全开源且可以跨多个平台运行,在Windows环境下我尝试了下,几乎没花什么工夫就跑起了Sample,而在Linux环境下则要多花了不少时间,所以特别记录下整个过程,希望对其他想要尝鲜的人有所帮助. 运行环境 Ubuntu Server 14.04 VirtualBox Mono >= 3.4.1 *由于Ubuntu库中的Mono版本比较陈旧,满足不了最低要求,所以第一步要做的就是安装最新版本的Mono. 安装Mono 1. 首先从GitHub上取得mono代码:

linux系统中创建datacenter和cluster的例子

rhev data center的创建和cluster的创建没有太多可以写的,因为步骤比较简单 ,不过这里还是截几个图将几个要点部分记录下.   1.创建数据中心   默认存在一个数据中心,不过在存在多个数据中心的情况下,为了便于区分,我们还是会新建data center .如下:   存储可以分为本地存储和共享存储,一般在都选共享存储,支持的类型有NFS.iSCSI.SAN.GFS等:   兼容版本默认选当前最新版本即可,一般新版本都会向下兼容:   配额模式一般都是关掉的,除非有配置需求.

如何在linux系统中搭建PHP环境

构建PHP环境 PHP几乎支持所有流行的数据库,几乎所有系统平台,混合了c java perl等语法及自创语法,是服务器端的HTML嵌入式脚本 1.安装PHP软件包 1). 解压并释放下载的PHP源码包到/usr/src/目录中,并切换进入展开的源码文件夹 [root@www ~]# tar zxvf php-5.2.6.tar.gz -C /usr/src [root@www ~]# cd /usr/src/php-5.2.6/ 2). 预先配置编译时的参数 [root@www php-5.2

Linux系统中如何新增一块硬盘?

在http://www.aliyun.com/zixun/aggregation/13744.html">管理服务器的过程中,当数据存储达到硬盘一定容量的时候,我们不得不去考虑增加一块硬盘,来扩充磁盘的空间,那么我们应该如何在Linux系统中新增一块硬盘呢?操作步骤如下: 一.关机,物理连接硬盘 如果是IDE硬盘,注意主.从盘的设置:如果是SCSI硬盘,注意选一个没被使用的ID号. 二.开机,检查硬盘有没有被linux检测到 dmesg | grep hd*(ide硬盘)dmesg |gr

LINUX系统中动态链接库的创建与使用

大家都知道,在WINDOWS系统中有很多的动态链接库(以.DLL为后缀的文件,DLL即Dynamic Link Library).这种动态链接库,和静态函数库不同,它里面的函数并不是执行程序本身的一部分,而是根据执行程序需要按需装入,同时其执行代码可在多个执行程序间共享,节省了空间,提高了效率,具备很高的灵活性,得到越来越多程序员和用户的青睐.那么,在LINUX系统中有无这样的函数库呢? 答案是肯定的,LINUX的动态链接库不仅有,而且为数不少.在/lib目录下,就有许多以.so作后缀的文件,这

LINUX系统中动态链接库的创建与使用{补充}

 大家都知道,在WINDOWS系统中有很多的动态链接库(以.DLL为后缀的文件,DLL即Dynamic Link Library).这种动态链接库,和静态函数库不同,它里面的函数并不是执行程序本身的一部分,而是根据执行程序需要按需装入,同时其执行代码可在多个执行程序间共享,节省了空间,提高了效率,具备很高的灵活性,得到越来越多程序员和用户的青睐.那么,在LINUX系统中有无这样的函数库呢? 答案是肯定的,LINUX的动态链接库不仅有,而且为数不少.在/lib目录下,就有许多以.so作后缀的文件,

如何在CentOS 6.x x64系统中创建超过16TB的ext4文件系统

如何在CentOS 6.x x64系统中创建超过16TB的ext4文件系统 作者 digoal 日期 2016-09-18 标签 ext4 , 16TB 背景 在使用Ext4文件系统时,发现无法创建超过16TB的文件系统. 例如我的服务器中有多块8T的盘,使用逻辑卷或者软RAID做成较大的块设备,然后使用mkfs.ext4格式化,当LVM或软RAID设备大于16TB时,出现这样的报错 # mkfs.ext4 -b 4096 /dev/md0 mke2fs 1.41.12 (17-May-2010