| 订阅本站 
对于Glusterfs学习也有了几天了，但对于性能上的评价目前关注的比较少，今天主要才测测Glusterfs和NFS的性能比，但由于手头上条件有限，只能通过虚拟机来测试，数据仅供参考，如有人可以在真实环境测试，还希望发出来供大家参考 我的环境 vmware6.0模拟两个linux linux01 256MB内存，8G硬盘，centos5，ip：192.168.211.128，用作NFSserver端和Glusterfs的server端 linux02 256MB内存，8G硬盘，centos5，ip：192.168.211.129，用作client 下面就来看下我的测试结果 这张图是NFS的读取测试结果 下面这张是NFS的写入测试结果 然后我把两台虚拟机重启，并启用Glusterfs模式 第一张图是Glusterfs的读取结果 第二张图是写入的测试结果......阅读全文
Tags: glusterfs, linux, nfs, 测试performance translaters(高性能转换器) Read Ahead 预读 配置文件写法 预读转换器在每次 type performace/read-ahead 读取操作前就预先抓取数据。这个有利于应用频繁持续性的访问文件，当应用完成当前数据块读取的时候，下一个数据块就已经准备好了。 额外的，预读转换器也可以扮演读聚合器，许多小的读操作被绑定起来，当成一个大的读请求发送给服务器 预读处理有page-size和page-count来定义，page-size定义了，一次预读取的数据块大小，page-count定义的是被预读取的块的数量 预读最好被使用在使用InfiniBand卡（或使用ib-verbs传输）的系统上。在快速以太网或者千兆以太网络环境中，就算不使用预读，Glusterfs也可以达到网卡最大连......阅读全文
Tags: glusterfs, linux, 分布式存储, 性能优化今天主要把我学习的文件复制功能写出来 Replicate type cluster/replicate Replicate（前身是AFR）为glusterfs提供了类似RAID-1的功能。Replicate会复制文件或者文件夹到各个subvolumes里。因此，如果replicate部分设置了4个subvolume，那就会4分的文件或者文件夹的拷贝副本。replicate同样提供了高可用，比如如果其中的一个subvolume down掉了（或者说一台存储服务器坏了，网络连接出现问题）replicate依然可以使用冗余的拷贝副本来提供服务。 Replicate同样提供了自动修复功能，比如，如果一台crash掉的服务器恢复了，这台服务器上存储的过期的文件或者文件夹就会被更新成最新的版本。Replicate使用了后端文件系统的扩展功能来跟踪文......阅读全文
Tags: glusterfs, linux, 分布式存储, 文件复制上次的学习已经对glusterfs这个系统有了初步的认识，这次继续，上次只是简单的实现了一个类似NFS的配置，但这个并不是glusterfs出现的主要目的，而且也不是我们应用glusterfs的主要目的，我们要是实现的是分布式存储，另外一个最简单的想法就是，如何能把多台server目前空余的硬盘空间利用起来。这其实就是glusterfs最主要的功能之一，多存储空间的聚合。 实现目的：3存储节点，1clinet，3存储节点使用round-robin的方式进行存储 试验环境：vmware6.0 linux2个，分别server：192.168.211.128 client：192.168.211.129 软件安装这里不在概述 先来看看server端的配置 首先在home目录下建立4个用于共享出来的文件夹，其中一个是用于namespace的 ......阅读全文
Tags: glusterfs, linux, 分布式存储, 负载均衡对于分布式存储已经被越来越多的公司所应用，对于这方面的学习自然不能忽略，之前就也看过相关的内容，像红帽的GFS，google的googlefs，开源的现在也越来越多，像Fastdfs，ZFS，Lustre，Hadoop，GlusterFS。 大概的也都接触了一下，Fastdfs号称小巧，速度快占用资源小，但据我了解他是提供api来进行操作的，而目前我还是希望可以像NFS一样，直接mount来使用，并且提供高的可用性，和文件的容错功能，一路扫下来，瞄准了glusterfs。 Glusterfs是一个具有可以扩展到几个PB数量级的集群文件系统。它可以把多个不同类型的存储块通过Infiniband RDMA或者TCP/IP汇聚成一个大的并行网络文件系统。 在http://www.gluster.org/可以了解到更多并可以下载......阅读全文
Tags: glusterfs, linux, 分布式存储今天有人在群里喊谁做过lvs+squid，正好以前做过一个，我就把过程整理下来，供大家参考。首先看看拓扑图如下 说下我写这篇文章所用的测试环境，vmvare6.0，模拟两个linux，用的是centos5.1 squid-1（192.168.211.128） squid-2（192.168.211.130） Vip（192.168.211.135） 实现方式lvs-dr 1，lvs配置部分 安装lvs所需要的软件 yum -y install heartbeat yum -y install heartbeat-ldirectord yum -y install heartbeat-devel yum -y install ipvsadm 配置Ldirector vi /etc/ha.d/ldirectord.cf设置如下内容，两台机器文件内容相同 # Global Directives checktimeout=3 checkinterval=1 autoreload=yes logfile="/var/log/ldirec......阅读全文
Tags: heartbeat, lvs, squid, 集群squid的安装配置我就不详细介绍了，网上相关的文章很多，我主要来说说我是如何实现用squid3.0实现泛域名的，我使用的是squid 3.0stable9版本 安装配置好squid后在squid的中添加如下几行 http_port 80 transparent或者http_port 80 accel vhost vport cache_peer 192.168.0.10 parent 80 0 no-query originserver name=web cache_peer_domain web .abc.com 然后保存退出 之后重启squid，接下来就可以用ie进行测试了 阅读全文
Tags: squid, 泛域名提高squid命中率和使用效率是每个系统管理员都希望的一件事，毕竟在现有资源中榨干每一份的资源是必须滴，使用nginx的按url做定向投递，自然能提高squid的命中和效率，但毕竟公司目前没有这个条件，这个自然没法子实施，我就想到了另外的一个方法，就是今天的主角，cache_peer中的sibling。 先说说我的思路 如果有5台squid，每台的缓存空间是10G，估计每台能缓存静态文件110W个，如果前端放置f5或其他负载均衡设备，把所有请求的url都采用轮询的方式投递给squid，那最终每台squid上缓存住的静态文件几乎都是相同的，对于一个中小型的网站来说110W量的静态文件已经几乎是所有的静态文件了，但对于以在线漫画，或者图片为服务的网站来讲，静态文......阅读全文
Tags: cache_peer, sibling, squid上次我说了使用squid自己的堆叠机制实现提高squid使用率的方法，这次再来说说和nginx搭配使用提高多台squid的使用率，目标当然是使用有限的squid服务器，缓存住更多的静态文件。 nginx本身是不支持url_hash的，需要打第三方的patch，下载地址http://wiki.codemongers.com/NginxHttpUpstreamRequestHashModule?action=AttachFile&do=get&target=nginx_upstream_hash-0.3.tar.gz 首先进到nginx的目录 执行patch -p0 < /path/to/upstream/hash/directory/nginx.patch 然后在安装的时候加上 --add-module=path/to/upstream/hash/directory 我的测试环境vmvare 模拟3个linux ip分别：nginx 192.168.211.130 squid01 192.168.211.128 s......阅读全文
Tags: nginx, squid, url_hash, 使用率squid 缓存文件的格式是DBase 3 data file，使用cat命令虽然也是可以看到里面的内容的，但格式混乱，如果想取出我们需要的东西，相对来说比较的麻烦，linux下有个stings命令，这条命令可以显示可打印的文本，这样，对cache文件进行stings的话，就可以把文本的部分显示出来了，而且每条记录是一行，这样一来，让我想到了以前我在张宴那个脚本基础上进行修改后的脚本就又可以进行第二次的改良了，下面我就把改良的内容写出如下 先看下原始cache文件的内容 mH?貜癶腏睫?? 麭I$|DI?????+I`-http://images3.ctrip.com/ad/button/mb367.jpgHTTP/1.0 200 OK Content-Length: 53599 Content-Type: image/jpeg Last-Modified:&......阅读全文
Tags: cache, linux, squid, 清除缓存