SNA方案中，session的存放是一个重要方面。javaeye中提出的解决方案主要基于memcached：

codeutil通过hack tomcat6的session manage相关类将标准的servlet session存储在memcached中。该hack解决了一部分问题，但是最终没有完全绕过ManagerBase中的sessions实例和StandardSession中的attributes实例。从代码上看，群集环境中，存在着各个JVM中的sessions实例和attributes实例无法与memcached保持同步的问题，继而隐藏着session dirty或者expire机制失效的BUG。

另外一种方案是自定义Map<String,Map<String,Serializable>>来取代servlet容器的SessionStore机制。使用memcached作为underlying store的，仍然需要解决session expire的问题。关于memcached管理session expire的问题，balaschen等hack了memcached的代码。每次get操作的时候更新expire值，继而试图让memcached自行管理。这种方案限于每个session只能作为一个key/value pair存放于memcached。而通常更有效的存储结构是：

sessionkey:["attr1","attr2","access_timestamp"]

sessionkey_attr1:{}

sessionkey_attr2:{}

ROR社区使用cookie_store，很好。虽然没有看过其实现机制，但是以java的实现该是这样：

new ObjectOutputStream(new GZIPOutputStream(new CipherInputStream(new Base64OutputStream(out),cipher))).writeObject(state);

我个人感觉cookie item 4k的容量，存放压缩过的信息已经足够了。关于session中应该/不应该存放什么的讨论，javaeye有很多。我个人总结是，session中存放用户与服务端资源交互产生的、无法由服务端自行决定存放的状态信息。

如果仍然需要session_store的话，我还是更倾向于自定义session结构这种方案。虽然丧失了一部分容器session 机制的好处(比如event，标准接口)，但是可以免去hack的痛苦，且与容器无关，轻量级。使用dbcached(memcached+nmdb+qdbm)来作为underlying store，增加了持久、故障转移等功能。

但是，session iterate仍然是待解决的问题。

为什么需要iterate？可以更加灵活的进行expire，还有在线人数统计这类常见的需求。

虽然qdbm提供的java client中Villa可以按照key的前缀进行iterate，但是client无法使用nmdb独占打开的那个db，而nmdb又没有提供java client，更沮丧的是其client规范中规定的可操作方法并没有iterate。目前正在调研其他解决方案。

还有基于terracotta的JVM-level clustering来管理session。很重量级，这里不表。

• Oracle专区上线，有Oracle最新文章，重要下载及知识库等精彩内容，欢迎访问。
• 北京: 千橡集团暨校内网诚聘软件研发工程师
• 快来参加7月17日在成都举行的SOA中国技术论坛
• 搜狐网站诚聘Java、PHP和C++工程师
• JavaEye问答大赛开始了！ 从6月23日 至 7月6日，奖品丰厚 ！

heartbeat V2在CentOS4.6上简要安装、配置笔记

（shell行命令用粗体表示）

一、准备工作

1、环境
两台CentOS4.6，各一个网卡，IP地址分别为192.168.0.1和192.168.0.2

uname -n
分别显示node1和node2

cat /etc/hosts
均显示
127.0.0.1       localhost.localdomain   localhost
192.168.0.1 node1
192.168.0.2 node2


2、两个node分别安装libnet
hearbeat默认编译选项需要e2fsprogs/libnet库，CentOS4.6默认安装了e2fsprogs，所以这里先安装libnet

cd /usr/local/src
wget http://www.packetfactory.net/libnet/dist/libnet.tar.gz
tar zxvf libnet.tar.gz
cd libnet
./configure
make && make install

3、两个node分别创建heartbeat相关的用户和组
groupadd haclient
useradd -g haclient hacluster

4、关闭两个node上的防火墙（如SELINUX），或者设置为信任eth0，使得能相互听见对方心跳。否则两个node都认为对方的状态为dead。（我在这个问题上折腾了一会。其他如采用双绞线通过串口进行心跳监控之类的方案也必须检查双绞线是否正常，保证线路通畅。）

二、两个node分别下载、编译、安装heartbeat

cd /usr/local/src
wget http://linux-ha.org/download/heartbeat-2.1.3.tar.gz
tar zxvf heartbeat-2.1.3.tar.gz
cd heartbeat-2.1.3
./ConfigureMe configure

大致看看编译统计信息后安装

make && make install

三、在node1上的简易配置

将配置文件模板拷贝到默认配置目录（可选，也可手工创建。模板文件中的注释可帮助你理解各配置选项的含义）

cp doc/authkeys /etc/ha.d/
cp doc/ha.cf /etc/ha.d/


cd /etc/ha.d/

开始编辑配置文件（两台机器上都需要安装和配置）
1、编辑/etc/ha.d/authkeys，使用的是第1种认证方式(crc)，接着把文件的权限改为600：
cat /etc/ha.d/authkeys
显示
auth 1
1 crc

更改文件权限
chmod 600 /etc/ha.d/authkeys

关于Configuring authkeys

2、编辑/etc/ha.d/ha.cf：
cat /etc/ha.d/ha.cf | grep -v '#'
文件显示如下
keepalive 10
deadtime 60
warntime 20
initdead 60
udpport 694
mcast eth0 225.0.0.1 694 1 0
watchdog /dev/watchdog
node node1 node2
ping 192.168.0.254
use_logd yes
compression     zlib
traditional_compression false
crm on
autojoin any

关于ha.cf的指令说明

注意：
ping 192.168.0.254
ping网关，使得每个节点得知自己是否已经离线。我尝试去掉该选项的结果是：当node1拔掉网线之后，node2接管了资源。再插上node1的网线，node2的日志中会不停的出现“WARN: crmd_ha_msg_callback”信息（不信可以试试）。

Additional Options 应该是V2中用来监控Heartbeat运行时对cib.xml的修改。除调试外感觉没啥用，日志中新增了一堆diff信息。
# apiauth cibmon   uid=hacluster
# respawn hacluster /usr/lib/heartbeat/cibmon -d


3、资源文件配置。这里以Two Apache Web Servers in an Active/Active Configuration 的更改版(Two Nginx Web Servers in an Active/Active Configuration)来举例。编辑/etc/ha.d/haresources（V1）或者/var/lib/heartbeat/crm/cib.xml（V2）
cib.xml对于初学者来说很难编写，官方的例子中不能简单的拷贝过来，贸然运行heartbeat会导致node重启，我猜测的原因是官方的示例并未遵循其DTD 。

简单的方法是采用hearbeat提供的工具将V1方式的资源配置文件转换为V2 style的。比如：

cat /tmp/haresources
文件内容显示为：
node1 192.168.0.3 nginx
node2 192.168.0.4 nginx

意思是，优先在node1上绑定192.168.0.3这个虚拟IP，并管理(start/stop/status)本机上的nginx。优先在node2上绑定192.168.0.4这个虚拟IP，并管理本机上的nginx。

这里nginx是一个LSB style脚本，位于/etc/init.d/nginx，示例可见这里 。先保证nginx已经安装到两个node上了。

转换命令
/usr/lib/heartbeat/haresources2cib.py --stout -c /etc/ha.d/ha.cf /tmp/haresources

运行转换命令之后，/var/lib/heartbeat/crm/cib.xml自动产生。（请在熟悉了hearbeat之后再去尝试修改该文件。）

四、将node1上的heartbeat相关的配置文件拷贝到node2

scp /etc/ha.d/ha.cf root@node2:/etc/ha.d/ha.cf
scp /etc/ha.d/authkeys root@node2:/etc/ha.d/authkeys
scp /var/lib/heartbeat/crm/cib.xml root@node2:/var/lib/heartbeat/crm/cib.xml

请确保两个node上的配置文件内容和权限相同。

五、在两个node上启动heartbeat并观察结果

1、修改两个node上nginx的index.html
在node1上：
echo 'node1 welcome!' > /usr/local/nginx/html/index.html
在node1上：
echo 'node2 welcome!' > /usr/local/nginx/html/index.html

2、启动两个node上的heartbeat，然后稍等片刻（时间长短取决于ha.cf中的相关参数）。
/etc/init.d/heartbeat start


按照我这里的ha.cf配置，日志信息应该可以通过
tail /var/log/messages -f
进行查看

3、在两个node上分别运行ifconfig 和ps -ef 来查看虚拟IP和ngnix是否已经启动。

4、在浏览器中分别访问http://192.168.0.3/和http://192.168.0.4/，观察。

5、将node1从局域网中断开，稍等片刻。再重复上面的步骤3、4，观察。

6、将node1重新接入局域网，稍等片刻。再重复上面的步骤3、4，观察。


相信你的第一个示例成功之后，对heartbeat的基础原理应该有所了解。接着再详细查看官方文档和网络资料，结合实际进行特定服务的HA，多试验、多失败、多研究。

主要参考资料：
官方网站 中的文档
CU集群和虚拟机论坛 中相关线索

• 搜狐网站诚聘Java、PHP和C++工程师
• 快来参加7月17日在成都举行的SOA中国技术论坛
• JavaEye问答大赛开始了！ 从6月23日 至 7月6日，奖品丰厚 ！
• 北京: 千橡集团暨校内网诚聘软件研发工程师
• Oracle专区上线，有Oracle最新文章，重要下载及知识库等精彩内容，欢迎访问。

这几天学习了一下heartbeat的资料，想参照 Two Apache Web Servers in an Active/Active Configuration    做个Two Nginx Web Services in Active/Active HA。研究发现，heartbeat所管理的资源代理(Resource Agent)，有OCF、LSB等几种 。LSB这种shell脚本我还能依葫芦画瓢的写一点，参考linux系统中的原有脚本和网上资料，写了一个很简单的：

#!/bin/bash
#
# nginx:       Control the nginx Daemon
#
# Version:      @(#) /etc/init.d/nginx 0.1
#
# description: This is a init.d script for nginx. Tested on CentOS4. \
#              Change DAEMON and PIDFILE if neccessary.
#

#Location of nginx binary. Change path as neccessary
DAEMON=/usr/local/nginx/sbin/nginx
NAME=`basename $DAEMON`

#Pid file of nginx, should be matched with pid directive in nginx config file.
PIDFILE=/var/run/$NAME.pid

#this file location
SCRIPTNAME=/etc/init.d/$NAME

#only run if binary can be found
test -x $DAEMON || exit 0

RETVAL=0

start() {
	echo $"Starting $NAME"
	$DAEMON
	RETVAL=0
}

stop() {
	echo $"Graceful stopping $NAME"
	[ -s "$PIDFILE" ] && kill -QUIT `cat $PIDFILE`
	RETVAL=0
}

forcestop() {
    echo $"Quick stopping $NAME"
    [ -s "$PIDFILE" ] && kill -TERM `cat $PIDFILE`
    RETVAL=$?
}

reload() {
    echo $"Graceful reloading $NAME configuration"
    [ -s "$PIDFILE" ] && kill -HUP `cat $PIDFILE`
    RETVAL=$?
}

status() {
    if [ -s $PIDFILE ]; then
        echo $"$NAME is running."
        RETVAL=0
    else
        echo $"$NAME stopped."
        RETVAL=3
    fi
}
# See how we were called.
case "$1" in
    start)
        start
        ;;
    stop)
        stop
        ;;
    force-stop)
        forcestop
        ;;
    restart)
        stop
        start
        ;;
    reload)
        reload
        ;;
    status)
        status
        ;;
    *)
        echo $"Usage: $0 {start|stop|force-stop|restart|reload|status}"
        exit 1
esac

exit $RETVAL

注意对应的Nginx配置的PID指令。

参考资料：

LSBResourceAgent

Running and Controlling Nginx

Boot Script for Nginx on Ubuntu, Debian etc.

• JavaEye问答大赛开始了！ 从6月23日 至 7月6日，奖品丰厚 ！
• 搜狐网站诚聘Java、PHP和C++工程师
• 快来参加7月17日在成都举行的SOA中国技术论坛
• Oracle专区上线，有Oracle最新文章，重要下载及知识库等精彩内容，欢迎访问。
• 北京: 千橡集团暨校内网诚聘软件研发工程师

反向代理是webserver和appserver结合的通用解决方案。apache提供了mod_proxy,mod_proxy_ajp来干这个事情。另外还有应用服务器方提供的mod比如mod_jk，mod_wl等。

使用mod_jk的同学估计对ajp又爱又恨吧？因为ajp不支持regex方式来代理动态请求。其实关于各种反向代理模块，配置的灵活性、性能，都是需要权衡的。不使用mod_jk的同学又希望有一款模块能够灵活的配置，现在apache2.2.5给mod_proxy新增了一个ProxyPassMatch指令，可以试试。

这篇文章主要是给那些暂时不能使用apache2.2.5的同学看的。估计很多人应该知道mod_rewrite中的RewriteRule指令中[P]标识，是用来加强ProxyPass的。但是rewrite拍脑袋想一下应该是对webserver有性能上的消耗的。这里我试图给出一个目前我能想到的最灵活也兼顾性能的配置方案：

#global disable rewrite
RewriteEngine off

<LocationMatch "^/context/(.*)\.(jsp|action|do)$">
        #per-dir enable rewrite
        Options +FollowSymLinks
        RewriteEngine on
        RewriteRule ^/YourWebserverDocumentRoot/(.*) http://appserver:port/$1 [P,QSA,L]
</LocationMatch>

只是，apache文档中说：

Although rewrite rules are syntactically permitted in <Location> sections, this should never be necessary and is unsupported.

有谁能够给我解惑？我现在只能假设，对于每一个请求，LocationMatch匹配是快于RewriteRule匹配的。但能想象，上面这个配置，若匹配到URI，至少有两次匹配过程。有时间做一个测试来验证。

我其实并不推崇这种rewrite的技巧，同时也对java web应用的特定扩展名感到厌烦了。如果能够更合理的组织URI，ajp肯定是更合理的方案。

• JavaEye问答大赛开始了！ 从6月23日 至 7月6日，奖品丰厚 ！
• 搜狐网站诚聘Java、PHP和C++工程师
• 北京: 千橡集团暨校内网诚聘软件研发工程师
• 快来参加7月17日在成都举行的SOA中国技术论坛
• Oracle专区上线，有Oracle最新文章，重要下载及知识库等精彩内容，欢迎访问。

主要是基于这么一个思路解决我的问题： 

<meta http-equiv="Content-Type" content="text/html; charset=gbk"/>
...

<form method="post" action="/servlet" accept-charset="utf-8">
<input type="hidden" name="_charset_"/>
<input type="text" name="text"/>
<input type="submit" value="Submit"/>
</form>

这个表单配合原来在weblogic下写的filter代码，在IE和firefox下运行正常。但既然遵循servlet规范，不能在filter中通过_charset_这个request参数来获取浏览器对post body的真实编码，只能想点歪门邪道了。向jsessionid取经，这个表单改成这样：（关于URL中的分号，请参考RFC1738，这里有个中文版）

<meta http-equiv="Content-Type" content="text/html; charset=gbk"/>

...
<form method="post" action="/servlet;_charset_=utf-8" accept-charset="utf-8">
<input type="hidden" name="_charset_"/>
<input type="text" name="text"/>
<input type="submit" value="Submit"/>
</form>

 filter的改造就略了，无非是hack下request uri。幸好遗留应用并不需要url中重写jsessionid。

测试，运行，firefox正常了，IE又不正常。哦，恍然大雾啊，原来firefox是严格的根据accept-charset来编码，若accept-charset不存在，则按response或者meta http-equiv="Content-Type"中的声明来编码，最后把编码方式放到_charset_隐藏域。而IE还是顽固的只按照response或者meta http-equiv="Content-Type"中的声明来编码，并把编码方式放到_charset_隐藏域。原来IE无视accept-charset的存在。我原先一直以为_charset_隐藏域只是IE对accept-charset的一个强制辅助呢，又一个一知半解的典型...

得了，只能让firefox和IE同流合污了。最终，表单变成这样：

<meta http-equiv="Content-Type" content="text/html; charset=gbk"/>

...
<form method="post" action="/servlet;_charset_=gbk">
<input type="text" name="text"/>
<input type="submit" value="Submit"/>
</form>

在IE和firefox下均测试通过。

• 搜狐网站诚聘Java、PHP和C++工程师
• 快来参加7月17日在成都举行的SOA中国技术论坛
• JavaEye问答大赛开始了！ 从6月23日 至 7月6日，奖品丰厚 ！
• 北京: 千橡集团暨校内网诚聘软件研发工程师
• Oracle专区上线，有Oracle最新文章，重要下载及知识库等精彩内容，欢迎访问。

参照上面的第一个文档，这个filter很好写：

public void doFilter(ServletRequest servletRequest,
                       ServletResponse servletResponse,
                       FilterChain filterChain) throws
      IOException, ServletException {
    if(servletRequest.getCharacterEncoding()==null){
      String encoding = servletRequest.getParameter("_charset_");
      if(encoding == null){
        encoding = _defaultEncoding;
      }
      if (encoding != null) {
        servletRequest.setCharacterEncoding(encoding);
        if(LOG.isDebugEnabled()){
          LOG.debug("Set request encoding to:"+encoding);
        }
      }
    }
    filterChain.doFilter(servletRequest, servletResponse);
  }

这段代码在weblogic8下面应用良好，gbk编码的网页很好的提交到一个utf-8编码的servlet应用，没有其他的额外转码工作。

当移植到tomcat6下面时，乱码问题出现了。即使通过一个utf-8编码的网页来提交依然乱码，request中的数据是iso-8859-1编码。很久没有碰到过乱码问题了，于是我又不自信起来，找了每个环节的问题。最后终于发现是这个filter没有遵循一个servlet规范，ServletRequest的文档中说：

setCharacterEncoding

public void setCharacterEncoding(java.lang.String env)
                          throws java.io.UnsupportedEncodingException

Overrides the name of the character encoding used in the body of this request. This method must be called prior to reading request parameters or reading input using getReader().

Parameters:

a - String containing the name of the chararacter encoding.

Throws:

java.io.UnsupportedEncodingException - if this is not a valid encoding

我错了，光看方法名字就开练，api文档看得不够仔细。在这次迁移工作中，学了这么一个servlet规范。

• 快来参加7月17日在成都举行的SOA中国技术论坛
• 北京: 千橡集团暨校内网诚聘软件研发工程师
• Oracle专区上线，有Oracle最新文章，重要下载及知识库等精彩内容，欢迎访问。
• 搜狐网站诚聘Java、PHP和C++工程师
• JavaEye问答大赛开始了！ 从6月23日 至 7月6日，奖品丰厚 ！

• 快来参加7月17日在成都举行的SOA中国技术论坛
• 搜狐网站诚聘Java、PHP和C++工程师
• Oracle专区上线，有Oracle最新文章，重要下载及知识库等精彩内容，欢迎访问。
• JavaEye问答大赛开始了！ 从6月23日 至 7月6日，奖品丰厚 ！
• 北京: 千橡集团暨校内网诚聘软件研发工程师