このエントリーをはてなブックマークに追加

pacemaker

概要

Pacemaker元々Heartbeateの機能の一部でした。
Heartbeatのバージョン3へのアップデートでクラスタリソースマネージャ(CRM)機能が独立しPacemakerとして分離しました。
またリリース自体も別になりました。
そのためPacemaker単体ではHigh Availabilityを実現することは出来ません。
最低限、Heartbeat3もしくはCorosyncと組み合わせる事が必要です。
まだ、Corosyncは発展段階なのでHeartbeat3と組み合わせることが現状は無難かもしれません。
また、ネットワークを通じてディスクをミラーリングするDRBDとの組み合わせも有名です。
今だとGlusterFSと組み合わせるほうがお手軽かもしれません。

冗長構成

基本構成は運用系と待機系で構成する 1+1 構成です。
複数台(N)の運用系ノードに対し待機系ノードも複数台(M)にするN+M構成を構築する事も勿論可能です。
ここでは基本構成を設定します。

インストール

インストールは構成サーバ全てのサーバで行います。
インストール自体どのようなサービスを冗長化するのかには関係なく同じ方法です。
Liunx-HA Japanからローカルリポジトリを利用することでPacemakerのインストールだけでなくHeartbeat3、Corosyncなど必要なライブラリもインストールされますので利用します。

Liunx-HA Japanからローカルリポジトリをダウンロード

以下のURLで最新のものを確認して使用します。
<Linux-HA Japan http://sourceforge.jp/projects/linux-ha/releases/?package_id=11413>_
# cd /usr/local/src
# yum install wget -y
# wget "http://sourceforge.jp/frs/redir.php?m=iij&f=%2Flinux-ha%2F56470%2Fpacemaker-1.0.12-1.2.el6.x86_64.repo.tar.gz"
# tar zxvf pacemaker-1.0.12-1.2.el6.x86_64.repo.tar.gz
# cd pacemaker-1.0.12-1.2.el6.x86_64.repo

リポジトリの場所を書き換え

/tmpにダウンロードするのが前提みたいですが、ここでは/usr/local/srcに移動していますのでパスを書き換えます。

# vi pacemaker.repo
baseurl=file:///tmp/pacemaker-1.0.12-1.2.el6.x86_64.repo/
↓上記をコメントして以下を記述
baseurl=file:///usr/local/src/pacemaker-1.0.12-1.2.el6.x86_64.repo/

パッケージをインストール

yumを利用できない環境にインストールする場合は、利用できる環境で予めyumdownloaderで依存関係のあるファイルも全てダウンロードしておけばよいでしょう。
コンフィグを指定してローカルリポジトリからインストールするようにします。
# yum -c /usr/local/src/pacemaker-1.0.12-1.2.el6.x86_64.repo/pacemaker.repo install corosync heartbeat pacemaker pm_extras -y

yumによる自動アップデート設定停止

せっかく利用したリポジトリでなくyumのアップデートによりアップデートされるのを防ぎます。
# vi /etc/yum.conf
#最下行に以下を記述
exclude=pacemaker pacemaker-libs corosync cluster-glue heartbeat resource-agents

自動起動設定のオフ

corosyncとpacemakerは自動起動になってませんので変更の必要がありません。
ここで自動起動をオフにする意味は障害が発生したノードが起動してきた場合にクラスタに自動参加しておかしな状態にならないようにする為です。
# chkconfig heartbeat off

設定

ここでは、インフラにはcorosyncでなくheartbeatを利用します。
heartbeatを利用するためには以下の4ファイルを設定する必要があります。
但し、最初に作成する必要があるファイルはcib.xml以外の3ファイルになります。
ファイル名 内容 概要
/etc/ha.d/ha.cf クラスタ基本設定ファイル クラスタ・ノードやハートビート通信に関する設定などを記述します。
/etc/ha.d/authkeys ハートビート認証設定ファイル ハートビート通信の認証に関する設定を記述します。
/etc/logd.cf ログ出力設定ファイル ログの出力先やデバッグレベルに関する設定を記述します。
/var/lib/heartbeat/crm/cib.xml 構成フォーマット サービス、ノードの情報が記述されるファイルです。

クラスタ基本設定ファイル(ha.cf)の設定

アクティブ・スタンバイの両ノードにクラスタ基本設定ファイル(ha.cf)を作成します。
ほとんど同じで問題ないですが、IPアドレスは適宜変更する必要があります。
またHeartbeat(ノード間の通信)に関するポートはiptablesの設定が必要です。
説明用のコメントは入れていると挙動がおかしくなるかもしれませんので削除しておいて下さい。
# vi /etc/ha.d/ha.cf

pacemaker on                   #Pacemakerの有効化(yesでも可)
#crm on                        #クラスタマネージャの有効化(yesでも可) heartbeat2系まではこちらの設定
use_logd off                   #ログデーモンの利用の可否を指定
logfile /var/log/ha-log        #ログの出力先を指定(use_logd on の場合は/etc/logd.cfに記述)
debugfile /var/log/ha-debug    #デバッグログの出力先を指定(use_logd on の場合は/etc/logd.cfに記述)
logfacility none               #ログをsyslogに送る際に使用するファシリティ(シスログへ出力させない場合はnoneとする)
                               #use_logd on の場合は/etc/logd.cfに記述
debug 0                        #デバッグは通常運用では0を指定する
keepalive 2                    #ノード間死活監視時間間隔(秒)
deadtime 30                    #ノードダウン検知時間(秒)
warntime 10                    #相手ホストがダウンしたと警告を出すまでの時間
initdead 120                   #初期起動時、ハートビート監視を開始するまでの時間
auto_failback off              #自動フェールバックのon/off(効かないためcib.xmlでも設定は必要)
autojoin none                  #ノードの自動参加
                               #none: 自動参加を無効にする。
                               #other: ha.cfに含まれない自分以外のノードに自動参加を許可する。
                               #つまり、自分のノードはha.cfに含まれていなければならないが、ほかのノードは含まれていなくてもよい。
                               #any: ha.cfに含まれない全てのノードに(現在のノードにも)自動参加を許可する。
mcast eth0 239.10.10.1 694 1 0 #694 => port #1   => ttl(サブネットのみの場合は1にする) 通常はeth0もしくはbond0などを指定
node stack01                   #クラスタノードを指定(uname -nの結果を記述)
node stack02
uuidfrom nodename              #uuidをノード名から決定する(/var/lib/heartbeat/hb_uuidがある場合は削除)
#udpport 694                   #ブロードキャスト/ユニキャスト利用時のポート番号
#baud 19200                    #シリアルのポートレート
#serial /dev/ttyS0             #シリアルのデバイス
#ucast eth0 192.168.100.2      #ハートビートをユニキャストで行う場合のデバイスと相手先IP
#bcast eth0                    # ブロードキャスト使用ネットワークインタフェース名
watchdog /dev/watchdog         #heartbeat自身のプロセス異常時にシステムを再起動する(yum install watchdog)
#respawn root /usr/lib/heartbeat/pingd -m 100 -a default_ping_set #pingdの指定、libとなっている箇所は64bitの場合はlib64
#ping 192.168.10.1             #ネットワーク疎通確認先ノード(通常はL2SWなどを指定)

ハートビート認証設定ファイル(authkeys)の設定

こちらも両方のノードで作成します。
暗号化方式には【sha1】【md5】【crc】が使用可能です。
ここでは【sha1】を利用します。特にどれでも問題はないでしょう。
Fulltrustの部分は特に制限などはありませんが両方のノードで合わせましょう。
# vi /etc/ha.d/authkeys
auth 1
1  sha1 Fulltrust

セキュリティのためパーミッションを変更

# chmod 600 /etc/ha.d/authkeys

ログ出力設定ファイル(logd.cf)の設定

/etc/ha.d/ha.cfの設定の中で use_logd on の場合のみ記述が必要です。
そうでない場合は直接ha.cfの中に記述します。
コメント部分は削除しておきましょう。
# vi /etc/logd.cf
logfile /var/log/ha-log     #ログの出力先を指定
debugfile /var/log/ha-debug #デバッグログの出力先を指定
logfacility none            #ログをsyslogに送る際に使用するファシリティ(シスログへ出力させない場合はnoneとする)

iptablesの設定

Heartbeatの通信用ポートUDP694番を開放しておきます。
# vi /etc/sysconfig/iptables

下記を -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT の次の行あたりに追加

-A INPUT -m state --state NEW -m udp -p udp --dport 694 -j ACCEPT

Heartbeatの起動

アクティブ・スタンバイの両ノードで起動します。

# service heartbeat start

状態確認

オプション-fAで確認します。

f オプションは,リソースの故障状態の表示 A オプションはインターコネクトLANの状態や,ネットワーク監視の状態を表示

# crm_mon -fA
============

Last updated: Tue Aug 9 13:30:06 2011 Stack: Heartbeat Current DC: kensyou02.fulltrust.co.jp (e5ae8388-bd4b-4471-a1f5-88c646b8d4ee) - p artition with quorum Version: 1.0.11-1554a83db0d3c3e546cfd3aaff6af1184f79ee87 2 Nodes configured, unknown expected votes 0 Resources configured. ============

Online: [ kensyou01.fulltrust.co.jp kensyou02.fulltrust.co.jp ]

Node Attributes: * Node kensyou01.fulltrust.co.jp: * Node kensyou02.fulltrust.co.jp:

Migration summary: * Node kensyou01.fulltrust.co.jp: * Node kensyou02.fulltrust.co.jp:

Heartbeatの停止 アクティブ・スタンバイの両ノードで停止します。 出来ればスタンバイ側のノードから停止しましょう。

# /etc/init.d/heartbeat stop リソース設定①(仮想IP) まずは、仮想IPアドレスをリソースとして設定します。

リソース設定には種類が幾つかあります。

primitive すべてのリソース設定の最小単位。RAはまずprimitive設定することから始まります。 clone 同じ設定のリソースを複数のノードで動作させたい場合に使用します。 primitive 設定後にclone化します。 ネットワーク監視,ディスク監視などで使用します。 group 複数のリソースをまとめてフェイルオーバさせるために使用します。 group内のprimitiveには,起動/停止時の順序も合わせて設定されます。 仮想IPアドレスのリソース設定にはgroupを利用します。 また、リソース設定にはcrmコマンドを利用します。 引数なしで実行すると対話モードになります。 モードにはワンライナーモードと、バッチモードが他にあります。

バッチモード例 # crm <<EOF node show EOF

ワンライナーモード例 # crm node show クラスタ全体の設定 1行目 クラスタ全体に関係する設定

no-quorum-policy 3サーバ以上の構成で,クラスタに参加するサーバ数が過半数に満たない場合の動作ポリシーを指定。 2サーバの場合はignoreを設定する。 stonith-enabled STONITH機能を有効にするかどうかを指定する。

2行目 リソース動作のデフォルト値を設定

resource-stickiness リソース移動を固定する優先度を指定。 INFINITYを指定すると不具合のない限りは稼働中のリソースは移動せず,自動フェイルバックなしの動作に相当します。 migration-threshold 故障を検知した場合に同一サーバでリソースの再起動を試みる回数を指定する。

コマンドを実行する アクティブノード側だけで行えばスタンバイノードに反映されます。 heartbeatの起動中に行います。

# crm configure property no-quorum-policy=”ignore” stonith-enabled=”false” # crm configure rsc_defaults resource-stickiness=”INFINITY” migration-threshold=”-INFINITY” # crm configure rsc_defaults resource_failure_stickiness=”-INFINITY” RA(リソースエージェント)の設定 RAの設定は crm configure primitive で行います。

# crm configure primitive help 使用方法(usage) usage: primitive <rsc> [<class>:[<provider>:]]<type>

[params <param>=<value> [<param>=<value>...]] [meta <attribute>=<value> [<attribute>=<value>...]] [operations id_spec

[op op_type [<attribute>=<value>...] ...]]

各項目の意味 <rsc> リソースの名前を指定 <class> lsb, ocfまたはstonithを指定(Pacemakerでは通常はocf仕様のRAを使用します) <provider> 標準では,heartbeatまたはpacemakerを指定 <type> RA名を指定 <params> RAの設定パラメータを指定 <op> start,monitor,stopなどのPacemakerからのコマンドに対する設定を指定 RA名 Pacemakerには予めApacheやPostgreSQL, Tomcat、ファイルシステム、Ping監視、IpAddr2などいろんなRAが用意されています。 RAの確認

# ls /usr/lib/ocf/resource.d/heartbeat/ 設定するRAについて リソース名は特に制限はありません。今回はvipとしてます。

リソース リソース名 RA名 設定情報を表示するコマンド 仮想 vip IPaddr2 crm ra info IPaddr2 仮想IPを設定 ip、nic、netmaskは適宜変更する必要があると思います。 このコマンドの実行もアクティブノードだけで問題ありません。

# crm configure primitive vip ocf:heartbeat:IPaddr2 params ip=”192.168.10.57” nic=”eth0” cidr_netmask=”24” op monitor interval=”10s” 設定確認 状態確認 crm_monコマンドで状態を確認します。 # crm_mon -fA ============ Last updated: Tue Aug 9 14:07:58 2011 Stack: Heartbeat Current DC: kensyou02.fulltrust.co.jp (e5ae8388-bd4b-4471-a1f5-88c646b8d4ee) - partition with quorum Version: 1.0.11-1554a83db0d3c3e546cfd3aaff6af1184f79ee87 2 Nodes configured, unknown expected votes 1 Resources configured. ============

Online: [ kensyou01.fulltrust.co.jp kensyou02.fulltrust.co.jp ]

vip (ocf::heartbeat:IPaddr2): Started kensyou01.fulltrust.co.jp

Node Attributes: * Node kensyou01.fulltrust.co.jp: * Node kensyou02.fulltrust.co.jp:

Migration summary: * Node kensyou01.fulltrust.co.jp: * Node kensyou02.fulltrust.co.jp:

仮想IPの確認 RAをIPaddrで設定した場合はifconfigで仮想IPの確認が出来ますがIPaddr2の場合はipコマンドでしか確認できません。 IPaddr2の場合はスイッチに向かってきっちりグラシャスアープを投げるのでこちらを使用したほうがいいでしょう。 但し、確認が難点ですが。 # ip addr show 仮想IPへログイン確認 ログイン先はアクティブノードで有ることを確認します。 # ssh 192.168.10.57 # hostname # exit アクティブノード側のHeartbeatを停止 リソースの移動でもいいのですがわかりやすい停止で確認します。 # /etc/init.d/heartbeat stop 仮想IPがスタンバイノード側へ移動したことを確認 # ssh 192.168.50.57 # hostname # exit アクティブノード側のHeartbeatを起動 # /etc/init.d/heartbeat start スタンバイ側のHeartbeatを再起動 # /etc/init.d/heartbeat restart リソース設定②(Apache) Apacheをリソースとして冗長化の設定を行います。

Apacheのインストール クラスタノード全てでインストールします。 # yum instalal httpd Apacheの起動はHeartbeatが行いますので自動起動はオフのままで問題ありません。 オンになっている場合はオフに変更しておきます。 iptablesの設定 TCP80番ポートを開放しておきます。 # vi /etc/sysconfig/iptables #下記を適当な箇所に追加 -A INPUT -m state –state NEW -m tcp -p tcp –dport 80 -j ACCEPT #UDP694番ポートを開放していない場合は開放 -A INPUT -m state –state NEW -m udp -p udp –dport 694 -j ACCEPT

アクティブノードのhttpd設定 serviceの文言をステータス確認に使用します。 # vi /var/www/html/index.html node1 service ok

スタンバイノードのhttpd設定 serviceの文言をステータス確認に使用します。 # vi /var/www/html/index.html node2 service ok

両ノードのApacheを設定 # vi /etc/httpd/conf/httpd.conf 922行目のサーバーステータスの設定のコメントを外す。 また.example.comを127.0.0.1に変更 <Location /server-status>

SetHandler server-status Order deny,allow Deny from all #Allow from .example.com Allow from 127.0.0.1

</Location>

設定するRAについて リソース名は特に制限はありません。今回はapacheとしてます。

リソース リソース名 RA名 設定情報を表示するコマンド Apache httpd apache crm ra info apache ApacheのRAを設定 コンフィグの場所などを変更している場合は変更する必要があります。 このコマンドの実行は、アクティブノードだけで問題ありません。

# crm configure primitive httpd ocf:heartbeat:apache params configfile=”/etc/httpd/conf/httpd.conf” statusurl=”http://localhost/” testregex=”service” op monitor interval=”10s” グループの設定 仮想IPとApacheは常に同じサーバで動作させるためグループにします。

# crm configure group web vip httpd 設定確認 アクティブノード側でApacheをkillしてスタンバイ側にサービスが移行することを確認 # pkill httpd リソース設定③(ネットワーク監視) ネットワーク到達性を監視する設定を追加する。

設定するRAについて リソース名に特に制限はありません。今回はpingとします。

リソース リソース名 RA 設定情報の表示コマンド ネットワーク監視 ping pingd crm ra info ocf:pacemaker:pingd ネットワーク監視を設定 ネットワーク監視はすべてのサーバで動いている必要があるのでclone設定を使用します。

# crm configure primitive ping ocf:pacemaker:pingd params name=”default_ping_set” host_list=”192.168.10.1” multiplier=”100” dampen=”1” op monitor interval=”10s” # crm configure clone clone_ping ping 状態確認 # crm_mon -fA ============ Last updated: Tue Aug 9 18:12:59 2011 Stack: Heartbeat Current DC: kensyou02.fulltrust.co.jp (e5ae8388-bd4b-4471-a1f5-88c646b8d4ee) - partition with quorum Version: 1.0.11-1554a83db0d3c3e546cfd3aaff6af1184f79ee87 2 Nodes configured, unknown expected votes 2 Resources configured. ============

Online: [ kensyou02.fulltrust.co.jp kensyou01.fulltrust.co.jp ]

Clone Set: clone_ping
Started: [ kensyou02.fulltrust.co.jp kensyou01.fulltrust.co.jp ]
Resource Group: web
vip (ocf::heartbeat:IPaddr2): Started kensyou01.fulltrust.co.jp httpd (ocf::heartbeat:apache): Started kensyou01.fulltrust.co.jp

Node Attributes: * Node kensyou02.fulltrust.co.jp:

  • default_ping_set : 100
  • Node kensyou01.fulltrust.co.jp:
    • default_ping_set : 100

host_listで指定されたIPアドレスにICMPパケットを送信しネットワークの到達性を確認します。 OKならdefault_ping_setにmultiplierの値がセットされます。 NGなら,default_ping_setの値は 0 になります。

ネットワーク監視に失敗したサーバではApacheは動作しないように設定 default_ping_setが正常値(100)より小さい場合、そのサーバではリソースは動作しないという条件を設定します。

# crm configure location web_location web rule -inf: not_defined default_ping_set or default_ping_set lt 100 リソース設定⑤(GlusterFS+PostgreSQL) Heartbeatのインストールリソース設定①の仮想IPの設定まで、GlusterFS、PostgreSQLのインストールは終わっているものとします。

GlusterVolumeのマウント用スクリプトの作成 # vi /etc/init.d/glmount #!/bin/bash

MOUNTPOINT=/share # マウントポイント(実際にファイルを読み書きするディレクトリ) GLVOL=localhost:gluster_vol #Gluster Volume(Gluster Volume作成時に指定したもの)

start() {

status rc=$? if [[ $rc -eq 0 ]]; then

RETVAL=0
else
mount -t glusterfs -o log-level=WARNING,log-file=/var/log/gluster.log $GLVOL $MOUNTPOINT RETVAL=$?

fi

}

stop() {

status rc=$? if [[ $rc -eq 0 ]]; then

umount $MOUNTPOINT
# RETVAL=$?
RETVAL=0 # ignore umount failure
else
RETVAL=0

fi

}

status() {
mount | grep $MOUNTPOINT >/dev/null 2>&1 return $?

}

restart() {
stop start

}

selfheal() {

status rc=$? if [[ $rc -eq 0 ]]; then

echo “You should unmount the shared fs first.” RETVAL=1
else
start find $MOUNTPOINT -noleaf -print0 | xargs –null stat stop RETVAL=0

fi

}

case “$1” in
start)
start ;;
stop)
stop ;;
restart)
restart ;;
status)
status ;;
selfheal)
selfheal ;;
*)
echo $”Usage: $0 {start|stop|restart|status|selfheal}” RETVAL=2

esac exit $RETVAL

PostgreSQLの設定(node1) PostgreSQLの起動は、Pacemakerによって管理するため自動起動設定はoffにしておきます。

# chkconfig postgresql off GlusterFS上にDBを作成する設定を行います。 共有ディレクトリになる場所を指定します。

# echo “PGDATA=/share/pgsql/data” > /etc/sysconfig/pgsql/postgresql # /etc/init.d/glmount start # mkdir /share/pgsql # chown postgres:postgres /share/pgsql # chmod 700 /share/pgsql # su - postgres $ initdb –encoding=UNICODE –no-locale -D /share/pgsql/data $ vi /share/pgsql/data/postgresql.conf #listen_addresses = ‘localhost’ # what IP address(es) to listen on; ↓59行目辺り: そのままだと127.0.0.1からしか接続できないため全てのアクセスを受け付ける listen_addresses = ‘*’ アクセス出来るNWを限定 $ vi /share/pgsql/data/pg_hba.conf ↓#最終行に追加:内部LANからは許可し、それ以外の場所はパスワード認証とする host all all 192.168.0.0/16 trust host all all 0.0.0.0/0 md5 $ exit # /etc/init.d/postgresql start # /etc/init.d/postgresql stop # /etc/init.d/glmount stop PostgreSQLの設定(node2) セカンダリノードのほうもPostgreSQLの設定を行います。

# echo “PGDATA=/share/pgsql/data” > /etc/sysconfig/pgsql/postgresql # /etc/init.d/glmount start # /etc/init.d/postgresql start # /etc/init.d/postgresql stop # /etc/init.d/glmount stop ここまでで、手動であればGlusterFSの共有ディレクトリでPostgreSQLが起動するようになりました。

Pacemakerの設定 あとは、Pacemakerのリソースには既に仮想IPの冗長は組まれているのでGlusterFSとPostgreSQLを登録すればOKになります。

GlusterFSマウントのRAを設定 # crm configure primitive glmount lsb:glmount

op start interval=”0s” timeout=”60s” op monitor interval=”5s” timeout=”20s” op stop interval=”0s” timeout=”60s”

PostgreSQLのRAを設定 # crm configure primitive pgsql ocf:heartbeat:pgsql

params pgdata=”/share/pgsql/data” op monitor interval=”120s” timeout=”60s” op start interval=”0” timeout=”120” op stop interval=”0” timeout=”120s”

RAのグループと起動順序を設定 グループの起動順は何も設定しないと左から順番です。

# crm configure group gluster_pgsql_vip_group vip glmount pgsql RAのプライマリサーバを設定 crm configureでコンフィグモードで行わないとエラーになります。バグ?

crm configure

location gluster_pgsql_vip_group_location gluster_pgsql_vip_group
rule 200: #uname eq kensyou01.fulltrust.dyndns.org rule 100: #uname eq kensyou02.fulltrust.dyndns.org

commit DRBDよりお手軽で冗長構成が取れるのでこちらのほうがオススメです。

リソースの初期化① 初期化を行う場合の手順です。 こちらはファイルを削除して行います。

全クラスタノードのHeartbeatを停止 # /etc/init.d/heartbeat stop 設定ファイルを削除 # rm -f /var/lib/heartbeat/crm/* 全クラスタノードのHeartbeatを起動 リソースの初期化② すべてのサーバのリソースを停止 クラスタノード全てをスタンバイにする。

# crm node standby pm01 # crm node standby pm02 リソース設定を削除 # crm configure erase 全てのサーバをオンライン状態に戻す # crm node online pm01 # crm node online pm02 crmコマンドについて リソースのスイッチオーバー クラスタのスタンバイにするだけの場合はunmigrateコマンドを実施すること

# crm resource migrate <resource name> HAクラスタへの復帰 migrateコマンドを実施したままだとクラスタ管理外になりますのでスイッチオーバーを実施したクラスタノードで必ず実行しておきます。 メンテナンスモードのままでいい場合は特に問題ありません。

# crm resource unmigrate <resource name> 監視処理の一時停止(メンテナンスモード) メンテナンスモード開始 start/stop/monitor 処理が停止します。

# crm configure property maintenance-mode=true メンテナンスモード終了 # crm configure property maintenance-mode=false トラブルシューティング STONITHのエラー 以下のようなエラーが出力された場合の対処方法

crm_verify[17723]: 2011/08/09_16:00:13 ERROR: unpack_resources: Resource start-up disabled since no STONITH resources have been defined crm_verify[17723]: 2011/08/09_16:00:13 ERROR: unpack_resources: Either configure some or disable STONITH with the stonith-enabled option crm_verify[17723]: 2011/08/09_16:00:13 ERROR: unpack_resources: NOTE: Clusters with shared data need STONITH to ensure data integrity Errors found during check: config not valid

-V may provide more details

以下のコマンドでクリア [#a2bd6708] # crm configure property stonith-enabled=false 問題が無いか確認 [#k6a24e94] # crm_verify -L 外部リンク LINUX-HA JAPAN ClusterDocument