インデクサークラスター環境においてインデックスが重複する

[ryoshikawa]

インデクサー2台でインデクサークラスター構成を組んでいます。Replication Factor:2 Search Factor:2 ※SmartStore利用
ピアノードの再起動後、イベントの重複が発生しております。（splunk_serverのみが異なるイベントが検索結果として2倍得られる）

2台のインデクサーのsplunk/var/lib/splunk/defaultdb/db配下を確認したところrb*のバケットが存在せず、
正常にレプリケーションが行われていないように思えます。他のインデックスも同様の状況となります。

db_XXXXXXXXXX_XXXXXXXXXX_XX_IDX1
db_XXXXXXXXXX_XXXXXXXXXX_XX_IDX2

インデクサークラスターのステータスも正常であり、特にErrorのログも見受けられません。
確認すべき設定、対処方法をご教示頂けないでしょうか。

[skakehi_splunk]

＞検索結果が重複する
Search Headのserver.confにCluster MasterのURIが設定されていない可能性があります。
ご確認いただき、設定されていない場合は下記の設定・参考URLをご参照ください。
（参考）https://docs.splunk.com/Documentation/Splunk/8.0.1/Indexer/Configuresearchheadwithserverconf

[clustering]
master_uri = https://xxx.xxx.xxx.xxx:8089
mode = searchhead
pass4SymmKey = whatever

＞レプリケーションが行われていない
SmartStoreを利用している場合は、Index管理方法が従来と異なります。
Warmバケツの冗長化はリモートストア側が担うため、Warmバケツの複製（rb_*）はIndexer側では行われません。
レプリケーション処理は、Hotバケツに対して行われており、バケツステータスがWarmに遷移するとリモートストアにデータがコピーされ、以降はリモートストア側がマスターデータとして扱われます。

[skakehi_splunk]

SmartStoreの説明についてはこちらもご参照ください。
https://docs.splunk.com/Documentation/Splunk/8.0.1/Indexer/SmartStorearchitecture

• Buckets and SmartStore
• Indexer clusters

[ryoshikawa]

回答ありがとうございます。現在も状況に改善がなく困っております。

＞検索結果が重複する
Search Headのserver.confにはCluster MasterのURIを設定しています。
また、Cluster MasterからもSearch Headとして正常に認識をされております。
バケットのレプリケーションに問題がないとすると、その他観点として確認すべき項目はありませんでしょうか。なお、データ取り込み後、サーバの再起動を行っていない期間のデータに重複は見られず、再起動以前のデータのみ重複していることが確認されます。ただし、_auditにおいてはサーバ再起動以前のデータにも重複が見られません。

＞レプリケーションが行われていない
SmartStoreを利用している場合のIndex管理方法についてご説明ありがとうございます。
内容について承知しました。

[skakehi_splunk]

確認と情報連携ありがとうございます。下記２点について教えてください。
・利用されているSplunkバージョン
・事象発生前後（再起動）での、設定変更等の有無、および変更内容

[ryoshikawa]

ご連絡ありがとうございます。以下の通り回答します。

・利用されているSplunkバージョン
Version:7.3.0

・事象発生前後（再起動）での、設定変更等の有無、および変更内容
直近の再起動では特に設定の変更は行っておりません。気づいたことが最近ではありますが、事象は以前から発生していたと考えられ、過去には以下の変更を行っております。
Search Factor:2→1
Search Factor:1→2

※２台構成でのIndexer環境の文章が見つけられず、上記のようなClusterの設定変更は構築当初(2019/10)、数回変更を行っております。