Getting Data In

ログの生成時間範囲について

appleman
Contributor

下記ログの生成時間設定について質問があります。

現在DB Connectを通してtailでデータをSplunkに取り込んでいるログがあります。
rising columnとしてupdate_dateを設定しており、こちらは10秒間に1回更新されます。
これが更新されるたびにデータ自体は上書きされてしまいます。
そうすると、splunkにデータが転送される前に情報がかき変わってしまうのではないかと思われるのですが、
これを回避する為には、ログの生成時点での間隔をどれぐらいに設定すればいいのでしょうか。

こちらで確認したことは、5秒間の間にpendingとsuccessが元のログ上で出ているのにも関わらず、splunkのログではsuccessしか出ていませんでした。
このようなデータの欠損を避けるにはどうしたらよいでしょうか。

0 Karma
1 Solution

melonman
Motivator

データ欠損ではないと思いますが、DB上で該当箇所の情報にUpdateがかかるタイミングと、DB ConnectによってSelectしにいくタイミングによって、更新後のデータのみが取得されるのは、DB Connectの仕組み上十分考えられる状態です。
DB Connect側のSelect発行間隔を10秒から5秒にかえても、その5秒の間に、情報がPendingからSuccessなどに書き換わってしまった場合、DB Connectは、Selectを発行した時点の情報を取りに行くので、Successの情報のみが取得されます。

おそらくお使いのDBでは、ある瞬間の情報を保持するようになっているとおもいますが、確実に、システムでの変更の推移を取得するためには、DBの更新ではなく、システムから状態が変化するたびにlogなどに記録しておくこと等が必要になると思います。

View solution in original post

melonman
Motivator

データ欠損ではないと思いますが、DB上で該当箇所の情報にUpdateがかかるタイミングと、DB ConnectによってSelectしにいくタイミングによって、更新後のデータのみが取得されるのは、DB Connectの仕組み上十分考えられる状態です。
DB Connect側のSelect発行間隔を10秒から5秒にかえても、その5秒の間に、情報がPendingからSuccessなどに書き換わってしまった場合、DB Connectは、Selectを発行した時点の情報を取りに行くので、Successの情報のみが取得されます。

おそらくお使いのDBでは、ある瞬間の情報を保持するようになっているとおもいますが、確実に、システムでの変更の推移を取得するためには、DBの更新ではなく、システムから状態が変化するたびにlogなどに記録しておくこと等が必要になると思います。

appleman
Contributor

了解致しました。ご回答ありがとうございました。

0 Karma
Get Updates on the Splunk Community!

Introducing the 2024 SplunkTrust!

Hello, Splunk Community! We are beyond thrilled to announce our newest group of SplunkTrust members!  The ...

Introducing the 2024 Splunk MVPs!

We are excited to announce the 2024 cohort of the Splunk MVP program. Splunk MVPs are passionate members of ...

Splunk Custom Visualizations App End of Life

The Splunk Custom Visualizations apps End of Life for SimpleXML will reach end of support on Dec 21, 2024, ...