Getting Data In

ログの生成時間範囲について

appleman
Contributor

下記ログの生成時間設定について質問があります。

現在DB Connectを通してtailでデータをSplunkに取り込んでいるログがあります。
rising columnとしてupdate_dateを設定しており、こちらは10秒間に1回更新されます。
これが更新されるたびにデータ自体は上書きされてしまいます。
そうすると、splunkにデータが転送される前に情報がかき変わってしまうのではないかと思われるのですが、
これを回避する為には、ログの生成時点での間隔をどれぐらいに設定すればいいのでしょうか。

こちらで確認したことは、5秒間の間にpendingとsuccessが元のログ上で出ているのにも関わらず、splunkのログではsuccessしか出ていませんでした。
このようなデータの欠損を避けるにはどうしたらよいでしょうか。

0 Karma
1 Solution

melonman
Motivator

データ欠損ではないと思いますが、DB上で該当箇所の情報にUpdateがかかるタイミングと、DB ConnectによってSelectしにいくタイミングによって、更新後のデータのみが取得されるのは、DB Connectの仕組み上十分考えられる状態です。
DB Connect側のSelect発行間隔を10秒から5秒にかえても、その5秒の間に、情報がPendingからSuccessなどに書き換わってしまった場合、DB Connectは、Selectを発行した時点の情報を取りに行くので、Successの情報のみが取得されます。

おそらくお使いのDBでは、ある瞬間の情報を保持するようになっているとおもいますが、確実に、システムでの変更の推移を取得するためには、DBの更新ではなく、システムから状態が変化するたびにlogなどに記録しておくこと等が必要になると思います。

View solution in original post

melonman
Motivator

データ欠損ではないと思いますが、DB上で該当箇所の情報にUpdateがかかるタイミングと、DB ConnectによってSelectしにいくタイミングによって、更新後のデータのみが取得されるのは、DB Connectの仕組み上十分考えられる状態です。
DB Connect側のSelect発行間隔を10秒から5秒にかえても、その5秒の間に、情報がPendingからSuccessなどに書き換わってしまった場合、DB Connectは、Selectを発行した時点の情報を取りに行くので、Successの情報のみが取得されます。

おそらくお使いのDBでは、ある瞬間の情報を保持するようになっているとおもいますが、確実に、システムでの変更の推移を取得するためには、DBの更新ではなく、システムから状態が変化するたびにlogなどに記録しておくこと等が必要になると思います。

appleman
Contributor

了解致しました。ご回答ありがとうございました。

0 Karma
Get Updates on the Splunk Community!

More Ways To Control Your Costs With Archived Metrics | Register for Tech Talk

Tuesday, May 14, 2024  |  11AM PT / 2PM ET Register to Attend Join us for this Tech Talk and learn how to ...

.conf24 | Personalize your .conf experience with Learning Paths!

Personalize your .conf24 Experience Learning paths allow you to level up your skill sets and dive deeper ...

Threat Hunting Unlocked: How to Uplevel Your Threat Hunting With the PEAK Framework ...

WATCH NOWAs AI starts tackling low level alerts, it's more critical than ever to uplevel your threat hunting ...