Splunk Search

CSVで取り込んだデータのの一部が欠損する

jacomharada
Explorer

パケットキャプチャデータをCSVに変換した後Splunkにコマンドラインにてoneshotでデータを入力するとデータが欠損したようになります。
取り込んだデータ配下のようになっており、★が付いている箇所について取り込むとデータがサーチを書いても表示ができずデータが欠損したような形になります。

time,frame.protocols,ip.version,ip.src,ipv6.src,ip.dst,ipv6.dst,ip.ttl,ipv6.hlim,ip.dsfield.dscp,pv6.traffic.class.dscp,udp.srcport,tcp.port,udp.dstport,tcp.dstport,udp.checksum,tcp.checksum,icmp.checksum,icmpv6.checksum,pim.cksum,eth.src,eth.dst,frame.len,frame.number,Information
1471588655.220078000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,64,,0x00,,63,,400,,0x137c,,,,,00:00:00:0b:42:1e,00:25:5c:d4:b6:cf,996,1,
1471588655.221088000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,63,,0x00,,63,,400,,0x137c,,,,,00:25:5c:d4:b6:da,00:25:5c:d4:b7:e5,996,2,★
1471588655.221670000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,62,,0x00,,63,,400,,0x137c,,,,,00:25:5c:d4:b8:26,00:00:00:0b:28:76,996,3,★
1471588655.319227000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,64,,0x00,,63,,400,,0x7995,,,,,00:00:00:0b:42:1e,00:25:5c:d4:b6:cf,996,4,
1471588655.319998000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,63,,0x00,,63,,400,,0x7995,,,,,00:25:5c:d4:b6:da,00:25:5c:d4:b7:e5,996,5,★
1471588655.320761000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,62,,0x00,,63,,400,,0x7995,,,,,00:25:5c:d4:b8:26,00:00:00:0b:28:76,996,6,★
・・・

CSVのファイルで前半部分は上記のような欠損の状態になりますが、後半部分についてはすべてのイベントが見える形になります。

SplunkのversionはSplunk 6.3.2 (build aaff59bb082c)です。

回答の程よろしくお願い致します。

0 Karma
1 Solution

jacomharada
Explorer

自己解決しました。
どうやらMACアドレスの一部が時刻と誤認識して別な時刻に登録されていたようです。
00:00:00:0b:28:76→00:00:00→0時0分0秒

Thanks!

View solution in original post

jacomharada
Explorer

自己解決しました。
どうやらMACアドレスの一部が時刻と誤認識して別な時刻に登録されていたようです。
00:00:00:0b:28:76→00:00:00→0時0分0秒

Thanks!

jkat54
SplunkTrust
SplunkTrust

あなたは何props.conf設定を持っていますか?

0 Karma

jacomharada
Explorer

回答有り難うございます。

props.confは以下のようになっております。
デフォルトのCSVのprops.confから名前を変えただけだと記憶しております。
ソースタイプなどの名前は変えてあります。

[hogehoge]
DATETIME_CONFIG =
INDEXED_EXTRACTIONS = csv
KV_MODE = none
NO_BINARY_CHECK = true
SHOULD_LINEMERGE = false
category = Structured
description = hoge hoge
disabled = false

よろしくお願いいたします。

0 Karma

jkat54
SplunkTrust
SplunkTrust

私の方もお会いできてうれしいです。

あなたはそれがSplunkのために追加したときにどのようなデータから欠落していますか?

0 Karma
Get Updates on the Splunk Community!

Enterprise Security Content Update (ESCU) | New Releases

Last month, the Splunk Threat Research Team had two releases of new security content via the Enterprise ...

Detecting Remote Code Executions With the Splunk Threat Research Team

REGISTER NOWRemote code execution (RCE) vulnerabilities pose a significant risk to organizations. If ...

Observability | Use Synthetic Monitoring for Website Metadata Verification

If you are on Splunk Observability Cloud, you may already have Synthetic Monitoringin your observability ...