ES 5.2.0 からは、incident_review.xml は、< dashboard> から < view> に変更されましたので、SPLUNK_HOME/etc/apps/SA-ThreatIntelligence/local/data/ui/views 配下にカスタムの incident_review.xml は存在するかを確認してください。 カスタムの incident_review.xml が存在する場合、XML の内容を確認し、< dashboard>...< /dashboard> を < view>...< /view> に変更し、ESサーチヘッドを再起動してみてください。 ... View more

splunkweb が splunkd の management port（デフォルトではポート8089）に正しくアクセスできないときに、「500 Internal Server Error」エラーが表示されることがありますので、まずは telnet コマンドで management port にアクセスできることを確認してください。 以下の通りに「Connection refused」が表示される場合、何らかの理由で splunkd の management port にアクセスできないことを意味しますので、アクセスできない理由を特定する必要があります。 [splunk@llioulin01 ~]$ telnet 127.0.0.1 8089 Trying 127.0.0.1... telnet: connect to address 127.0.0.1: Connection refused なお、management port にアクセスできない原因は、firewall や antivirus にない場合、splunk 側の以下のパラメータを確認してください。 1) splunk では server.conf に「disableDefaultPort = true」を指定することにより、management port を無効にできますので、「disableDefaultPort = true」になっていないことを btool で確認してください。 btool で以下のような結果が表示された場合、「disableDefaultPort = true」を削除し、splunk を再起動してください。 $ /opt/splunk/bin/splunk cmd splunk btool server list --debug | grep disableDefaultPort /opt/splunk/etc/system/local/server.conf disableDefaultPort = true 2) web.conf 内の「tools.sessions.timeout」パラメータには、整数以外の値を設定していないことを確認してください。 例えば、「tools.sessions.timeout = 70s」が設定されている場合、「tools.sessions.timeout = 70」に変更し、splunk を再起動してください。 $ /opt/splunk/bin/splunk cmd splunk btool web list --debug | grep tools.sessions.timeout /opt/splunk/etc/system/local/web.conf tools.sessions.timeout = 70s ... View more

curl がインストールされている場合、以下のコマンドで、forwarder から indexer へのマネジメントポート（デフォルトでは 8089 ）にアクセスできるかを確認することができます。 fwd$ curl -v telnet://indexer.com:8089 補足1 :「indexer.com」を実際の indexer のホスト名または IP アドレスに置き換える必要があります。 補足2 :「8089」を実際の indexer のマネジメントポートに置き換える必要があります。なお、マネジメントポートは「./splunk show splunkd-port」を実行することで確認できます。 ... View more

Splunk が /opt/splunk にインストールされていると仮定し、以下の手順で jemalloc を採集できます。 1) 問題の splunk を停止してください。 $ /opt/splunk/bin/splunk stop 2) jemalloc 情報を格納するディレクトリを作成してください。 $ mkdir /tmp/output 3) 「MALLOC_CONF="prof:true,prof_accum:true,prof_leak:true,lg_prof_interval:28,prof_prefix:/tmp/output/heap_data」 を追加した状態で splunkd を起動してください。 補足1 : prof_prefix の /tmp/output/ は手順2で作成したディレクトリと一致する必要があります。 補足2 : lg_prof_interval は割り当てられた 2^lg_prof_interval バイト毎にダンプを作成しますので、「lg_prof_interval:28」の場合、2^28 = 268435456 バイト ( およそ 268 MB ) 毎にダンプを作成します。つまり、lg_prof_interval の数値が小さいほど、より多いダンプの数が作成されます。 $ MALLOC_CONF="prof:true,prof_accum:true,prof_leak:true,lg_prof_interval:28,prof_prefix:/tmp/output/heap_data" /opt/splunk/bin/splunk start splunkd 4) メモリ問題の再現後に splunk を停止し、「tar cvfz」コマンドでダンプ情報を圧縮し、サポートに提出してください。 $ /opt/splunk/bin/splunk stop $ tar cvzf heap.tar.gz /tmp/output ... View more

eustack は同等な情報を採集できます。 以下の手順で eustack をインストールし、スクリプトを実行する前に を実際の splunkd のプロセス ID に入れ替えて、サンプルを採集してみてください。 $ sudo su splunk $ sudo apt install -y elfutils $ mkdir /tmp/eustack/ $ for i in $(seq 1 600); do sudo eu-stack -p <PID> > /tmp/eustack/stack.<PID>.$i.$(date -u +%Y%m%d-%H%M%S-%N); sleep 0.1; done ... View more

The error means that you have some invalid values in some of your data source's fields. If you go to the page "Home" > "Health Monitor" > "Data Quality Indicator" > "Data Source Detials" of your data source showing the errors then you should be able to find the problematic fields by adding "?system" to your URL. If you have a URL like the below one : https://xxxx/#XmsxyOm. Then you should be able to see the problematic fields after adding "?system" in between "/" and "#" as below https://xxxx/?system#XmsxyOm. After adding "?system", "Data Source Details" page should show "Splunk Direct Enum Mismatch" area which should mention the fields which are having invalid value issue in "ENUM FIELD" column. For example, if you are getting errors with the "action" field of your "McAfee_NIPS" data source then you should see "action" in "ENUM FIELD" column and the invalid values in "INVALID VALUE" column and number of events for each invalid value in "EVENTS" column. As mentioned in below documentation, UBA accepts only "allowed" and "blocked" for "action" field https://docs.splunk.com/Documentation/UBA/4.3.0/GetDataIn/CIMtoUBAfields#Endpoint_category action Y The action taken by the endpoint. allowed, blocked But if you have values such as "Inconclusive", "Attack Blocked" then you will need to map those values to either "allowed" or "blocked" by adding "eval" to your data source's SPL. Below is an example of the eval clause but you will need to re-write it to fit your own case. eval action=case(action="deferred" OR like(lower(action),"block%"),"blocked",action="notified","allowed",1=1,"allowed") ... View more

splunkd プロセスが強制終了される理由としては、systemd が SIGTERM シグナルを送っているためです。 SIGTERM を SIGINT に変更することで強制終了の問題を回避することができます。 なお、splunk の unit ファイルに「KillMode=mixed」および「KillSignal=SIGINT」を追加することで、SIGTERM から SIGINT に変更できます。 # cat /etc/systemd/system/Splunkd.service #This unit file replaces the traditional start-up script for systemd #configurations, and is used when enabling boot-start for Splunk on #systemd-based Linux distributions. [Unit] Description=Systemd service file for Splunk, generated by 'splunk enable boot-start' After=network.target [Service] Type=simple Restart=always ExecStart=/home/splunk/723_so/splunk/bin/splunk _internal_launch_under_systemd LimitNOFILE=65536 SuccessExitStatus=51 52 RestartPreventExitStatus=51 RestartForceExitStatus=52 User=splunk Delegate=true MemoryLimit=100G CPUShares=1024 PermissionsStartOnly=true ExecStartPost=/bin/bash -c "chown -R splunk:splunk /sys/fs/cgroup/cpu/system.slice/%n" ExecStartPost=/bin/bash -c "chown -R splunk:splunk /sys/fs/cgroup/memory/system.slice/%n" KillMode=mixed KillSignal=SIGINT [Install] WantedBy=multi-user.target また、splunk がシャットダウンに時間がかかる場合でも、強制終了される可能性がありますので、その際には、unitファイルに「TimeoutStopSec」を追加し、timeoutの時間を増やしてください。 ... View more

You should be able to extract date information (year, month and day) from your file name and time information (hour, minute) from your message saved inside your log file by following below steps. Note that this is just an example of how to do it. You should adjust the regex accordingly to fix your needs. 1) Create a new datetime.xml with below content and save it under SPLUNK_HOME/etc/system/local. Note that you need to add "source::" if you would like to extract information from source file. <datetime> <define name="my_custom_date" extract="year,month,day"> <text><![CDATA[source::.*?(\d{4})(\d{2})(\d{2})]]></text> </define> <define name="my_custom_time" extract="hour,minute"> <text><![CDATA[(\d{2}):(\d{2})]]></text> </define> <timePatterns> <use name="my_custom_time"/> </timePatterns> <datePatterns> <use name="my_custom_date"/> </datePatterns> </datetime> 2) Create below props.conf and save it under SPLUNK_HOME/etc/system/local/ [my_custom_sourcetype] DATETIME_CONFIG=/etc/system/local/datetime.xml NO_BINARY_CHECK=true SHOULD_LINEMERGE=false 3) Restart splunk and use oneshot to test the settings opt/splunk/bin/splunk add oneshot /tmp/xxxxx20171003174502.txt -sourcetype my_custom_sourcetype opt/splunk/bin/splunk add oneshot /tmp/yyyyy20181114174607.txt -sourcetype my_custom_sourcetype 4) Confirm the extracted date and time information by running below search index=main | eval idxtime=_indextime | convert ctime(idxtime) | table idxtime _time _raw source ... View more

If you are seeing many deleteBucket messages as the below one in your cluster peer's splunkd.log then you might be hitting SPL-146575 which is fixed in 6.6.8, 7.0.5, 7.1.2 and 7.2.0 INFO CMSlave - deleteBucket bid=xxx~111~yyyyy, frozen=true The problem here is that there is a mismatch between what buckets the cluster master thinks cluster peers have and what cluster peers actually have. If you can not upgrade to 7.0.5 or later to get the fix then please make sure all your cluster peers are up and running without any issues and then restart your cluster master to workaround the issue. ... View more

まず、UF側のsplunkd.logには以下のようなメッセージがあるかを確認してみてください。 INFO ThruputProcessor - Current data throughput (256 kb/s) has reached maxKBps. As a result, data forwarding may be throttled. Consider increasing the value of maxKBps in limits.conf. ある場合、UF側のlimits.confのmaxKBpsをデフォルトの256から無制限の0に変更してください。 [thruput] maxKBps = 0 そして、UF側のmetrics.logでeps (event per second) の内容を確認してみてください。以下のようにwineventlog:securityのepsが300以上 (つまり、300 event per secondでUFからeventlogをindexer側に送っている)の場合、 INFO Metrics-group=per_sourcetype_thruput, series="wineventlog:security", kbps=243, eps=353, kb=7538, ev=10912, avg_age=120, max_age=127 UFのparsingqueueがいっぱいにならないまでに、parsingQueueのサイズをserver.confで徐々に増やしてみてください。 [queue=parsingQueue] maxSize = 10MB ... View more

使用していない、Windows 関連のスタンザを明示的に inputs.conf から無効にしてみてください。 例えば、[WinPrintMon://printer] を使用していない場合、"disabled = 1" および "interval = -1" を追加して、無効にしてみてください。 [WinPrintMon://printer] interval = -1 disabled = 1 注意点としては、Modular inputsは"disabled =1"だけでは完全に無効化できないので、完全に無効化したい場合は"interval = -1"も追加してください。 ... View more