search using join command

[appleman]

Hello,

I want to combine two different searches and each different field by using join command.
However, I always get "No Results" whatever I tried.
Please give me some advice.

Thank you.

---

joinコマンドを利用して二つのサーチを繋げ、それぞれにある違うフィールドを掛け合わせたいのですが、上手くいきません。
それぞれのデータ量が重いため、collect indexでインデックスを作成しながらやっても駄目でした。
joinコマンドの正しい使い方をご教授下さい。

index=A sourcetype=logs source!=XXX.csv id=1234 name=* | stats count by id number | join [search index=tarot | table number name main_type2] | stats count by id name main_type2 number | sort - count | head 20

common field => number

[melonman · Accepted solution]

if you are trying to have a reference from other source, try lookup.
create temporary lookup file by

... yoursearch | table fielda fieldb fieldc | outputlookup your_lookup.csv

then, do a search with the lookup command to lookup fields you need to put together.
* if your lookup file gets very big, then you can use lookup in DB using DB Connect.

[appleman]

So basically, I need to put the data in DB which I can connect with DB connect.... Thank you very much!

[melonman]

Well, there is no dblookup command. And for lookup data in DB by DB connect app, then you have to have the data in DB. If you can not connect your original DB where you exported the data from, then use the exported CSV as lookup (file based), or put the exported data into other database which is accessible by your splunk and configure DB connect to do lookup in database.

[appleman]

Speaking of lookup, can I use dblookup even though the data is not in the DB? I mean, the data is exported from other DB which I can't put it in DB connect.

[HiroshiSatoh]

こんにちは。サーチ文だけからみると以下のような動きですがこれは求めている動きですか？

メインサーチ：id（1234）、number、count
サブサーチ： number、name、main_type2
をnumberでJOINすると結果はnumberが一致するデータのみ（デフォルト）になります。
id（1234固定）、（一致した）number、count、（サブサーチの）name、（サブサーチの）main_type2

これをstats count by id name main_type2 number しているので
id（1234固定）、（サブサーチの）name、（サブサーチの）main_type2、（一致した）number
となり、結果はサブサーチの値のみで、メインサーチはサブサーチのデータからnumberが一致しないデータを除外するために使われているだけになります。

[HiroshiSatoh]

テストしてませんが、statsを使った例です。

(index=A sourcetype=logs source!=XXX.csv id=1234) OR (index=tarot)
|stats dc(index) as idx_cnt,first(sub_name) as name,first(main_type2) as main_type2 by id,number
|where idx_cnt=2
|stats count by id,name,main_type2,number | sort - count | head 20

[HiroshiSatoh]

サブサーチの結果にidが存在しないので、idはメインサーチで指定されたidでかつサブサーチとnumberが一致するものとなります。メインサーチの| stats count by id number の部分でメインサーチ側のnameはなくなっているので気をつけて下さい。

また、サブサーチを使うことでパフォーマンスがでないようなら、メインサーチで両方抽出してstatsでひとつにまとめるようなこともできると思います。

[appleman]

サブサーチの値で上書きされる旨、認識しておらず勉強になりました。ありがとうございます。ただこちらの事情により、実際のサーチとはフィールド名を変えてAnswersに掲載させて頂いているのですが、実際のサーチでは、nameのフィールドはそれぞれ別々のフィールド名が与えてあります。
idは値を指定しているので、固定になりますでしょうか。

[HiroshiSatoh]

JOINの場合同じフィールド名はサブサーチの値で上書きです。どちらかをリネームする必要があります。このサーチは | stats count by id number の部分でメインサーチ側のnameはなくなってます。

[appleman]

メインとサブサーチのnameは違うフィールドになります。従って結果として求めているものは、（メイン）nameに対するid、（サブ）name、main_type2、（一致した）numberになります。

[adityapavan18]

Hi appleman

I guess you need to mention the common field when using join something like this:

index=A sourcetype=logs
source!=XXX.csv id=1234 name=* | stats
count by id number | join number
[search index=tarot | table number
name main_type2] | stats count by id
name main_type2 number | sort - count
| head 20

[joebensimo]

Do the main and subsearch both return the expected results when run separately?

[appleman]

I've tried this, but it turned out to be no result.