Splunk is not able to extract fields at search time.

[hbarot_splunk]

I am facing a issue in Search time field extraction. Events are indexed in Key-Value form.

My current configurations are

In props.conf,
TRUNCATE = 0

I am not using any regex. Splunk is extracting fields automatically.
In sample event the fields named "Tag", "Quality" and "Value" are available. I am facing this problem particularly for "Value" field which contains very long text. The fields "Value" is not extracted.

Here is the sample event,

2017-08-30 23:22:12.9390311 +0530 IST **Tag**="objects.Data.Static.UserArray.XmlElementValue" **Quality**="good" **Value**="[ 黄色? ラット 緑 緑[ 馬{ ラット 赤い レモン&amp;ヘビ; いちご 牛 マンゴ( ブルーベリー 青い# 象 紫色[ ブタ 紫色 ブドウ 紫色* 象^ レモン青い 猫 モモ( モモ ヘビ, モモ 馬 猫_ モモ ドラゴン% マンゴ/ 牛$ ブルーベリー% レモン 白い モモ ブタ バナナ&amp; ヒツジ ブドウ&gt;黒* 緑 青い モモ} マンゴ 猫 ブタ 石灰 パイナップル 青い! モモ象 象[ 猿 紫色} 黄色$ パイナップル[ 牛 ブタ(, Желтыйцвет Корова Крыса Слон Змейка" Голубика~ Слон Виноградина&lt; Ананас&amp; Желтыйцвет СлонЛимон] Известка Банан[Чернота. Дракон Собака Бело Свинья Лимон Овцы Известка= ЖелтыйцветСобака Виноградина Бело^ Змейка ГолубикаЖелтыйцвет Персик Чернота Желтыйцвет}Слон ВиноградинаСобака Корова} Пурпурово! Овцы Дракон Лимон? Ананас Известка Лошадь Змейка[ Обезьяна- яблоко Корова#Виноградина* Свинья, Дракон? Кот@ Голубо Дракон# Дракон- Корова$ Виноградина@ Бело~ Банан+ Бело;Голубо= Лимон/ Дракон! Слон Дракон# Виноградина Ананас=Красно Кот; Желтыйцвет] Манго? Собака, Слон{ Известка Голубика, 白色 桃子/ 红色 猫' 柠檬-葡萄 狗 草莓+ 黄色 芒果{ 柠檬/ 桃子# 菠萝 葡萄草莓 猪 草莓! 黑色( 紫色~ 菠萝[ 绵羊: 红色_ 蛇, 猪 龙% 葡萄~ 紫色- 母牛 龙&lt; 草莓 芒果红色%蛇- 大象 红色 香蕉{ 芒果&gt; 黄色 红色:猫 紫色 紫色* 狗 草莓% 绵羊) 草莓' 狗 母牛 蛇[ 黑色 蛇 绵羊, 绿色&amp; 猫[ 绵羊#, КрасноКрыса Свинья_ Банан Корова* Дракон Корова' Известка Лошадь* Собака; Красно- Овцы- Слон Красно*Пурпурово Голубика Персикяблоко&amp; Известка% Кот&amp; Ананас Красно. Голубика( яблоко[Свинья" Бело$ Голубо Зеленыйцвет Желтыйцвет Известка Персик Персик&lt; ВиноградинаКот- Бело Известка, Кот Банан/ Корова/ Змейка Красно! Лимон Обезьяна&lt; Желтыйцвет Свинья! Дракон Собака+Персик~ яблоко; Банан Банан' Голубо&lt; Голубо} яблоко" Ананас Лошадь Ананас Манго Зеленыйцвет, モモ/ 赤い{ ラット 犬 ヒツジ 猫~ 象, 石灰 猿; ヘビ マンゴ バナナ;赤い] ラット= ヘビ/ ラット レモン 黄色; 紫色 象] 黄色? バナナ モモ 犬 ヘビ 馬&amp; 猿 レモン象{ ブタ ヘビ マンゴ 猫( ヘビ&amp; ヒツジ' ブルーベリー 猿&lt; ヒツジ ブタ ドラゴン 赤い} 緑= 紫色 緑_ マンゴ ブドウ 犬 ラット 犬{ 青い 象* バナナ^ 青い$石灰! 赤い{ ブルーベリー? ブドウ{ 猫 バナナ; 赤い? 猫 黄色% 黄色$ 白い# 青い 猫 黄色~ 猿 マンゴ( 猿 ラット猿# パイナップル ラット モモ ブルーベリー! モモ 猿 緑 ブタ&amp; 馬 ラット いちご 紫色 黄色牛 ブルーベリー青い: ブドウ マンゴ ドラゴン 赤い ヒツジ% 石灰 緑` 馬&lt; ブタ 象 レモン 紫色) 緑] 猿; ブタ ブタ} 石灰 紫色 黒[ ドラゴン) 紫色! 黒 黄色 レモン 象 マンゴ` ヒツジ* 赤い"モモ{ ブタ{ マンゴ[ バナナ ヘビ{ 青い* 紫色 白い$ ヒツジ 白い 猫&amp; 青い いちご バナナ; ブタ( 猫^ 牛 象 ヒツジ 猿^ 石灰 牛 バナナ_ 石灰 象) ブルーベリー/猫{ レモン 馬) 猫 赤い^ 犬 バナナ' 緑 ブタ&amp; 猫] ブドウ} モモ{ 象&amp; 猿. ヒツジ 青い&amp; レモン&lt; ブタ 猿 いちご レモン~ ブタ., Виноградина, Слон Персик( Ананас} Персик" Виноградина Кот. Дракон( яблоко* Лошадь( ОвцыБанан Овцы? Красно Желтыйцвет Зеленыйцвет Крыса Кот КороваБанан" Слон Собака&amp; Голубо` Чернота" Собака^ Кот} Обезьяна= Обезьяна/ Дракон</n0:ブドウ><n0:白い牛>яблоко</n0:白い牛><n0:モモ>Змейка# Пурпурово! Слон Кот Кот' Бело Персик</n0:モモ><n0:紫色赤い>яблоко Свинья} Змейка/ Желтыйцвет Персик Ананас яблоко` Ананас Бело Манго) Ананас/ Зеленыйцвет{Кот) Желтыйцвет% Лимон Зеленыйцвет Виноградина Пурпурово$ Голубо- Свинья Корова Свинья Персик], 石灰 紫色 ドラゴン ブルーベリー 象 パイナップル" 緑 ラット= ブルーベリー' ブルーベリー( バナナ 石灰" 犬 レモン 馬 馬 猿 象^ バナナ 石灰 マンゴ; パイナップル[, яблоко Манго= Ананас$ Дракон- яблоко? ЛошадьМанго Собака,Лошадь Свинья Персик Лошадь_ Крыса] Овцы~ Персик{ Желтыйцвет Чернота Корова_ МангоГолубо Дракон Корова&amp; Пурпурово Змейка` Манго Собака^ Зеленыйцвет</n0:Blue><n0:Rat>Слон Персик- Слон. Овцы Зеленыйцвет( Крыса+</n0:Rat><n0:Banana>Лимон Кот Чернота) Ананас Банан^ Дракон` Персик~ Банан( Собака яблоко Пурпурово~ Обезьяна Крыса СлонАнанас. Виноградина- Змейка# Зеленыйцвет(яблоко[ Пурпурово Пурпурово, Лимон Лимон Манго*Слон Персик Желтыйцвет$ Красно Персик Пурпурово_ Ананас Манго Корова&lt; Корова Овцы' Кот Пурпурово Овцы]Известка@ Виноградина Корова Бело] Собака@ Дракон Слон* Ананас Известка, Пурпурово Змейка Пурпурово$ Кот Желтыйцвет)Лимон Чернота{ Голубо? Голубо( Лимон Собака Пурпурово Голубо Овцы= КороваПерсик' Чернота&gt;Манго? Обезьяна( Чернота% Манго Дракон&lt; Овцы. Дракон: Манго Ананас Манго* Кот Пурпурово Лошадь Персикяблоко` Голубика$ Голубика</n0:자주색><n0:개코끼리>Овцы[ Овцы` Кот[ Манго Змейка Собака) Овцы[ Чернота Крыса@Слон$ Виноградина: Свинья= БананДракон" Пурпурово Слон Голубика&amp; Обезьяна Зеленыйцвет Виноградина= Лимон'Манго Собака- Персик, Голубо_, ドラゴン; ヒツジ] 青い ブタ ヒツジ)モモ&lt; ブルーベリー ラット] 牛]ブドウ* 象&amp; 赤い 猿 ブドウ 石灰^ 緑 ラット ブタ いちご.パイナップル ブドウ レモン) いちご* 緑? ヒツジ` ヘビ 猫% 青い 黒; ドラゴン いちご 赤い+ 白い モモ` ヘビ? ブタ パイナップル&lt;いちご; 黒= ラット{ パイナップル ヒツジ ドラゴン. 猫 モモ[, 菠萝` 黑色&amp; 蛇 绿色&amp; 猴子 母牛"</n0:Strawberry><n0:Lime>黑色 蓝莓&gt; 大象 白色/ 鼠 龙 桃子= 龙 红色 黑色 石灰 蛇&gt;</n0:Lime></n0:Dragon>, <n0:石灰ブドウ バナナ="馬牛牛" ラット="いちご" ドラゴン="紫色" 白い="紫色" 牛猫="牛緑" 黒ブルーベリー="黄色" xmlns:n0="http://黒"><n0:象紫色>ブタ モモ 青い レモン' ヘビ 石灰{</n0:象紫色><n0:黒ヒツジ>犬# ラット 紫色&amp; 紫色 黒{</n0:黒ヒツジ></n0:石灰ブドウ>, <n0:Обезьяна xmlns:n0="http://Персик"><n0:Пурпурово>돼지` 개: 바나나) 빨간, Dog Blueberry/ Green` Grape White Blue( White Lemon Red/ Yellow, Grape? Pineapple]</n0:Rat><n0:Monkey>Grape' Cat Snake Dragon(</n0:Monkey><n0:Monkey>Rat Yellow Banana Blue] Rat&gt; Monkey# Monkey Rat Blue Sheep Rat? White Cow Pineapple</n0:Monkey></n0:Rat>, <n0:Green Black="象猿" Banana="紫色" White="馬" Pineapple="犬マンゴ" xmlns:n0="http://Blue"><n0:Lime>ブルーベリー% パイナップル, 黄色 ブタ 赤い&amp; 馬= 青い 牛= 象&amp; 赤い 石灰- 牛&lt; 牛 ヒツジ) ヘビ] 黄色` 緑# ヒツジ いちご赤い マンゴ, ラット' 紫色, レモン 牛 ヘビ# 白い# 赤い 象 青い 白い&gt; 赤い} バナナ ブドウ; 黄色 パイナップル&lt; 紫色 ブルーベリー 赤い=黄色/ 石灰 白い{ ドラゴン 馬~ 猫 赤い 赤い: 黄色^ 黄色 ヒツジブルーベリー) 黒 黄色 ヘビ ブルーベリー= パイナップル$ いちご 犬 ドラゴン# モモ 象) 白い= 赤い: レモン@ レモン= ヘビ# レモン; 猿)白い&lt; いちご マンゴ 紫色 バナナ@ 犬( ヒツジ@ ブドウ= パイナップル バナナ. 黒 いちご ドラゴン マンゴ? ラット$ ブタ! ドラゴン ラット` 白い-</n0:Green><n0:Dog>ブルーベリー&amp; 緑; 青い 牛{ モモ 猫. ブドウ~</n0:Dog><n0:Green>ブタ/ 黄色 猫 猫 象 馬 ブタ 赤い いちご{</n0:Green><n0:Yellow>ヘビ( レモン&gt; ヘビ 猿/ 象- パイナップル' ブタ 紫色? 青い# 黒_ ブドウ&lt;</n0:Yellow><n0:Lemon>パイナップル; 緑; レモン{</n0:Lemon></n0:Green>, <n0:猪猴子 xmlns:n0="http://红色"><n0:猴子母牛>Blueberry~</n0:猴子母牛><n0:菠萝>Elephant. Horse] Red Monkey Snake Red&amp; Black_</n0:菠萝><n0:母牛绿色>Monkey Green Mango Purple) Horse; Dragon. Red Grape" Yellow/ Green@ Rat&amp;</n0:母牛绿色><n0:芒果>Strawberry Grape&amp; Green Blueberry&lt; Elephant</n0:芒果><n0:猫猪猪>Lime Rat Pig Lime Strawberry# Mango" Rat Peach" Black Grape"</n0:猫猪猪><n0:草莓>Rat: Elephant Grape Banana Purple Mango Monkey^ Dog Elephant$</n0:草莓><n0:母牛>Sheep$ Black Cow Snake: Green Red' Peach[ White@</n0:母牛><n0:马猫>Cow= Blue Blue` Lemon Yellow"Dog Yellow, Sheep Dog White., 개 고양이_ 고양이 말 쥐+ 코끼리 복숭아 포도 검정{ 복숭아 말 백색 파인애플, 황색, 파란 녹색들쭉[ 용 백색@ 검정 파인애플 양/ 파란 뱀 뱀 망고= 망고 자주색; 양] 들쭉" 돼지@ 복숭아, 들쭉&lt; 암소 암소_ 딸기 들쭉` 백색@ 바나나) 용</n0:ヘビ></n0:紫色>, <n0:黄色 モモ紫色="Дракон" 馬="Свинья" モモ猫="Крыса" xmlns:n0="http://石灰ブルーベリー"><n0:ブタレモン>Корова} Зеленыйцвет&lt;</n0:ブタレモン><n0:象象馬>Зеленыйцвет: Ананас Крыса- Виноградина</n0:象象馬><n0:モモ>Лошадь Красно= Овцы Корова` Желтыйцвет# Змейка]Ананас Пурпурово. яблоко Виноградина Лимон Собака* Известка' Бело_ Банан Пурпурово[Обезьяна? ОбезьянаИзвестка_Желтыйцвет{ Красно) Дракон Слон Персик: Обезьяна&gt; яблоко{ Манго Банан Голубика ЛимонБанан( Персик` Известка Голубо</n0:白い></n0:黄色>, <n0:Horse Peach="Чернота" Blue="Собака" Lime="Виноградина" Blueberry="Кот" Dragon="Красно" Pineapple="Лошадь" Mango="Известка" xmlns:n0="http://Pig"><n0:Pig>Кот Обезьяна^ Крыса Пурпурово[ Голубо&gt; Лимон? Персик Красно&amp; Красно</n0:Pig><n0:Black>Крыса Обезьяна^ Манго Собака Ананас яблоко Обезьяна; Лошадь'</n0:Black><n0:Sheep>Бело&gt; Персик. Красно Известка* Свинья Слон~ Голубо Голубо</n0:Sheep><n0:Dog>Голубика+ Ананас Собака( Пурпурово% Обезьяна Лошадь]</n0:Dog></n0:Horse>, <n0:용 파인애플="青い" 백색개="ヘビ石灰" 백색="ヒツジ" 고양이="緑馬" 암소포도="赤い" 파란="猿白い" 코끼리="バナナ" 황색="ドラゴン" 돼지="バナナ" xmlns:n0="http://말돼지"><n0:포도>黄色 ブタ 猫 パイナップル"</n0:포도><n0:고양이>マンゴ モモ" モモ ブルーベリー 緑) 黒) ラット&gt; 赤い 青い 猿% 黒^ ヒツジ( 黒: ブタ 青い 青い 牛~ いちご&amp; 象` 赤いブドウ マンゴ ブルーベリー ドラゴン 黒 バナナ? 象 赤い紫色 猿 猿, ブルーベリー モモ 牛 青い@ ブドウ#, Змейка Голубика: Зеленыйцвет/ Лимон* Лимон Красно Персик Красно ЖелтыйцветАнанас Змейка Зеленыйцвет Банан яблоко"Голубо Зеленыйцвет Манго Кот: Свинья} ВиноградинаОвцы Голубика&amp; Бело= Виноградина, Слон" Лимон" Лошадь Ананас Лимон Лошадь, Лимон; Обезьяна Корова ЗеленыйцветПурпурово Ананас Лошадь} Обезьяна{Известка, яблоко Известка Желтыйцвет Свинья Кот' Овцы@ Лошадь Голубика Известка/ Лошадь+Собака, Peach Pig Cat Pineapple^ Pig Red Peach/ Cow Pineapple Dog Grape&amp; Red) Peach Dragon&lt;Pineapple Elephant{ Dog= PineappleHorse Pineapple@ Lime Elephant` Blueberry'</n0:ラット></n0:モモ>, <n0:猿黄色 ブタモモ="白色" xmlns:n0="http://ヘビ"><n0:紫色>大象 石灰{ 龙&gt; 鼠 石灰 柠檬 猪 母牛 石灰% 猴子&lt; 柠檬' 蛇 紫色 蓝莓 芒果 鼠 鼠? 绵羊 猪 猪] 猫) 鼠&gt;</n0:紫色><n0:青いブドウ>桃子: 柠檬] 柠檬, 草莓/ 猴子` 马 大象 柠檬 柠檬 柠檬 桃子? 狗 猫~ 猴子 龙[ 绵羊 黑色 母牛' 猫" 马+ 母牛 绵羊! 芒果 葡萄; 蓝色 黑色 龙` 白色</n0:青いブドウ><n0:ラット>鼠. 绿色- 紫色# 香蕉,</n0:ラット><n0:ブタレモン>葡萄= 白色 猫 柠檬 芒果] 狗 猪 马- 石灰] 猫 黑色 狗 蓝色} 芒果]</n0:ブタレモン><n0:青い>柠檬 菠萝' 菠萝 马. 龙 马 菠萝 葡萄) 葡萄</n0:青い><n0:ドラゴン>母牛" 马 猴子 马 蛇: 芒果; 白色 芒果% 猪: 红色 香蕉? 葡萄 鼠 草莓 鼠- 狗 草莓^ 香蕉: 黄色+ 葡萄? 柠檬 母牛 猴子 芒果 芒果 柠檬. 香蕉 狗 母牛! 紫色 白色 绿色&gt;</n0:ドラゴン><n0:ドラゴン>柠檬$ 白色] 蓝莓&gt; 绵羊 蓝色? 猪# 鼠</n0:ドラゴン><n0:ブタブタ>母牛 石灰+ 蛇 桃子&amp; 香蕉- 黄色</n0:ブタブタ><n0:ラット>蓝色` 龙 葡萄} 蛇! 绿色 白色} 绿色 蓝色' 大象{ 黄色 蛇^ 香蕉% 黑色母牛 菠萝 猴子 绿色 柠檬 紫色, Peach&amp; Blue Grape~ Green&gt; White&amp; Strawberry&amp;Mango Mango Cat Green Monkey&gt; White@ Blueberry Snake/Banana Mango* Lime Lemon Cat! Strawberry, Rat[ WhitePurple Monkey Rat[ Strawberry Cow Strawberry Horse Sheep( Purple`</n0:蛇芒果><n0:蓝莓>Elephant@ Banana: Cat Grape$ Blueberry Lemon</n0:蓝莓></n0:石灰>, <n0:Кот Известка="Strawberry" Бело="Yellow" Дракон="White" Корова="Strawberry" Собака="Snake" Зеленыйцвет="Snake" яблоко="Elephant" Голубика="Banana" xmlns:n0="http://Желтыйцвет"><n0:Виноградина>Green! Yellow Yellow; Grape Dragon[ Cat Pineapple_ Green Banana+ Banana=</n0:Виноградина><n0:Змейка>Banana Peach, Green* Green+ Green. White Purple Dragon Strawberry Black</n0:Змейка><n0:Пурпурово>Peach Sheep{ Monkey Dragon Pig Pig Red% Cow~ Green/ Strawberry Lime'</n0:Пурпурово><n0:Кот>Strawberry Red+ Mango&lt; Elephant{ Dragon Blue Dog' Lemon Pig</n0:Кот><n0:Ананас>Mango' Purple# Yellow Cow! Red Monkey Dog` White&lt; Cow] White Strawberry Green:Lime SheepCat HorseHorse; Mango% Snake( Pineapple Blue Strawberry&lt; Dragon# Peach# Sheep] Lemon^ Green* Blueberry#Blue` Lemon/ Pig</n0:Овцы><n0:Лимон>Pig Rat#</n0:Лимон></n0:Кот>, <n0:Horse Cat="Green" Cow="Dragon" Banana="Cat" Pineapple="Horse" Rat="Elephant" Purple="Cat" Lime="Elephant" xmlns:n0="http://Dog"><n0:Cat>Purple&lt; Black Lemon} Horse Dog Grape Red&lt; Elephant] Strawberry</n0:Cat><n0:Blueberry>Grape@ Elephant&lt; Blue+ White^ Cow Cow/ Blueberry Elephant White Cow~ Rat/</n0:Blueberry><n0:Yellow>Dog% Blueberry] Monkey Peach{</n0:Yellow><n0:Horse>Banana` Pig Snake Mango= Monkey Green@Grape Purple Lemon&amp; Red Horse{ Dragon! Lemon^ Snake White` Red Pig Red Lime Cow] Green Horse Mango</n0:White><n0:Pig>White@ White Blueberry Sheep[ Blueberry Black Lemon= Lemon@</n0:Pig><n0:White>Cat Pineapple+ Sheep) Elephant/ Yellow` Lime# Strawberry Mango Horse Monkey= Lemon&amp; Green_, Собака Красно Дракон Свинья Виноградина Манго Виноградина+ Кот~ Кот Виноградина'Овцы Слон ЧернотаКорова Овцы+ Красно:Виноградина' Дракон, Обезьяна: Змейка~ Пурпурово} Голубо Пурпурово/Лошадь Слон Ананас% Банан/ Известка Дракон/ Корова-Голубика Персик, Дракон БананКрасно Овцы} Корова Зеленыйцвет" Виноградина Змейка? Чернота,Голубика Лошадь+ Лимон&lt; яблоко Кот- Кот# Виноградина Свинья_ Желтыйцвет(Известка* Чернота! Обезьяна ПурпуровоГолубика; Персик Корова Дракон Красно&lt; Овцы% Крыса) Лошадь Змейка~, 芒果( 绵羊 芒果 猫猫$ 绵羊&lt; 黄色 蛇^ 白色 红色% 鼠% 母牛/ 香蕉. 草莓 葡萄@ 猫 猴子_柠檬( 绿色 猫? 黄色_ 香蕉: 石灰= 狗^ 猴子{ 蓝色 鼠 蛇- 猴子 大象+ 猫 黄色- 绿色 紫色] 蛇 大象 龙 鼠 草莓= 葡萄^ 黑色] 石灰猴子 白色 草莓( 绵羊@ 大象* 黄色石灰&lt;, 菠萝* 蓝莓/ 紫色 桃子 柠檬 马 黑色 蛇 紫色: 黑色# 桃子 桃子. 马 猴子 香蕉 绿色 石灰; 猫' 黄色 龙 绿色 菠萝$ 白色&amp; 猫# 大象" 鼠 白色* 黄色. 香蕉" 绵羊,猪 马' 绵羊 菠萝 菠萝? 黄色绵羊 柠檬 石灰'猴子 马$ 蛇+ 猫&lt; 草莓) 蛇( 绵羊 狗 黄色" 葡萄{ 猪? 龙 母牛 蓝莓] 石灰/葡萄 绵羊? 猫 石灰) 芒果_ 绿色 猴子 芒果 龙, 白色 蓝莓 香蕉 柠檬 菠萝 鼠&lt; 白色 绿色! 蓝莓! 大象 绿色(狗 鼠@ 狗&amp; 狗/ 龙^ 芒果 紫色+ 狗} 葡萄# 蛇' 母牛 马. 绵羊 ]"

A sample event can be found at below link,

https://nofile.io/f/G4UtPojXVwQ/Sample+Event.txt

[kamlesh_vaghela · Accepted solution]

Hi @hbarot,

Can you please add below configuration in props.conf and check ??

EXTRACT-Value1 = Value=\"\[(?<Value1>.*)\]\"

You can also check by executing below search.

YOUR_SEARCH | rex field=_raw "Value=\"\[(?<Value1>.*)\]\"" | table _time Value1 

Happy Splunking

[NuHarborMatt]

You could cat OR tail -f the splunkd.log file and see if there is an error or warning during search. It may provide a little more insight on your Value field

[somesoni2]

You might have to setup an explicit field extraction for this as the value involves special characters, long string. See this field extraction regex based off your sample data.
https://regex101.com/r/9n5PDU/1

You would need to setup following in props.conf under stanza for your sourcetype, in search head instance(s) (restart required).

[YourSourcetype]
EXTRACT-value = Value=\"(?<Value>\[.+\])\"

[horsefez]

Hi hbarot,

this might be a problem due to the regular expression that is extracting the field. I would have a look at it, but I'm not going to download a file to see an example event.
If you could be so kind to post your sample event into the question I can take a look.
Thanks.