About nishida_tada_ca

nishida_tada_ca · ‎06-22-2020

Thanks for your answer. I asked for support.

nishida_tada_ca · ‎06-16-2020

When the BucketMover log was extracted from the Splunk Cloud logs, the following 4 types of logs were found in the _raw field. Could you tell me what kind of processing is performed by BucketMover and the log that is output? No.1 Will freeze bkt= No.2 RemoteStorageAsyncFreezer freeze skipped for bid= No.3 RemoteStorageAsyncFreezer trying to freeze bid= No.4 RemoteStorageAsyncFreezer freeze completed succesfully for bid= The data that had exceeded the retention period was left undeleted. The number of each log for one month when the storage period is exceeded is as follows. No.1 22,760 No.2 22,526 No. 3 234 No.4 234 In this case, is there a possibility that the data that has exceeded the retention period will remain without being deleted? Currently, the storage period has been extended, so no data is over the storage period. In that case, is the above log output? Even if it exceeds the limit, will a similar log be output? Or is there any change in the contents of the exceeded log?

nishida_tada_ca · ‎06-15-2020

Excuse me. Let me ask two more questions. Is there a factor that data is deleted on the cloud other than the data retention period of index and the contracted data size? Please let me know if any. Can you see the breakdown of the data deleted in BucketMover's log?

nishida_tada_ca · ‎06-14-2020

Thanks richgalloway I have one more question to ask. Is the deletion process sure to delete all at once? Or maybe it can't be deleted, will it be deleted in the next deletion process? It seems that not all contents are deleted at once here.

nishida_tada_ca · ‎06-13-2020

We are using DBConnect with AML requirements. The retention period of splunk was 1 year. But it turned out to be necessary for seven years. Therefore, I would like to ask three questions. For deletion after the retention period, will it be judged by the import date and time? Or should it be judged by looking at the DB's timestamp? Please tell us about the timing of deletion after the retention period. (Do you want to delete it immediately, or delete it regularly?) I would like to refer to the deletion history in cloud.Please tell us the query to refer to.Or can you give me the deletion history?

nishida_tada_ca · ‎02-09-2020

After importing DBConect data, Although the rentention of the index is a day ago, It is kept for 5 days. Does splunk cloud keep the period longer than rentention? If so, is there a way to keep it for one day only?

nishida_tada_ca · ‎02-04-2020

I am trying to output a csv by executing a lot of queries using the report function for splunk cloud. At the same time, we are also using the alart function for operation monitoring, so we are studying how to respond if the query stays. Is it possible to create a priority and suspend or delete low-priority query processing? Sorry to trouble you, but thank you.

nishida_tada_ca · ‎02-04-2020

DBConect retrieves data from multiple tables. Regarding the acquisition, the processing time is shifted considering the load on the DB. Also, as for the acquisition method, I want to take only the updated amount by looking at the ID, so I set Rising Input Type The following SQL is executed. SELECT * FROM "zaif". "Public". "Table name" WHERE id>? ORDER BY id ASC However, from the development side There was a request that even if the import process was shifted, the end of the data imported that day should be the same. For example, 5:10, 5:20, 5:30 even if you start the capture process sequentially, I want to finish all data at 5:00. Also on the next day, we want to get the minutes from 5:00 on the previous day (so that there are no missing updates). In that case, please teach us how to process the import.

nishida_tada_ca · ‎01-23-2020

「sort 0」や「join max=0」などコマンドに件数制限がかかっているケースが見受けられれます。上記は制限解除のオプションは用意されていますが、制限を解除することでの影響はあるのでしょうか。制限以上件数に見合う速度や負荷以外に極端に処理速度が悪化するや実は別費用が掛かるなどないかを気にしてます。

nishida_tada_ca · ‎01-22-2020

DBConectで複数のテーブルからデータを取得しております。取得に関してはDBの負荷を考えて処理時間をずらしております。また取得方法はIDをみて更新分だけ取りたいため、Input TypeをRisingにして以下SQLを実行しております。 SELECT * FROM "zaif"."public"."テーブル名" WHERE id > ? ORDER BY id ASC しかしながら開発側より取り込み処理はずらしても、その日に取り込まれたデータ終了は同じにしてほしいとの要望がありました。例えば5:10、5:20、5:30と順次取り込み処理を開始しても、データの終わりは、全て5:00にしたい。また次の日も前日の5:00からの分を取得したい（更新分の取り漏れが無いようにしたい）ということです。その場合の取り込み処理の方法をご教授いただけるようお願いいたします。

nishida_tada_ca · ‎01-22-2020

splunk cloudに対してreport機能を使い、多数のqueryを実行してcsv出力しようとしております。並行して、運用監視でのalart機能も使っているため、queryが滞留した場合にどのように対応するか検討しております。優先順位をもうけて優先順位の低いquery処理を一時停止や削除するようなことは可能でしょうか。お手数ですがよろしくお願いいたします。

nishida_tada_ca · ‎01-19-2020

○各ユーザの当日分各データと過去データ5件で比較を行いたいです。次のようなデータの場合、 ①id=8とid=7～id=3、 ②id=7とid=6～id=2　で比較したいです。 "id","timestamp","userid","jpy" 1,2019-06-10 8:45:05.012349,156,500005 2,2019-08-08 5:30:05.012349,156,10005 3,2019-09-01 7:20:40.012349,156,20005 4,2019-10-10 22:30:05.012349,156,10005 5,2019-12-01 6:30:05.012349,156,10005 6,2019-12-25 13:24:30.012349,156,20005 7,2020-01-19 10:26:01.012349,156,10005 8,2020-01-19 14:01:01.012349,156,250005 ○できている部分最新のデータ1件(id=8)を取得して過去データ5件と比較する形での記載で①は取れました。 2件目以降の比較もするにはループのような形にすればよいのかと思うのですが、実現方法がよくわかりません。過去データを全て見たいので、日付範囲指定は「全時間」で実施予定です。

nishida_tada_ca · ‎12-26-2019

初歩的な質問で申し訳ありません。サポートケースのリクエストはどこへ（もしくはだれに）すればいいでしょうか。 REST APIのアクセスは、セキュリティ上の理由で、サポートケースにてリクエストいただいてからのオープンというフローになっています。

nishida_tada_ca · ‎12-25-2019

ご回答ありがとうございます。利用には叩き元のipからの制限を解除する必要があるので、 support caseから、起票する必要があると聞いてます。そのURLで実施するかわかりますでしょうか。

nishida_tada_ca · ‎12-25-2019

AMLのためsplunk cloudに保存しているログにたいして、定期的にqueryを実行してその出力結果をcsv等で取得したいと考えております。定期的にqueryで実行することはreport機能で可能かと思いますが、結果をsplunk外に出力するいい方法が思いつきません。出力ファイルが大きく（10メガバイト以上）メールが使用できません。そのため外部サーバからsplunkに対してcliを実施してファイルを取得できないかと考えておりますが可能でしょうか。またそれ以外に外部媒体（AWSのS3等）に自動で出力することは可能でしょうか。

nishida_tada_ca · ‎12-18-2019

subsearchの上限について教えてください。デフォルト10000件のままですが10000件を超えたsubsearchが使用可能なように思えます。どのようなケースでエラーになりますでしょうか。

nishida_tada_ca · ‎12-11-2019

使用しているsplunk cloudにてIPの地域情報を取得したいと考えております。そのための導入するAPPは以下でよろしいでしょうか。他におすすめがあればご連絡ください。またsplunk cloudはサポート側でないと導入できないと聞いております。導入依頼方法もご教授いただけると幸いです https://splunkbase.splunk.com/app/3022/

nishida_tada_ca · ‎12-08-2019

What kind of procedure and authority are necessary when I want to delete the data once taken by splunk cloud? Sorry for the vague question.

Posts	19
Solutions	0
Karma Given	0
Karma Received	0
Member Since	‎11-14-2019

Online Status	Offline
Date Last Visited	‎12-14-2021 01:19 AM

Data retention period in DBConnect

About rentention specification of index

Response when query is waiting in splunk cloud

How to align DB import processing with DBConnect

コマンド制限について

DBConnectでDBの取り込み処理を揃えたい

splunk cloudでqueryが待ちになった場合の対応

当日分各データと過去データの比較

splunk cloudに対してcliを使用する方法

subsearchの上限について

Re: Data retention period in DBConnect

Re: Data retention period in DBConnect

Re: Data retention period in DBConnect

Re: Data retention period in DBConnect

Data retention period in DBConnect

About rentention specification of index

Response when query is waiting in splunk cloud

How to align DB import processing with DBConnect

コマンド制限について

DBConnectでDBの取り込み処理を揃えたい

splunk cloudでqueryが待ちになった場合の対応

当日分各データと過去データの比較

Re: splunk cloudに対してcliを使用する方法

Re: splunk cloudに対してcliを使用する方法

splunk cloudに対してcliを使用する方法

subsearchの上限について

splunk cloudにappを導入する方法

I want to delete the data once taken by splunk clo...