rotate_age の設定について教えてほしい

[mikankun1003]

fluentd はver 1.16.1 を利用しています。
fluentd でまとめて「ログの圧縮出力」と「ローテート」を実現したいです。
out_file におけるcompress gzip を設定したときの動作の理解が追い付いていないですが、出力ファイル(hoge.log.gz) に追記していくものと理解しています。
※fluentd がqueued buffer をflush するたびにhoge.log.gz を展開 -> hoge.log にログを追記 -> hoge.log.gz に再圧縮　をしているものではないと認識しています

gz ファイルとなったものをローテートしたいと考えているのですが、このローテートをOS のlogrotate に任せてしまうとhoge.log.gz への追記中にlogrotate が動作した場合、hoge.log.gz は中途半端な破損ファイルになってしまうのではないか？という点が気になっています。
※fluentd とos logrotate のように独立したものを組み合わせて使うことで、不整合が生じるのではないか...と。

ドキュメント よりrotate_age の設定があり、数字だと保管期間、daily,weekly,monthly の文字列だとローテートのタイミングを制御できるように読めたのでrotate_age daily を設定したところ、

..... logger/period.rb:21:in `next_rotate_time': invalid :shift_age :daily, should be daily, weekly, monthly, or everytime (ArgumentError)

のログが出てfluentd が起動しません。rotate_age "daily" やダメ元でrotate_age=daily などをチャレンジしたもののこれもうまくいきません。

<system>
  workers 1
  log_level info
  <log>
    rotate_age daily
  </log>
</system>

1. rotate_age <enum> は、実際には設定不可なのでしょうか？それとも設定方法に誤りがありますか？
2. rotate_age 10 を設定して19:00 - 翌08:00 まで稼働させてみたものの、fluentd のログも、fluentd:out_file で出力されるログもローテートされていませんでした。rotate_age <integer> は本来どのように動作する想定の設定なのでしょうか？絶対時間でのローテートの動作や、相対時間(fluentd の稼働時間)、または別の要素？
3. rotate_age のパラメータで「daily / 30 世代」のような設定はできるでしょうか？（多分できないと思ってますが...
4. rotate_age を利用しない場合、OS のlogrotate と組み合わせる必要があるのですが、先に述べたような「出力中にローテされてしまったためにout_file で出力しているhoge.log.gz が破損する」ことはありますか？
   ※ローテ中にdiskfull になるなど、破損する原因はいくつか考えられるが、fluentd の動作とlogrotate の動作が組み合わされることが原因で破損する可能性がありますか？

[daipom]

ドキュメント よりrotate_age の設定があり、数字だと保管期間、daily,weekly,monthly の文字列だとローテートのタイミングを制御できるように読めたのでrotate_age daily を設定したところ、

..... logger/period.rb:21:in `next_rotate_time': invalid :shift_age :daily, should be daily, weekly, monthly, or everytime (ArgumentError)

のログが出てfluentd が起動しません。rotate_age "daily" やダメ元でrotate_age=daily などをチャレンジしたもののこれもうまくいきません。

おお！これはFluentdのバグですね！見つけていただいてありがとうございます！
もしよろしければ https://github.com/fluent/fluentd/issues でバグレポートをしてもらえると助かります。
(もしお時間など厳しければ、僕が時間のある時にバグレポートか修正PRを作ろうと思います。)

ファイルでローテートの設定をする場合はrotate_ageには数値しか使えないようです。
(コマンドラインオプションでも指定可能なのですが、こちらはdailyなども使えそうです)
あまりdailyなどの数値以外の設定は使われていないんですね。。

Rubyには文字列の他にシンボルという概念があるのですが、rotate_age dailyを指定するとFluentdは内部でシンボルとして保持しています。

• fluentd/lib/fluent/system_config.rb

  Lines 63 to 75 in e20697e

  	config_param :rotate_age, default: nil do |v|
  	if Fluent::Log::LOG_ROTATE_AGE.include?(v)
  	v.to_sym
  	else
  	begin
  	Integer(v)
  	rescue ArgumentError => e
  	raise Fluent::ConfigError, e.message
  	else
  	v.to_i
  	end
  	end
  	end

しかし、Fluentdが利用するLoggerライブラリーは文字列dailyを期待しているので、このエラーになっているようです。

• https://github.com/ruby/ruby/blob/v3_2_2/lib/logger/period.rb#L9-L22

[daipom]

fluentd でまとめて「ログの圧縮出力」と「ローテート」を実現したいです。

これは、Fluentd自体のログのことですか？
それとも、out_fileプラグインなどが出力するログのことですか？

[mikankun1003]

実現したいのは

out_fileプラグインなどが出力するログのことですか？

この通りです。
fluentd:out_file が圧縮して出力しているログを、毎日ローテートしたいです。

[daipom]

なるほど！
System Configurationのログ設定は、Fluentdが出力するFluentd自身の動作ログ用の設定なので、実現したいこととは関係なさそうです。

out_fileプラグインに1日単位でファイルを出力させることができれば、実現できたことになりますかね？

out_fileはデフォルトで1日単位のサフィックスを付けるはずなので、
append trueを設定して追記モードにすれば、そうなるはずです。

圧縮させた場合も問題なく動作するはずです。
gz圧縮形式は解凍せずに追記可能なので、圧縮のままどんどん追記していけます。

[mikankun1003]

ありがとうございます！返信が遅れて申し訳ありません。
System Configurationのログ設定はあくまでfluentd が出力する自身の動作ログとのことで、実現したいこととは別の用でした。

ので、ご意見をいただいた通りbuffer のchunk_keys にtag,time を指定して、append true 指定で実現できました。
/path/<tag>.<yyyymmdd>.log.gz

<buffer tag,time>

またgz についてもよい感じで日付またいだタイミングで別ファイルにしてくれて助かりました。
ありがとうございました！

[daipom]

おお！それはよかったです！
また何かあれば、ぜひご質問やissue作成などしていただけたらありがたいです！

[mikankun1003]

おお！これはFluentdのバグですね！見つけていただいてありがとうございます！
もしよろしければ https://github.com/fluent/fluentd/issues でバグレポートをしてもらえると助かります。
(もしお時間など厳しければ、僕が時間のある時にバグレポートか修正PRを作ろうと思います。)

ご回答ありがとうございます。
せっかくなのでチャレンジしてみました。issue
ただ機械翻訳なのでよく分からないことになっているかもしれません...

あまりdailyなどの数値以外の設定は使われていないんですね。。

そうなんですね、ローテートの需要がないのかもしれないですね（およそos のcron によって実行される logrotate に任せたりしているのでしょうか

[daipom]

すばらしいです！ありがとうございます！
いい感じだと思います！