ログファイルが大きいと処理に時間がかかりすぎる

[anatawa12]

手元の例だと9GBほどのものがありますが処理に23時間以上かかってしまいました。

[anatawa12]

調査したところ、処理は終わっており何故かLoggerが処理が終わってもハンドルを持ったまま長時間死んでしまうことがあるようです。

[nukora]

すみません、そこまで大きなファイルの読み込みは想定しておりませんでした……
時間のある時に手元の環境で再現するかどうか試してみます

[anatawa12]

ログファイルを少し見てみたところ該当の死なないプロセスのと思われるログの出力にはFile NotFoundが記録されてました。(別プログラムで定期的にログファイルを移動 削除してます)
こちら関係あるかもしれません

[nukora]

こちら私の環境では再現できませんでした。
10GBのダミーファイルを読み込ませるテストを何回か行いましたが、確かに時間はかかりますがどれも20分ほどで処理が終わりました。

定期的にログファイルの移動をするバッチを別途動かしているとのことですが、このアプリではログファイルのパースが1ファイル分終わるまでFileShare.ReadWriteで開いたままにしている為、
読み取りの途中でファイルが削除され挙動がおかしくなるといった事はないと思われます。
FileNotFoundはおそらく次に処理しようとしていた別ファイルのオープンに失敗した例外であり、これが出る段階ではファイルハンドルは開放されているはずですのでそちらも関係はなさそうです。

こちら高い頻度で起こるようでしたら対応したいのですが、特定の環境のみ・稀な頻度で起こる問題の場合は原因究明が難しい為、保留とさせてください。