「巨大ファイルが開けない」の答えのまとめ — メモ帳・Excel・VS Code・klogg・ripgrep で 10GB・50GB・258GB を開いて探した実測


「巨大ファイルが開けない」の答えのまとめの図。メモ帳・Excel・VS Code・分割が止まる理由、メモリに載せずに開く方式、実測した 51,254,526,392 バイトと 258,679,440,228 バイト、klogg・ripgrep と比べた倍率。

「巨大ファイルが開けない」の答えのまとめ — メモ帳・Excel・VS Code・klogg・ripgrep で 10GB・50GB・258GB を開いて探した実測

ダブルクリックしたログが開かない。メモ帳は「ファイルが大きすぎます」と言い、VS Code は開いたものの検索で固まる。この場面について、筆者は 3GB から 258GB までのファイルを、メモ帳・Excel・VS Code・klogg・grep・ripgrep・EmEditor と比べながら測ってきました。このページは、その答えを 1 か所にまとめたものです。

数字はすべて筆者本人の実測で、主に 1 台の Mac の値です。負けている場面も、そのまま書きます。

※ファイル容量の表記について:このページでは、ファイルの大きさをバイト数で書き、GB は SI(÷1000³)で添えます。「51.25GB」は 51,254,526,392 バイト(47.73GiB)、「258.68GB」は 258,679,440,228 バイトです。過去に「48GB」と書いたファイルは、51.25GB と同じファイルです。

先に結論

  1. 開けない理由は 1 つです。 メモ帳・Excel・VS Code は、編集のためにファイル全体(または行の一覧)をメモリに置こうとします。メモリより大きいファイルは、そこで止まります。
  2. メモリに載せない道具なら、大きさはほぼ関係なくなります。 筆者が作っている UwView(巨大ファイルを、いつでも瞬時に)は、8.9 億行のファイルを開いて 12 ミリ秒で先頭を出し、末尾の行へ 0.006 ミリ秒で跳びました。258.68GB・45 億行の 1 本のファイルも開けています。
  3. 探す速さは「1 回きり」か「何度も」かで変わります。 1 回目の検索は ripgrep と同等です。同じファイルに 2 問目から聞くと、索引を持つ UwView Pro は ripgrep より 8.6〜10.9 倍速くなりました(51.25GB・Mac)。

1. なぜ開けないのか — 定番 4 つの行き止まり

道具 止まるところ
メモ帳 数百 MB で「ファイルが大きすぎます」
Excel 約 104 万行を超えた分は読み込まれない。途中で止まっても、見た目は正常に見える
VS Code 上限を上げて開いても、色分けが効かず、検索でウィンドウが固まる
分割(split など) 開けるが、行番号と前後のつながりが切れる。50 個に切れば 50 回探すことになる

4 つとも、根っこは同じです。ファイルを丸ごとメモリに置こうとしていること。50GB のログを 16GB や 32GB のメモリに置くことは、そもそもできません。障害調査では、分割が逆効果になることもあります。

2. メモリに載せずに開く

必要なのは、ファイルをメモリに載せずに、見ている所だけを読む作りです。UwView はこの作りで、索引を作っている最中から、先頭も末尾も読めます。 索引はバックグラウンドで作り、完成すると行番号が付きます。

行数が分かっていない巨大ファイルでも、まず開いて中身を見て、必要なら検索する、という順に進められます。メモリ 16GB のノート PC で 50GB のログを開く場合も、同じ考え方です。

3. どこまで開けるのか — 8.9 億行と 45 億行の実測

ファイル バイト数 行数 先頭を出すまで(ミリ秒) 末尾の行へ跳ぶ(ミリ秒) 索引を作り終えるまで(秒)
OpenStreetMap 日本(XML) 51,254,526,392 892,239,125 12 0.006 172.8
OpenStreetMap アメリカ全土(XML・分割なしの 1 本) 258,679,440,228 4,509,830,821 — — 328
  • 日本の値は、2026 年 7 月に UwView 同梱の計測用プログラムで測りました(Mac・外付け SSD)。総行数は wc -l と 1 行も違いませんでした。
  • アメリカの値は、2026 年 7 月に UwView Pro を画面で操作して測りました(Mac 実機)。保存した .uwvz(uvp 用の圧縮形式+索引)は 28.61GB で、元の約 1/9 です。2 回目からは、これを使うので、開くのは一瞬です。
  • 詳しい測り方は、51GB・8.9 億行の実データを開く記事と、258.68GB・45 億行を開く記事にあります。

4. 開いたあと探す — klogg・ripgrep と比べた数字

同じ 51.25GB のファイルを、同じ Mac(Apple M4・10コア)と外付け USB SSD で測った値です。秒は同じ機械の中でだけ比べます。1.5 倍未満の差は「同等」と書きます。

比べたこと 相手(秒) UwView(秒) 結果 測った版・日付
開く(klogg と) 52.55 50.44 同等 v1.6.6・2026 年 9 月
開いて探す(klogg と) 55.59 53.50 同等 v1.6.6・2026 年 9 月
探して、ヒットした行を画面で読むまで(klogg と) 109.32 50.76 klogg より 2.15 倍速い v1.6.6・2026 年 9 月
索引を使った検索(UwView Pro・klogg と) 55.59 6.47 klogg より 8.6 倍速い v1.7.3.1・2026 年 9 月 28 日
1 問目の検索(UwView Pro・ripgrep と) — — 同等 v1.7.3.6.9・2026 年 10 月 4 日
2 問目からの検索(UwView Pro・ripgrep と) 55〜70 6.45 ripgrep より 8.6〜10.9 倍速い v1.7.3.6.9・2026 年 10 月 4 日

ripgrep の 2 問目は、測るたびに 55〜70 秒とぶれるので、幅で書いています。

258.68GB・45 億行のファイルに 5 つの語を順に聞いた計測(2026 年 9 月)では、5 問の合計はこうなりました。

道具 5 問の合計(秒) 1 問あたり(秒)
BSD grep 1,789.22 357.84
ripgrep 1,389.55 277.91
UwView Pro 161.90 32.38

5. 負けているところ・同等のところ

  • 1 回だけ探すなら、grep・ripgrep で十分です。 1 問目は UwView Pro も ripgrep と同等で、索引を作る分の時間がかかります。差が出るのは 2 問目からです。
  • UwView(無料版)の開く・探すは、klogg と同等です。 速くなるのは、「探して画面で読むまで」をつなげたときです。
  • ディスクが遅いと、全部の道具が横に並びます。 読み出し 0.41GB/s の外付けドライブで 51.25GB を探すと、grep 64.64 秒・ripgrep 71.49 秒と、grep の方が速く出ました。「grep の方が速い」は、遅いディスクでだけ成り立つ結論でした。
  • 計測そのものを間違えたこともあります。 ファンの無い Mac で連続して測ったら、熱で 54% ぶれました。
  • ここに並べた秒は、Mac の値です。 Windows・Linux でも動くことは確かめていますが、OS をまたいで秒を比べてはいません。

6. 大きさで道具を選ぶ

やりたいこと 向いている道具
1 回だけ、1 つの語を探す grep・ripgrep
開いて、前後の行を読みながら調べる UwView
同じファイルに何度も聞く・保管して何度も開く UwView Pro
メモリに収まる大きさのファイルを編集する EmEditor などのエディタ

自分で確かめるには

測り方は単純です。同じファイルで、冷えた状態(キャッシュを捨てた状態)と、続けて測る状態を分けます。Mac では、次のようにします。

sudo purge          # ディスクキャッシュを捨てる
sleep 10
time rg 東京 big.log   # 1 回目(cold)
time rg 東京 big.log   # 2 回目(hot)
wc -l big.log          # 総行数。ビューアの数字と突き合わせる

数字は、環境(ディスク・メモリ・OS)で大きく変わります。ご自身のファイルで確かめてください。

関連


お願い
本記事の数値は筆者の環境での実測で、環境により変わります。誤りがありましたら、サポートのメールでお知らせください。確認のうえ修正します。

開発者より:アプリ・Kindle本・公開プロジェクトの一覧は GitHub: amru195704 にまとめています。


コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

トップへ戻る