
「巨大ファイルが開けない」の答えのまとめ — メモ帳・Excel・VS Code・klogg・ripgrep で 10GB・50GB・258GB を開いて探した実測
ダブルクリックしたログが開かない。メモ帳は「ファイルが大きすぎます」と言い、VS Code は開いたものの検索で固まる。この場面について、筆者は 3GB から 258GB までのファイルを、メモ帳・Excel・VS Code・klogg・grep・ripgrep・EmEditor と比べながら測ってきました。このページは、その答えを 1 か所にまとめたものです。
数字はすべて筆者本人の実測で、主に 1 台の Mac の値です。負けている場面も、そのまま書きます。
※ファイル容量の表記について:このページでは、ファイルの大きさをバイト数で書き、GB は SI(÷1000³)で添えます。「51.25GB」は 51,254,526,392 バイト(47.73GiB)、「258.68GB」は 258,679,440,228 バイトです。過去に「48GB」と書いたファイルは、51.25GB と同じファイルです。
先に結論
- 開けない理由は 1 つです。 メモ帳・Excel・VS Code は、編集のためにファイル全体(または行の一覧)をメモリに置こうとします。メモリより大きいファイルは、そこで止まります。
- メモリに載せない道具なら、大きさはほぼ関係なくなります。 筆者が作っている UwView(巨大ファイルを、いつでも瞬時に)は、8.9 億行のファイルを開いて 12 ミリ秒で先頭を出し、末尾の行へ 0.006 ミリ秒で跳びました。258.68GB・45 億行の 1 本のファイルも開けています。
- 探す速さは「1 回きり」か「何度も」かで変わります。 1 回目の検索は ripgrep と同等です。同じファイルに 2 問目から聞くと、索引を持つ UwView Pro は ripgrep より 8.6〜10.9 倍速くなりました(51.25GB・Mac)。
1. なぜ開けないのか — 定番 4 つの行き止まり
| 道具 | 止まるところ |
|---|---|
| メモ帳 | 数百 MB で「ファイルが大きすぎます」 |
| Excel | 約 104 万行を超えた分は読み込まれない。途中で止まっても、見た目は正常に見える |
| VS Code | 上限を上げて開いても、色分けが効かず、検索でウィンドウが固まる |
分割(split など) |
開けるが、行番号と前後のつながりが切れる。50 個に切れば 50 回探すことになる |
4 つとも、根っこは同じです。ファイルを丸ごとメモリに置こうとしていること。50GB のログを 16GB や 32GB のメモリに置くことは、そもそもできません。障害調査では、分割が逆効果になることもあります。
2. メモリに載せずに開く
必要なのは、ファイルをメモリに載せずに、見ている所だけを読む作りです。UwView はこの作りで、索引を作っている最中から、先頭も末尾も読めます。 索引はバックグラウンドで作り、完成すると行番号が付きます。
行数が分かっていない巨大ファイルでも、まず開いて中身を見て、必要なら検索する、という順に進められます。メモリ 16GB のノート PC で 50GB のログを開く場合も、同じ考え方です。
3. どこまで開けるのか — 8.9 億行と 45 億行の実測
| ファイル | バイト数 | 行数 | 先頭を出すまで(ミリ秒) | 末尾の行へ跳ぶ(ミリ秒) | 索引を作り終えるまで(秒) |
|---|---|---|---|---|---|
| OpenStreetMap 日本(XML) | 51,254,526,392 | 892,239,125 | 12 | 0.006 | 172.8 |
| OpenStreetMap アメリカ全土(XML・分割なしの 1 本) | 258,679,440,228 | 4,509,830,821 | — | — | 328 |
- 日本の値は、2026 年 7 月に UwView 同梱の計測用プログラムで測りました(Mac・外付け SSD)。総行数は
wc -lと 1 行も違いませんでした。 - アメリカの値は、2026 年 7 月に UwView Pro を画面で操作して測りました(Mac 実機)。保存した
.uwvz(uvp用の圧縮形式+索引)は 28.61GB で、元の約 1/9 です。2 回目からは、これを使うので、開くのは一瞬です。 - 詳しい測り方は、51GB・8.9 億行の実データを開く記事と、258.68GB・45 億行を開く記事にあります。
4. 開いたあと探す — klogg・ripgrep と比べた数字
同じ 51.25GB のファイルを、同じ Mac(Apple M4・10コア)と外付け USB SSD で測った値です。秒は同じ機械の中でだけ比べます。1.5 倍未満の差は「同等」と書きます。
| 比べたこと | 相手(秒) | UwView(秒) | 結果 | 測った版・日付 |
|---|---|---|---|---|
| 開く(klogg と) | 52.55 | 50.44 | 同等 | v1.6.6・2026 年 9 月 |
| 開いて探す(klogg と) | 55.59 | 53.50 | 同等 | v1.6.6・2026 年 9 月 |
| 探して、ヒットした行を画面で読むまで(klogg と) | 109.32 | 50.76 | klogg より 2.15 倍速い | v1.6.6・2026 年 9 月 |
| 索引を使った検索(UwView Pro・klogg と) | 55.59 | 6.47 | klogg より 8.6 倍速い | v1.7.3.1・2026 年 9 月 28 日 |
| 1 問目の検索(UwView Pro・ripgrep と) | — | — | 同等 | v1.7.3.6.9・2026 年 10 月 4 日 |
| 2 問目からの検索(UwView Pro・ripgrep と) | 55〜70 | 6.45 | ripgrep より 8.6〜10.9 倍速い | v1.7.3.6.9・2026 年 10 月 4 日 |
ripgrep の 2 問目は、測るたびに 55〜70 秒とぶれるので、幅で書いています。
258.68GB・45 億行のファイルに 5 つの語を順に聞いた計測(2026 年 9 月)では、5 問の合計はこうなりました。
| 道具 | 5 問の合計(秒) | 1 問あたり(秒) |
|---|---|---|
| BSD grep | 1,789.22 | 357.84 |
| ripgrep | 1,389.55 | 277.91 |
| UwView Pro | 161.90 | 32.38 |
5. 負けているところ・同等のところ
- 1 回だけ探すなら、grep・ripgrep で十分です。 1 問目は UwView Pro も ripgrep と同等で、索引を作る分の時間がかかります。差が出るのは 2 問目からです。
- UwView(無料版)の開く・探すは、klogg と同等です。 速くなるのは、「探して画面で読むまで」をつなげたときです。
- ディスクが遅いと、全部の道具が横に並びます。 読み出し 0.41GB/s の外付けドライブで 51.25GB を探すと、grep 64.64 秒・ripgrep 71.49 秒と、grep の方が速く出ました。「grep の方が速い」は、遅いディスクでだけ成り立つ結論でした。
- 計測そのものを間違えたこともあります。 ファンの無い Mac で連続して測ったら、熱で 54% ぶれました。
- ここに並べた秒は、Mac の値です。 Windows・Linux でも動くことは確かめていますが、OS をまたいで秒を比べてはいません。
6. 大きさで道具を選ぶ
| やりたいこと | 向いている道具 |
|---|---|
| 1 回だけ、1 つの語を探す | grep・ripgrep |
| 開いて、前後の行を読みながら調べる | UwView |
| 同じファイルに何度も聞く・保管して何度も開く | UwView Pro |
| メモリに収まる大きさのファイルを編集する | EmEditor などのエディタ |
自分で確かめるには
測り方は単純です。同じファイルで、冷えた状態(キャッシュを捨てた状態)と、続けて測る状態を分けます。Mac では、次のようにします。
sudo purge # ディスクキャッシュを捨てる
sleep 10
time rg 東京 big.log # 1 回目(cold)
time rg 東京 big.log # 2 回目(hot)
wc -l big.log # 総行数。ビューアの数字と突き合わせる
数字は、環境(ディスク・メモリ・OS)で大きく変わります。ご自身のファイルで確かめてください。
関連
- 51GB・8.9億行と 258GB・45億行の実データを開く(このサイト)
- ripgrep・grep と比べた全記録(このサイト)
- UwView のダウンロード(Windows・macOS・Linux)
- ベンチマークのまとめ(uvp.y42u.net)
- 元になった記事のまとめページ
お願い
本記事の数値は筆者の環境での実測で、環境により変わります。誤りがありましたら、サポートのメールでお知らせください。確認のうえ修正します。
開発者より:アプリ・Kindle本・公開プロジェクトの一覧は GitHub: amru195704 にまとめています。
コメントを残す