
51GB・8.9億行と 258GB・45億行の実データを開く — wc -l と行数は一致するか、どこまで開けるのか
「巨大ファイルを開ける」と言うなら、作り物ではなく、実際のデータで確かめたい。そこで、OpenStreetMap(OSM)を XML に展開して、51GB・8.9 億行のファイルと、258GB・45 億行のファイルを作り、UwView で開きました。この記事は、その作り方と結果、そして「理論上どこまで開けるのか」の計算をまとめたものです。
※ファイル容量の表記について:「51GB」は 51,254,526,392 バイト(SI で 51.25GB、47.73GiB)、「258GB」は 258,679,440,228 バイト(SI で 258.68GB、240.9GiB)です。
ls -lhが GiB で表示する値とは、違って見えます。
テストデータの作り方
OSM の日本データは、Geofabrik で配布されています。配布形式は、バイナリの .osm.pbf(約 2.3GB)なので、osmium-tool でテキストの XML(.osm)に展開します。
# pbf(2.3GB・バイナリ)を取得
curl -L -o japan-latest.osm.pbf \
https://download.geofabrik.de/asia/japan-latest.osm.pbf
# osmium で XML(テキスト)に展開 → 51GB・8.9億行
osmium cat japan-latest.osm.pbf -o japan-latest.osm
# 行数を数える(ビューアの総行数と突き合わせる)
wc -l japan-latest.osm
できあがるのは、緯度経度を持つ <node> 要素が延々と並ぶ、UTF-8 のテキストです。アメリカ全土(PBF 約 11GB)も同じ手順で、約 15 分かけて 1 本の XML にしました。ログは普通ローテートされ、ダンプは分割されます。分割されていない、テラバイト手前の 1 ファイルは、自分で作るのが一番早い、という結論でした。
51GB・892,239,125 行の結果
Apple Silicon の Mac・外付け SSD で、UwView 同梱の計測用プログラムを使って測りました(2026 年 7 月)。
| 項目 | 実測値 |
|---|---|
| ファイルサイズ | 51,254,526,392 バイト |
| 開く+文字コード判定 | 12 ミリ秒 |
| ページモードで表示(先頭 50 行+50% の位置 50 行) | 3 ミリ秒 |
| 索引を作る(1 回の順次読み) | 172.8 秒(283 MB/s) |
| 総行数 | 892,239,125(wc -l と一致) |
| 索引のチェックポイント | 3,485,310 件(約 26.6MB) |
| マネージヒープの増加 | 33.3MB |
| 任意の行の取得(ランダム 1,000 回) | 平均 1.28 ミリ秒・最大 5.7 ミリ秒 |
| 末尾(8.9 億行目)へ跳ぶ | 0.006 ミリ秒 |
確かめたかったのは、「最大 2 億行」とうたっていた範囲を超えても破綻しないか、でした。総行数は wc -l と 1 行も違わず、末尾へのジャンプも一瞬でした。常駐するのは、索引 26.6MB とヒープ 33MB 程度で、ファイル本体はメモリに載せません。
合成データ(2 億行・5.1GB)と比べると、任意の行の取得は遅くなりました(0.005 ミリ秒 → 1.28 ミリ秒)。外付け SSD のランダム読みが律速になり、行の長さがまちまちで、ファイルがメモリに載りきらないためです。それでも、ミリ秒の単位です。
258.68GB・4,509,830,821 行の結果
Mac 実機で UwView Pro を画面で操作して測りました(2026 年 7 月)。
| 項目 | 実測値 |
|---|---|
| 初回オープン(索引を作り終えるまで) | 5 分 28 秒(328 秒) |
| 2 回目以降のオープン | 一瞬(.uwvz を使う) |
| 総行数 | 4,509,830,821 |
| 全文検索「New York」 | 34.8 秒・100,492 件ヒット |
| 全文検索「Boston」 | 約 34 秒 |
.uwvz(圧縮形式+索引)のサイズ |
28.61GB(元の約 1/9) |
見てほしい点が 3 つあります。
- 索引を作っている最中から読める。 索引が 10% の段階でも、XML の中身が表示され、スクロールできました。行番号の欄は、索引が完成するまで空です。
- 検索は、語に関係なく約 34 秒で一定だった。 ヒット件数は違っても、時間はほぼ同じです。走査するデータ量で、時間が決まるためです。
.uwvzは元の約 1/9。 258.68GB の XML を取っておく代わりに、28.61GB の.uwvzを取っておき、そのまま開いて検索する、という運用ができます。
なお、34 秒で 258.68GB を舐めた計算になると、約 7.6GB/s になります。これは見かけの数字です。検索は、保存した圧縮キャッシュ(28.61GB)を経由するので、実際に読むデータ量はもっと小さくなります。
理論上、何行まで開けるのか
行番号とバイト位置は、符号付き 64 ビット整数(C# の long)で持っています。型としての上限は、次のとおりです。
long.MaxValue = 9,223,372,036,854,775,807 (約 9.2×10^18 行 = 約 920 京行)
ただし、この手前に、壁が順番に現れます。
| 段階 | 上限 | 実際に効くか |
|---|---|---|
| 型としての上限 | 約 920 京行 | 事実上、到達できない |
| 索引の構造 | 既定で約 5,500 億行(設定で拡張可) | 索引のメモリが先に律速になる |
| ストレージ | ファイルシステムの最大ファイルサイズと容量 | ここが現実の上限 |
- 索引は、256 行ごとに 1 つだけバイト位置を持つ形です。.NET の配列は要素数が約 21.4 億までなので、既定では 21.4 億 × 256 ≒ 5,500 億行で頭打ちになります。
- 8.9 億行で索引が 26.6MB だったので、5,500 億行まで伸ばすと、索引だけで約 17GB のメモリが必要になります。
- 最後に効くのは、ストレージ容量です。「用意できる一番大きいファイルが、ビューアの限界」と言えます。
正直な注記
- すべて、1 台の Mac・単一ファイルでの実測です。マシンやストレージが変われば、数字は動きます。
- 初回の 5 分 28 秒は、短縮できません。 258.68GB を一度は全部読む必要があるためです。主張しているのは「初回が最速」ではなく、「初回の最中から読める」と「2 回目以降は一瞬」の 2 点です。
- 全文検索を最後まで走らせるには、索引の完成が要ります。
- 8.9 億行では、索引を作るのに約 3 分かかり、検索の結果もすぐには出ません。筆者の感触では、実用の目安はもっと小さい行数です。
- 検索時間は、それぞれ 1 回の実測値で、複数回の平均ではありません。
関連
- 「巨大ファイルが開けない」の答えのまとめ(このサイト)
- ripgrep・grep と比べた全記録(このサイト)
- 51GB・8.9 億行の実データを開く(uvp.y42u.net)
- 258.68GB・45 億行を開く(uvp.y42u.net)
- 理論上どこまで開けるのか(uvp.y42u.net)
出典:OpenStreetMap contributors(ODbL)・Geofabrik・osmium-tool
お願い
本記事の数値は筆者の環境での実測で、環境により変わります。誤りがありましたら、サポートのメールでお知らせください。確認のうえ修正します。
開発者より:アプリ・Kindle本・公開プロジェクトの一覧は GitHub: amru195704 にまとめています。
コメントを残す