51GB・8.9億行と 258GB・45億行の実データを開く — wc -l と行数は一致するか、どこまで開けるのか


258GB のファイルを開く。アメリカ全土の OpenStreetMap を 1 本の XML にしたデータの地図と、行番号・XML の中身の画面。

51GB・8.9億行と 258GB・45億行の実データを開く — wc -l と行数は一致するか、どこまで開けるのか

「巨大ファイルを開ける」と言うなら、作り物ではなく、実際のデータで確かめたい。そこで、OpenStreetMap(OSM)を XML に展開して、51GB・8.9 億行のファイルと、258GB・45 億行のファイルを作り、UwView で開きました。この記事は、その作り方と結果、そして「理論上どこまで開けるのか」の計算をまとめたものです。

※ファイル容量の表記について:「51GB」は 51,254,526,392 バイト(SI で 51.25GB、47.73GiB)、「258GB」は 258,679,440,228 バイト(SI で 258.68GB、240.9GiB)です。ls -lh が GiB で表示する値とは、違って見えます。

テストデータの作り方

OSM の日本データは、Geofabrik で配布されています。配布形式は、バイナリの .osm.pbf(約 2.3GB)なので、osmium-tool でテキストの XML(.osm)に展開します。

# pbf(2.3GB・バイナリ)を取得
curl -L -o japan-latest.osm.pbf \
  https://download.geofabrik.de/asia/japan-latest.osm.pbf

# osmium で XML(テキスト)に展開 → 51GB・8.9億行
osmium cat japan-latest.osm.pbf -o japan-latest.osm

# 行数を数える(ビューアの総行数と突き合わせる)
wc -l japan-latest.osm

できあがるのは、緯度経度を持つ <node> 要素が延々と並ぶ、UTF-8 のテキストです。アメリカ全土(PBF 約 11GB)も同じ手順で、約 15 分かけて 1 本の XML にしました。ログは普通ローテートされ、ダンプは分割されます。分割されていない、テラバイト手前の 1 ファイルは、自分で作るのが一番早い、という結論でした。

51GB・892,239,125 行の結果

Apple Silicon の Mac・外付け SSD で、UwView 同梱の計測用プログラムを使って測りました(2026 年 7 月)。

項目 実測値
ファイルサイズ 51,254,526,392 バイト
開く+文字コード判定 12 ミリ秒
ページモードで表示(先頭 50 行+50% の位置 50 行) 3 ミリ秒
索引を作る(1 回の順次読み) 172.8 秒(283 MB/s)
総行数 892,239,125(wc -l と一致)
索引のチェックポイント 3,485,310 件(約 26.6MB)
マネージヒープの増加 33.3MB
任意の行の取得(ランダム 1,000 回) 平均 1.28 ミリ秒・最大 5.7 ミリ秒
末尾(8.9 億行目)へ跳ぶ 0.006 ミリ秒

確かめたかったのは、「最大 2 億行」とうたっていた範囲を超えても破綻しないか、でした。総行数は wc -l と 1 行も違わず、末尾へのジャンプも一瞬でした。常駐するのは、索引 26.6MB とヒープ 33MB 程度で、ファイル本体はメモリに載せません。

合成データ(2 億行・5.1GB)と比べると、任意の行の取得は遅くなりました(0.005 ミリ秒 → 1.28 ミリ秒)。外付け SSD のランダム読みが律速になり、行の長さがまちまちで、ファイルがメモリに載りきらないためです。それでも、ミリ秒の単位です。

258.68GB・4,509,830,821 行の結果

Mac 実機で UwView Pro を画面で操作して測りました(2026 年 7 月)。

項目 実測値
初回オープン(索引を作り終えるまで) 5 分 28 秒(328 秒)
2 回目以降のオープン 一瞬(.uwvz を使う)
総行数 4,509,830,821
全文検索「New York」 34.8 秒・100,492 件ヒット
全文検索「Boston」 約 34 秒
.uwvz(圧縮形式+索引)のサイズ 28.61GB(元の約 1/9)

見てほしい点が 3 つあります。

  1. 索引を作っている最中から読める。 索引が 10% の段階でも、XML の中身が表示され、スクロールできました。行番号の欄は、索引が完成するまで空です。
  2. 検索は、語に関係なく約 34 秒で一定だった。 ヒット件数は違っても、時間はほぼ同じです。走査するデータ量で、時間が決まるためです。
  3. .uwvz は元の約 1/9。 258.68GB の XML を取っておく代わりに、28.61GB の .uwvz を取っておき、そのまま開いて検索する、という運用ができます。

なお、34 秒で 258.68GB を舐めた計算になると、約 7.6GB/s になります。これは見かけの数字です。検索は、保存した圧縮キャッシュ(28.61GB)を経由するので、実際に読むデータ量はもっと小さくなります。

理論上、何行まで開けるのか

行番号とバイト位置は、符号付き 64 ビット整数(C# の long)で持っています。型としての上限は、次のとおりです。

long.MaxValue = 9,223,372,036,854,775,807  (約 9.2×10^18 行 = 約 920 京行)

ただし、この手前に、壁が順番に現れます。

段階 上限 実際に効くか
型としての上限 約 920 京行 事実上、到達できない
索引の構造 既定で約 5,500 億行(設定で拡張可) 索引のメモリが先に律速になる
ストレージ ファイルシステムの最大ファイルサイズと容量 ここが現実の上限
  • 索引は、256 行ごとに 1 つだけバイト位置を持つ形です。.NET の配列は要素数が約 21.4 億までなので、既定では 21.4 億 × 256 ≒ 5,500 億行で頭打ちになります。
  • 8.9 億行で索引が 26.6MB だったので、5,500 億行まで伸ばすと、索引だけで約 17GB のメモリが必要になります。
  • 最後に効くのは、ストレージ容量です。「用意できる一番大きいファイルが、ビューアの限界」と言えます。

正直な注記

  • すべて、1 台の Mac・単一ファイルでの実測です。マシンやストレージが変われば、数字は動きます。
  • 初回の 5 分 28 秒は、短縮できません。 258.68GB を一度は全部読む必要があるためです。主張しているのは「初回が最速」ではなく、「初回の最中から読める」と「2 回目以降は一瞬」の 2 点です。
  • 全文検索を最後まで走らせるには、索引の完成が要ります。
  • 8.9 億行では、索引を作るのに約 3 分かかり、検索の結果もすぐには出ません。筆者の感触では、実用の目安はもっと小さい行数です。
  • 検索時間は、それぞれ 1 回の実測値で、複数回の平均ではありません。

関連

出典:OpenStreetMap contributors(ODbL)・Geofabrik・osmium-tool


お願い
本記事の数値は筆者の環境での実測で、環境により変わります。誤りがありましたら、サポートのメールでお知らせください。確認のうえ修正します。

開発者より:アプリ・Kindle本・公開プロジェクトの一覧は GitHub: amru195704 にまとめています。


コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

トップへ戻る