2024.05.31

GridFSを使ってMongoDBにサイズの大きい画像や動画ファイルを保存する #mongodb #documentdb

MongoDBテクニカルサポートの山森です。

ドキュメントDBは、スキーマレスだとよく言われます。JSON形式（※1）であればどんなデータも柔軟に保存することができます。MongoDBは画像や動画ファイルをドキュメント内にバイナリデータとして保存することが可能です。ドキュメント（RDBで言うところのレコード）のサイズのリミットは16MB（※2）ですが、GridFSを用いることで16MB以上のデータを扱うことができます。

GridFSとはどんなものなのでしょうか。16MBを超えるファイルを、MongoDB内ではどのように取り扱うのでしょうか？実際にデータを操作して確かめてみましょう。

※1　厳密にはBSON（Binary JSON）という形式でデータを取り扱います。詳細は「JSON and BSON」をご覧ください。

※2　MongoDB Limits and Thresholds - BSON Documents

検証環境

今回はMongoDB Server Community Edition 7.0.8を使用します。この記事の時に構築したP1S2のレプリカセットですが、MongoDB Atlasを使用しても構いません。

前準備：16MB以上のファイルを用意する

今回はこちらのサイトから100MBの画像ファイルをお借りしました。大きいファイルを扱えるかどうか確認するための検証なので、画像ファイルでなくても構いません。Linux環境ならddコマンドなどで用意しても良いでしょう。

画像をダウンロードしておきます。

nika@gaia:~$ curl -O "https://sample-img.lb-product.com/wp-content/themes/hitchcock/images/100MB.png"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  100M  100  100M    0     0  10.2M      0  0:00:09  0:00:09 --:--:--  9.9M
nika@gaia:~$ ls -lh 100MB.png
-rw-r--r-- 1 nika nika 100M  5月 30 11:29 100MB.png

画像ファイルをMongoDBに追加する

今回は、MongoDBに画像ファイルを保存するためにmongofilesというコマンドを使います。MongoDB Server Community Editionと一緒にインストールされています。GridFSを使用するのに、MongoDB Server側の設定変更は必要ありません。

mongofilesで、gridtestというデータベースに100MB.pngの画像ファイルを追加します。データベースが存在しない場合は新しく作られるので、事前に用意する必要はありません。また、今回はlocalhostで動作するMongoDB Serverに対して接続しているので、接続文字列は必要ありません。

nika@gaia:~$ mongofiles -v -d gridtest put 100MB.png
2024-05-30T11:31:21.625+0900    using write concern: &{majority false 0}
2024-05-30T11:31:21.627+0900    connected to: mongodb://localhost/
2024-05-30T11:31:21.627+0900    handling mongofiles 'put' command...
2024-05-30T11:31:21.628+0900    adding gridFile: 100MB.png

2024-05-30T11:31:22.310+0900    added gridFile: 100MB.png

無事追加されたようです。MongoDBの中ではどうなっているのか見てみましょう。mongoshでlocalhostのMongoDB Serverに接続します。blacktriplestarはレプリカセットの名前です。gridtestというデータベースができていますね。

その中にfs.chunksとfs.filesという2つのコレクション（RDBで言うところのテーブル）ができています。これがGridFSの実態です。

blacktriplestar [direct: primary] test> use gridtest
switched to db gridtest
blacktriplestar [direct: primary] gridtest> show dbs
admin         80.00 KiB
config       228.00 KiB
gridtest     100.55 MiB
local        109.82 MiB
mobilesuits   40.00 KiB

blacktriplestar [direct: primary] gridtest> show collections
fs.chunks
fs.files

それぞれのコレクションの中身をのぞいてみましょう。fs.filesのドキュメント数は１件だけです。

実際のデータの中身はこうなっていました。

{
  "_id": {
    "$oid": "665808c95c2d806dd999c073"
  },
  "length": {
    "$numberLong": "104857600"
  },
  "chunkSize": 261120,
  "uploadDate": {
    "$date": "2024-05-30T05:04:09.942Z"
  },
  "filename": "100MB.png",
  "metadata": {}
}

こちらはGUIインターフェースのCompass上でドキュメントを見たときの画面です。

lengthは100MB.pngのファイルサイズです。OS側でもサイズを見てみましょう。同じ値になっていますね。

nika@gaia:~$ ls -l 100MB.png
-rw-r--r-- 1 nika nika 104857600  5月 30 11:39 100MB.png

chunkSizeは１つのチャンクあたりのサイズです。MongoDBはこの大きさで16MB以上のファイルを複数のチャンク（１つの大きな塊から切り分けたものという意味）に切り分け、ドキュメントとして保存します。

104857600 Byteを 261120 Byteで割った数、つまり今回の100MB.pngを保存するために、402個のドキュメントが存在しているはずです。

今度はfs.chunksを見てみましょう。Compassではドキュメントの総数を常に表示してくれます。画像の左上を見てみると、「Documents 402」と表示されています。

確かに、402個のドキュメントが存在していますね！

ドキュメントの中身はどうなっているのでしょうか。その中のひとつを見てみましょう。

{
  "_id": {
    "$oid": "665808c95c2d806dd999c074"
  },
  "files_id": {
    "$oid": "665808c95c2d806dd999c073"
  },
  "n": 0,
  "data": {
    "$binary": {
      "base64": "iVBORw0KGgoAAAANSUhEUgAAAoAAAAKAAQMAAAA2A1tgAAAABGdBTUEAALGPC/xhBQAAACBjSFJNAAB6JgAAgIQAAPoAAACA6AAAdTAAAOpgAAA6mAAAF3CculE8AAAABlBMVEX/ZgD///(途中省略)9Xb7b8AAAAAWJLR0QB/wIt3gAAAAd0SU1FB+MDEJTeEdFSGRIdFhnRTJ0SWZmcXAzNEl1Z051bllTRXhmcWlXSGNRZWRSd29WbEV4RGpUTzNFWWFONnZ1UVFYV2Z1VnBCRlFWdFVDcWcyOUk1Vll5WHVtRElPZ3VXV2NvQkRPeG80SXZMc2liMG1ucnVLSG9XS005N1FVRE51aFdzVmwyQ3JPZmpi",
      "subType": "00"
    }
  }
}

画像ファイルがバイナリとして保存されていることが分かります。バイナリ部分は実際はとても長いので、一部を省略させていただきました。

files_id は fs.filesのObjectId（MongoDBがドキュメントに自動的に一意に付与するID）と同じ値です。これで、このドキュメントが100MB.pngのチャンクの一部であることが分かります。

"n":0はチャンクのシーケンス番号です。連番となっており、0から始まります。今回の場合は401まで存在します。

画像ファイルをMongoDBから取り出す

取り出すときもmongofilesを使います。チャンクなどを意識せずに簡単に取り出すことができます。

nika@gaia:~$ mongofiles -v -d gridtest get 100MB.png
2024-05-30T11:39:03.699+0900    using write concern: &{majority false 0}
2024-05-30T11:39:03.701+0900    connected to: mongodb://localhost/
2024-05-30T11:39:03.701+0900    handling mongofiles 'get' command...
2024-05-30T11:39:03.807+0900    finished writing to 100MB.png

nika@gaia:~$ ls -l
合計 102432
-rw-r--r-- 1 nika nika 104857600  5月 30 11:39 100MB.png
-rw-r--r-- 1 nika nika     28794  5月 16 11:13 mdiag.sh

fs.filesでファイル名を管理しているので、間違えると取り出すことができません。ちなみに、ファイル名を間違えた（存在しないファイル名を指定した）場合はこうなります。

nika@gaia:~$ mongofiles -v -d gridtest get 100megabyte.png
2024-05-30T15:53:11.211+0900    using write concern: &{majority false 0}
2024-05-30T15:53:11.214+0900    connected to: mongodb://localhost/
2024-05-30T15:53:11.214+0900    handling mongofiles 'get' command...
2024-05-30T15:53:11.214+0900    Failed: requested files not found: [100megabyte.png]