S3 で公開しているバケットをバックエンドに nginx モジュール ngx_small_light を利用して画像をリサイズする方法をメモ http://d.hatena.ne.jp/akishin999/20130619/ にローカルの画像を対象にした画像変換手順が書かれているので、そこに S3 バックエンドを追記しただけとも言える。 ngx_small_light について github で公開 https://github.com/cubicdaiya/ngx_small_light pixiv の中の人が開発した nginx モジュール Apache 向け mod_small_light の nginx 移植 https://code.google.com/p/smalllight/ 画像変換エンジンは ImageMagick/Imlib2/GD から選択可能 構成 client
わりと長い間悩んでいたんだけど、最近解決したのでメモ。 サービスで利用しているsmalllightの画像変換サーバが、Apacheが使っているメモリ以上のメモリを使用し、Swapしたりメモリ枯渇でサーバがダウンするなどのことが何度かありました。 ↑メモリの動きはこんな感じ いろいろ調べた結果「dentry cache」なるものがメモリ多くを占めていることがわかりました。dentry cacheはディレクトリやファイル名とinodeとを結びつけに使われるキャッシュです。smalllightでは画像を変換する際に一時ファイルを作成するので、その情報が残るようです。 手元で再現させる 本番で使っているサーバはCentOS5系ですが、手元のVagrant上のCentOS6(ファイルシステムはext4)で、再現させてみました。 use Parallel::Prefork; use File::Tem
https://github.com/cubicdaiya/ngx_small_light 一昨日になりますが、ngx_small_light v0.4.0をリリースしました。変更内容は以下の３つです。 e=imlib2が指定されている場合にアクセスが集中すると時々Imlib2が画像データのファイル書き出しに失敗する e=imlib2,jpeghint=yが指定されている&存在しないリソースにアクセスされた場合にファイルディスクリプタがリークする問題の修正 angleパラメータの追加 バグ修正はまぁ書いてる通りですが、今回の目玉は最後のangleパラメータの追加です。ngx_small_lightには元々画像を回転させる機能がなかったのですが、 ImageFilterに搭載されていたので対抗意識(?)を燃やして追加してみました。 ngx_small_lightはサムネイルの生成に使う画像変
https://github.com/cubicdaiya/ngx_small_light サムネイルの動的生成を行うApacheモジュールのmod_small_lightをNginxにポーティングしてみた。 nginx.confはこんな感じで、できるだけmod_small_lightとあえて同じようにパラメータを指定できる形にしてある。 なのでパラメータの詳細についてはmod_small_lightの公式解説ページを参考にするとよい。 server { listen 8000; server_name localhost; # small_lightを有効にする small_light on; # 変換パターンを定義 small_light_pattern_define msize dw=500,dh=500,da=l,q=95,e=imagemagick,jpeghint=y; sma
この前インストールした mod_small_light の Nginx 版、ngx_small_light をインストールしてみました。 cubicdaiya/ngx_small_light https://github.com/cubicdaiya/ngx_small_light このモジュールを使うと Nginx でも Apache + mod_small_light と同じ感じで画像の自動リサイズなどが行えるようになります。 検証したのは以下の環境になります。 CentOS 6.3 x86_64 ImageMagick 6.8.5-10(OpenMP 有効) 今回は ImageMagick は OpenMP が有効なものを使用しました。 インストール準備 まずは依存ライブラリをインストールします。 # yum install -y pcre-devel zlib-devel open
今更ですが、livedoor により提供されている mod_small_light をインストールしてみました。 mod_small_light は動的にサムネイル画像を生成したりできる Apache モジュールです。 SMALL LIGHT 〜かんたん画像サムネイル作成モジュール〜 | livedoor labs EDGE http://labs.edge.jp/smalllight/ ちなみに、mod_small_light は OpenMP が有効な ImageMagick ではビルド時にエラーになってしまうようなので、前回インストールした OpenMP を無効にしたものを使用しています。 ==================== 2013/06/15 追記 ==================== コメント欄で id:cubicdaiya さんに教えて頂きました。 以下にあるパッチ
画像のリサイズを動的に行いたいとの要望があり、ミドルウェアで吸収できたら良いよねーということで、 クックパッドさんの「mod_tofu」とかいいなぁーと思っていたら、ライブドアさんから求めていたモジュールが 出ていたので、そちらを評価するために導入調査していたところ、makeが通らなかったので、その調査背景と対策方法を。。。 ちなみに、かなりの環境依存っぽいので、あまり当てはまらない方の方が多い気がします。。。(^_^;) 本当にこれでいいのかは不明で、通ったということだけで、アヤシイところ等不明な点をツッコミ頂くと幸いです。 導入方法については、xcirさんがまとめられていますので、そちらを基本参考に頂ければと思います。 OSのバージョンが違うこともあってか、ほとんどEPELリポジトリで対応が出来ました。(ibjpeg-turboは入れました） ■環境 Scientific Linux
先月からpixivの選考インターンに来ている@knmkrと申します。 インターンではbokkoさんのもと、 動的にサムネイルを生成するmod_small_lightを拡張する課題に取り組みました。 Github: mod_small_light (with GraphicskMagick) mod_small_lightによる動的サムネイル生成 pixivのように画像を大量に扱うwebサービスでは、サムネイルもまた大量に必要となります。大量のサムネイルを扱う場合、 サムネイルを保存するのに大容量のストレージが必要 サイトのデザイン変更に伴う新規サムネイルの生成コストが高い といったことが問題になります。 そこで、pixivでは一部のサムネイルは事前に用意せず、画像を配信する際にmod_small_lightでサムネイルに変換する「動的サムネイル生成」が行われています。 mod_small
- Pixiv is an illustration communication site with over 5 million users and 3.3 billion monthly page views. - The presenter works on infrastructure and software engineering at Pixiv, where he is responsible for image upload, thumbnail generation, data storage, caching strategies and more. - Pixiv generates 12 or more thumbnails for each image uploaded to optimize loading and browsing on different
small lightシリーズ [1] ライブドアのsmalllightを使って動的に画像をリサイズしてみる [2] いろいろsmalllightを使って動的に画像をリサイズしてみる [3] smalllightでのエンジンの選択の仕方 [4] smalllightでのエンジンの選択の仕方 (ヒントオプション追加） 先日の記事を書いた時点では気づいていなかったのですがsmalllightはJPEGのリサイズを高速化するパラメータがありました。 ヒントオプションというものです。早速再度有効にしてとってみました。 テスト画像 JPEG 6400×4800(17.7MB) -> 640×480 ヒントオプションなし dw=640,dh=480,cw=640,ch=480 ヒントオプションあり dw=640,dh=480,cw=640,ch=480,jpeghint=y imlib2(libjpe
これだけ見ればimagemagickでもいいじゃん！ということになりますが 速さはどうなのでしょうか？ 1024×768のjpgとpngを480×480に収まるサイズ（dw=480,dh=480,da=l）にリサイズした際のパフォーマンスです （gifはimagemagickを使ってください） ファイルサイズはjpgが202KBでPNGは69.6KBです smalllightはレスポンスヘッダに各処理にかかった時間を出力する機能がありこれを使い測定しました。(以下のような出力) X-SmallLight-Description: transfer=19ms, modify image=35ms (load=21ms, scale=7ms, save=6ms) transferはエンジンによって有意な差異が見られなかったのでmodifyをサマライズしましたｌ． 測定する際は、最初に5回アクセ
small lightシリーズ [1] ライブドアのsmalllightを使って動的に画像をリサイズしてみる [2] いろいろsmalllightを使って動的に画像をリサイズしてみる [3] smalllightでのエンジンの選択の仕方 [4] smalllightでのエンジンの選択の仕方 (ヒントオプション追加） 先ほど書いた「ライブドアのsmalllightを使って動的に画像をリサイズしてみる」では とりあえず入れてみて、リサイズしてみた！といった感じでしたが 僕が触ってみてこうしたら楽だとかの設定例を上げてみます。 ケース1 拡張子混在で使う 例えばjpg,gif,pngと混在していた場合、わざわざ設定で以下のように書くのは馬鹿らしいです。 RewriteRule ^/thumb_1/(.*\.jpg)$ /small_light(dw=70,dh=70,cw=70,ch=70,e=
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く