retrievr - スケッチから写真を検索する
1月6日のやじうまWatch経由。
http://labs.systemone.at/retrievr/
【概要】
ラフなスケッチにマッチする画像をFlickrから検索する
【やってみた】
全然それっぽい写真が出ない（そもそもこの絵がどうかというのもあるが・・・）。
- さかな
- http://labs.systemone.at/retrievr/#sketchName=2006-01-16-08-49-28-676402.4
- 東京タワー
- http://labs.systemone.at/retrievr/#sketchName=2006-01-16-08-49-28-676402.6
【アバウト】
One thing to keep in mind is that retrievr doesn't do object/face/text recognition of any kind, so if you're drawing an outline sketch of a chair, it almost certainly won't get you one back (except your index only contains images of chairs). The same holds for corporate logos, icons &c.
It helps to think of it as matching the most pronounced shapes and slabs of colors.
http://labs.systemone.at/retrievr/about
超テキトーな訳。
忘れないでほしいこと。retirievrは物、顔、文字などをどんなものでも認識するわけじゃないから、もしあなたが椅子のスケッチを書いてもたぶんほしいものは手に入らないでしょう。
retirievrは主要な形状と色に対するマッチングを行うと考えればいいでしょう。
【しくみ】
Fast Multiresolution Image Querying
検索対象の写真をウェーブレット変換して係数を取得する。これがそれぞれの画像のシグネチャになる。
比較しやすいようにデータベースに格納しておく。
続いてラフなスケッチも同様にウェーブレット変換してシグネチャを抜き出す。
データベースに格納したシグネチャと比較する。
とはいえ、ウェーブレット変換するとどんな係数を取得できるのかがよくわからない。
ウェーブレット変換 - Wikipedia
読んでもわからない。数式が出てくると目の前にバカの壁が立ちはだかるのでわからない。画像がぼやけて輪郭だけ（だけってことはないか）の情報になるからラフなスケッチと比較しやすくなるのかな。まあ、そういうことにしておこう。
【Webアプリケーションとしてどうか】
すばらしいのは、絵を描いたあとの状態（検索結果）に対してパーマリンクが存在すること。
当たり前だと思うかもしれないけど、非同期で通信しているっぽいのにパーマリンクがあるのがすごい。
もしこれがなかったらただ単に絵を描いて、結果が表示されて、「へー」で終わってしまうから。よろこびを共有できなくなる。パーマリンクがあるから、さかなとか東京タワーも見てもらうことができるわけで。
このあたりはどーやってるのかいまいちわからない。くやしいけれど。
あと、表示される結果はページを表示させるたびに違う印象。
絵を描く部分はFlashみたい。
