Computer Vision Advent Calendar 2013

この記事について †

• この記事はComputer Vision Advent Calendar 2013の1日目(?)の担当記事です。

「Bayer さんに敬意を表して」 †

• 現在販売されているCCDカメラのうち、多くはBayerパターンというものを使っています。
• 高い業務用のカメラは3CCDと、RGBそれぞれにCCDセンサを持っているのですが、それだと値段が全然違います。
• そこで考案されたのが、Bayerパターンです。
• この方法だと、各ピクセルごとに、RGBのそれぞれの色が割り当てられます。格子状に並んでるので、緑を2回使って、格子状に並べます。

• こんな具合に並べます。
• この状態の画像をBayer画像、もしくはRAWフォーマットと呼びます。
• RAW(=生)と呼ばれるのは、センサに一番近い状態の生の情報だからでしょう。（未調査）

Bayerからカラー画像へ †

• このBayer画像、見てみるとこんな感じです。
  
• 拡大してみるとこんな感じです
  
• 言葉で表すと「ポツポツと斑点がある感じのグレースケール画像」です。
• そう。CCD1枚で得られた光の強度を記録した画像なので、グレースケール画像です。
• OpenCV風に言うと、CV_8UC1です*1
• しかも、技術者や開発者ならともかく、Bayerの画像をもらって喜ぶユーザはまずいません。なので、これをRGBに変換する必要があります。
• OpenCVで言えば、cv::cvtColor という関数があります。これの引数の中に、ちゃんと宣言されています。(宣言はimgproc.hpp内)

• こいつらを使うことで、BayerパターンをRGBの3レイヤ画像、CV_8UC3に変換してくれます
• この変換の方法はそれこそ色々あるのですが、一番簡単な方法は、近傍の画素から補完する方法です。 ＜画像TBW＞
• これでそこそこの性能が出ますし、画質に特化したのでなければこれでとりあえずRGB画像に復元できます。
• 当然エッジ近辺でモザイク状にノイズが出ますが、最近はセンサの目も細かくなったので、結構気にならないレベルで復元してくれたりします。
• ちなみにOpenCVの実装では、Edge AwareなBayer補完が実装されています。（詳細は知らん）

RGBからBayerへの逆変換 †

• OpenCVの色変換は、大体可逆変換です。

• こんな感じに、BGR2***←→***2BGRと大体対になって定義されています。
• しかし、Bayerだけは逆変換が実装されていません。
• まぁ、上記の理由を考えれば、大体分かりますよね。
• ただ、Bayer画像は、元のBayerパターンがわかれば、大体Bayer画像に復元できます。
• ちなみに、Bayerパターンは、以下の 4種類あります。
• Bayer(RG)
• Bayer(GB)
• Bayer(GR)
• Bayer(BG)
• 例えば、赤の画素。Bayer(RG)の一番左上の画素は、赤の画素ですが、この座標のR成分は、そのままBayer画像の値を代入していたりします。
• 同様に、GとBの画素に関しても同じことを繰り返すだけで戻せます。
• なので、適切なBayerパターンを選んで上げれば、それだけでBayerパターンに戻せます。
• 実は最初に掲載した画像は、lenaを無理やりBayerパターンに変換したものです。
• lenaのBayer画像がもし現存してたら、かなりレアだったんでしょうが、よく考えたら当時はまだアナログだったかな？

Bayerさんに敬意を表して †

• さて、このBayerパターンは実はBayerさんが考案されて、そこから名前を取ってます。
• Bryce E. Bayerさん、1929年8月15日-2012年11月13日。そう。実は昨年の暮れに亡くなられたのです。
• ご冥福をお祈りすると同時に、Bayerパターンについて何か書かなきゃ！と思って、この記事を書いています。
• あと、CVAdventCalendarの先陣を切らなきゃ！と思ってこの記事を書いています。
• そのBayerパターンに関して知ったことがあったので、書いてみました。

最後に †

• 12月1日が動きがなかったのは、ちょっと残念でしたが、Computer Vision Advenct Calendar 2013はここから頑張っていきましょう！

Computer Vision Advent Calendar 2012