Technology Review 12/1月号のOnline Meeting

高速ビデオ転送用Codecを開発したSightSpeedの話。一秒あたりのフレーム数が30と多いため、映画よりなめらか。(普通のビデオ会議システムは20フレーム以下）。しかも、遅延（latency）が11milisecondと一般の電話かそれより早いくらい、ということで、非常にスムーズなビデオ電話体験ができるそう。現在4万3千人がダウンロードしたそうです。

もちろん、何かの情報を捨て去らなければ速く送ることはできないはずで、SighSpeedは人間の脳の処理をまねて、「必要ない情報」を捨て去り、「必要な情報」だけを送ることで高速にしている。例えば、対象物が動いているときは、その動いているものの輪郭だけクリアに送り、その真ん中あたりはぼやーっといい加減に転送。すると脳が勝手に真ん中辺は類推して埋めるので、全部クリアなまま動いているように見える、と。

脳が映像･画像をどう処理しているかは、RamachandranのPhantoms In The Brainに詳しい。この本は前にも触れたことがあるけれど、いろいろな「えっと驚く脳神経障害の事例」が満載されていて、人間の「知覚・認識」の不思議さに圧倒される。

例えば、「ものを見る」というとき、脳はまず目から送られてきた情報を受け取り、一旦「特に重要な情報」だけを残して後は捨てるのだそうだ。例えば、「動いているもの」をみるときは、その輪郭が重要情報。で、それをさらに30種類の違う処理系に回す。「形」「色」「動き」「輪郭」「表面のテキスチャ」などを、バラバラに専業化された脳の部分が担当。で、最後にそれを総合して「見た」ということになる。

「どうせ脳が捨てる情報は最初から送らない」というSightSpeedの処理方法は、こうした人間の脳の処理方法を先回りしているわけで、結果としてまるでスムーズに見えることになるのであろう。

最近Panasonic SV-AS10という超小型カメラを買ってから、日常生活の中でぱちぱちと写真を撮ってみるのだが、それで驚かされるのが、
「私が見ている通りに、全然写らない」
ということ。写真が元々趣味の人には当たり前かも知れないが、
「あ、あの標識面白い」
とか思ってパシャリと撮ると、その面白いと思った標識はまるで米粒のように小さく、しかもぼやけていて、全然面白くない。
人間の目に比べて、カメラはダイナミックレンジが狭いので、明るいものと暗いものが同時に写らないということもあるし、望遠が効かないから、なんでものっぺり平たい背景の中に飲み込まれてしまう、ということもあるかもしれないが、どうもそういう簡単なことではないように思われる。

それで、よーく自分の目の動き、認識の動きを観察してみたのだが、どうも目と言うのは全体を見てるわけではなくて、個別の対象物を一つずつスキャンしているような気がする。目の前の全体画像を一つのものとして捕らえるのではなく、全体を構成する個別のものを一つ一つ、ぱっぱっぱっと見て、それを勝手に頭の中で全体像に合成している、という感じ。例えばいまだと、「パソコンの画面」「その中の文字」「キーボード」「自分の手」「机」「机の上の雑誌」「ペン」「ソファ」「ソファの上で寝てる猫」などが、構成要素。

例えば、猫は2メートルくらい先にいる。「猫を見よう」と思うと、猫は3倍ズームくらいにクリアになる。しかし、だからといって、目の前にある自分の手が3分の１に縮んでは見えない。全部がバランスをとったまま、なぜか興味の対象だけが望遠で見たかのようにくっきり、という写真では中々実現できない状態になる。

不思議だねーと思ったのだが、SightSpeedはこういう脳の「選択的情報処理機能」を有効活用してるわけですね。

ちなみに、Phantoms In The Brainには、脳溢血などで、30の視覚構成要素のうち一部だけが破壊された人の、変わった症例がいろいろ出ている。例えば、「動き」を認知する部分がやられた人は、全てが「ぱらぱら漫画」みたいにしか見えない、という困った状態に。道路を渡ろうとすると、やってくる車は見えるのだが、それがどのくらいのスピードかわからないのでとても怖い、とか。

あと、「空想の視覚イメージ」を「真実の視覚イメージ」と混乱してしまう症例も出てくる。人間は、いろいろなことを「視覚イメージ」として思い出す。しかし、通常は、外部からの視覚刺激が「現実」だとわかっているので、思い出の方は「単なる空想」と一瞬で理解される。しかし、盲目になると、外部刺激による「修正」が入らないので、思い出映像を真実と思ってしまって混乱することに。特に、部分的に盲目になると、残りは正常視覚のまま、盲目部分にだけ幻覚が跋扈する、という奇怪な状態になることもあるらしい。

登場するある患者は、交通事故で脳に激しい損傷を受け、2週間昏睡状態となる。目が覚めると、ベッドの脇には医師や看護婦に交じって、フットボール選手やハワイアンダンサーが、わらわらとたくさん立っているのが見えて激しく混乱。（後者二種類の人たちはもちろん幻覚）その後だんだん意識が明確になると、視野の下側だけ盲目で、そこだけに幻覚が出るという状態に落ち着く。本の作者のRamachandranと話しているときも、
「先生の膝の上にはサルが座ってます」
と報告。もちろんサルは幻覚です。

この人の症例に習えば、「脳のどこかを刺激するだけで、実はそこにはいないものもくっきり見える」ということにもなるわけで、それが実現できたら、それはテレビ会議どころか、映画Matrixの世界。ちなみに、Phantoms in The Brain、日本語訳脳のなかの幽霊もあります。