アニメ映像におけるキャラクター認識に関する研究

他人の顔を見たときに名前を思い出せなくて困ることあるよねー。そんなときに顔をカメラで映して電脳メガネで見るとその人の胸のところに名前が表示されるシステムがあると便利だよね。で、ARToolKitを使ってそれを作･･･ろうとしました。

っていう研究発表を見て思ったんですけど、誰か下の画像みたいなことをやってくれるツールとか知りませんか？適当なプレイヤーでアニメを見ながらリアルタイムにキャラを認識してその名前（ついでに声優の名前とか）をオーバーレイなりなんなりして表示できたら面白いなと思ったのですよ。

StarChild:みなみけ おかえり

実物に比べるとキャラごとの髪型、髪の色の特徴が際だってるし、輪郭抽出とかもアニメの方が簡単そうかなと思いましたが、輪郭や顔の造形といった情報が簡略化されている分、キャラ同士の差異を見つけるのが逆に難しくなるってのはありそうですね。
静的に一枚の画像を見てキャラの判別ができれば処理もそれほど重くならないと思いますが、僕は下の画像を一枚だけぱっと見せられたら春香か千秋かちょっとわからないので、精度を求めようとするとある程度連続した情報の利用が必要になるのかもしれません。

認識に必要な情報は、最初は公式ページにあるキャラクター紹介画像をベースにするのが手っ取り早いと思います。その後は実際にアニメを見ているユーザーが「ここの位置にいるキャラは千秋」みたいな情報を少しずつ与えて誤りを修正していく教師付き学習･･･になるのかな？一話の時点で各キャラの特徴情報を集めてしまえば二話以降は新登場するキャラ以外の名前は表示できるし、特徴情報をCDDBのようにどこかのサーバで一括集約しておけば初めて見たときから名前を表示できます。

これができると何が嬉しいって？
キャラが大量に出てくるアニメで名前がわからなくてイライラしなくて済むじゃないですか！某戦闘機人がたくさん出てくるStrikerSとか！最近だと今日の5の2の常連キャラの名前を最後まで覚えられなかったorz