1. 氾濫する情報の中から利用者が必要とするものを選別して提示する
2. 情報の再利用を容易にするために、提供された情報を整理して蓄積する

無論、CMUのInformediaプロジェクトをはじめ、様々な試みが内外で行なわれてはいるが、出現頻度の高い単語やタイトルの字幕をそのまま利用して索引付けを行なうにとどまっており、画像内容とのきめ細かな対応付けは行っておらず、言語情報の利用も本格的とは言いがたい。
また、画像的特徴量を自動的に抽出して検索キーとするような研究も行われてはいるが、色彩的特徴や雰囲気は抽出できても、画像中の具体的な事物を抽出することは困難であり、このような手法が適用できる対象は限られている。

そこで本研究では、困難な画像処理は必要最小限の特徴量抽出にとどめる一方で、画像内容に対してきめ細かな索引付けを行なうために、具体的な内容の認識に言語情報を積極的に利用することを考える。 そして最終的には、このように画像情報と言語情報を統合的に利用することによる自動的な索引付けの有効性を示すことを目指す。

下図に、マルチメディアデータベース自動生成の未来像を示す。

このようなシステムを実現するための要素技術として、

1. 自然言語処理
2. 画像処理
3. 両者の統合処理

既存の多くの研究では、画像情報や自然言語情報などのデータ単体から検索キーを抽出する手法の模索を行っていたが、各々の情報単体での情報量には限りがあるため、システム側であらかじめかなりの量の知識を保持している必要があり、それゆえ汎用性に乏しくならざるを得なかった。
それに対して、本研究の特徴的な点は、システム側では自然言語文の格解析や動作物体の分離といった、一般的な処理を行うための手段を用意するだけであり、その他の、対象に特化した知識はほとんど必要とせず、かなりの汎用性をもつことである。
これは単に既存の手法では利用せずにいた情報を利用しているためだけではなく、様々なデータを統合して処理することにより、様々な情報同士の関連がもつ情報をも利用するためである。

(1) 修士課程における研究

1. まず、人間による画像の描写(=内容の記述)の特徴などを調べるために、 画像の描写に関する心理実験を行った。 そして、その解析を通じて画像データベースの検索の際に重要な役割を 果たす検索キーの、画像を扱うのに適切な構造と備えもつべき内容的特 徴に関して検討した。
   その結果、階層構造をもつ検索キーが必要であることや、一枚の画像に 対して必要な検索キーの数が限られているなどの知見を得た。
2. 1.の結果得られた知見をもとに、効率的な検索を実現するために導入す る、画像内容の記述に基づき、階層構造をとる検索キーを用いた画像デー タベースシステムの構築法および検索法に関して検討した。
   その結果、画像データを扱うのに適していて、かつデータベースへの問 い合わせの語彙的・概念的多様性を吸収し、誤った検索を防ぎつつも、 より柔軟な検索を可能にしたシステムを提案し、今後の画像データベー スシステムの一つのあり方を示した。

(2) 博士課程における研究

• 副音声による画面描写を利用したテレビ番組への自動索引付け機構

  ３．で例示したようなシステムの雛型を作成している。 具体的には、

  1. テレビドラマから自然言語処理および画像処理を行いやすそうなシーンを選定する。
     処理のしやすさとしては、以下の事項を基準とする。
     • 自然言語:
       抽象的な会話ではなく画像と結び付き得る具体的な動作などを含む副音声あるいは主音声のセリフがある。
     • 画　　像:
       画面全体が十分明るく、背景とカメラが固定されていて、さらにあまり多くの動作領域がない。
  2. 副音声および主音声のセリフを書き下す。
  3. 画像処理により動作領域を抽出する。
  4. 動作領域と自然言語処理の結果の対応付けを行う。
  を行っている。
  現時点では、3. まである特定のシーンに関して実現されているが、4. に関しては今後どのように対応付けを自動化すべきか検討中である。

• 画像分類によるテレビニュース番組への自動索引付け機構