色と大きさと奥行きの知覚に関しては、多くの錯視現象が知られており、その仕組みを理解することは、知覚の基本機能の理解につながる。われわれ三つの研究グループ は、それぞれの手法を駆使してこの錯視の数理モデリングに取り組み、その相互交流に基づいて、各種の応用にもつなげる。
　杉原グループは、立体錯視モデルの立場から、色、大きさ、奥行きの知覚機能を探り、自然界の雄大さを伝えることのできるメディア表現法の開拓、空間の広がりや奥行きを誇張する誇大広告を規制するための基準の構築、坂道傾斜の誤認を回避することによる渋滞の緩和へなどへ応用する。
　新井グループは、脳の各階層の神経機能をモデル化することによって、これらの錯視を探る。そして、錯視量を増やしたり、減らしたりする制御技術を開拓する。
　山口グループは、視覚情報が持つ信号的内容と人にとっての意味的内容のギャップをモデル化し、視覚情報の品質の評価法を開発する。色と大きさなどに関する知覚的品質の評価を、画像を介した人と機械の対話の品質向上などへ応用する。

　網膜像から立体構造を認識する場面における錯視の数理モデルを構築し、そのモデルから錯視量を抽出し、それを制御する方法を開拓する。そしてそれを、安全性の向上 と文化的豊かさの向上に役立てる。特に、斜面の傾斜、奥行き距離、主観輪郭線、不可能立体、不可能モーションなどの錯視に注目し、コンピュータによる認識メカニズムを 手がかりとして、人の錯視の計算モデルを構成し、錯視効果を数量的に抽出する。次に、その錯視量が環境条件にどのように依存するかを探り、それに基づいて、錯視量を 最小化する技術および最大化する技術を構成する。そして、その制御技術を社会に役立てるとともに、これらの研究活動を通して、人の知覚・認識の柔軟で高度な性能を表 現できる数理モデリング手法と、それを操作するロバストな計算手法を体系化する。

　視覚の数理モデルを神経科学、脳科学、知覚心理学の観点から構築する。作成した数理モデルが適切かどうかを判定する方法は次のものである：数理モデルを実装した コンピュータが人と同様に錯視を起こすかどうかを調べる。このために脳のある領野に関連すると思われる錯視を用いる。錯視は古典的なものも使うが、独自に新しい錯視図 形を考え、それらをシミュレーションすることを行う。
　また逆に，新井グループのメンバーが考案した錯視あるいは既知の古典的錯視等で、その発生のメカニズムが未解明のものについて、それをシミュレーションできるような 計算アルゴリズムを考え、逆にそこから脳内の未知の視覚情報処理の仕組みを推測し、錯視発生のメカニズムの解明をしていく。
　また、研究が進んだ後半では、錯覚、視覚の研究のために開発・使用した数学的道具、たとえばウェーブレット・フレームなどを数学的立場から掘り下げ、一般化、諸分野 への応用なども与える。
　さらに作成した視覚と数理モデルとアートとの関係について研究を行う。

　脳波や視線、皮膚電位などの様々な生体反応を計測し、錯視現象に伴って現れる特有の計測値を解析する。これにより、錯視現象に関わる意識下／無意識下の生体反応 について解明し、錯視現象の数量化の手がかりとする。特に脳計測によって、錯視と密接に関連する視覚の脳内機序について解析を進める。また並行して、錯視現象を手が かりとしながら、視覚における違和感と生体反応の関係を調べ、違和感を反映する生体反応と計測値についての知見をまとめる。これらの知見をもとに、画像の知覚的品質 に関する評価法を開発するとともに、画像生成法への適用などを試みる。
　これにより違和感のない自然で知覚しやすい画像や逆に人の意識を惹くような画像の評価・作成を可能にしたい。