【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、三次元仮想空間情報を考慮した三次元仮想音像形成装置に関し、特に、電子遊戯機器に有効に採用される三次元仮想空間情報を考慮した三次元仮想音像形成装置に関するものである。

【０００２】

【従来の技術】特開平２−２９８２００号公報には、三次元空間内のある位置に２つの音声変換手段（スピーカ）を位置付けすると共にそれに対して聴取者の位置を特定したときに、２つのチャンネルの信号に対して位相及び振幅を相互の関連において調整してそれぞれ前記音声変換手段に供給することにより、聴取者にとって音声変換手段の位置とは異なる三次元空間内の所定の位置から見掛上音が聞こえてくるようにする技術が記載されている。 いわゆる３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ、三次元）サウンドの生成である。

【０００３】また、上記技術をビデオゲーム機器に応用したものが、米国特許公報Ｎｏ． ４４７，０７１に記載されている。 すなわち、基本的には、全体の処理制御を行なうビデオゲーム基本ユニットを本体としてプレーヤーコントロールユニットと２つのスピーカが付随するビデオゲームモニターとが接続されて全体が構成されるビデオゲーム機器であり、プレーヤーはビデオゲーム基本ユニットのスロットに任意のゲームカートリッジを挿入してゲームを楽しむ。 このとき、個々のゲームカートリッジにゲームの内容に即した音源の種類やその位置情報を含ませておき、プレーヤーによるゲームの進行に応じて、プレーヤーコントロールユニットはゲームカートリッジに記憶された音源の種類やその位置情報を読み出して２つのスピーカに送る音声信号を生成する。 したがって、スピーカからは音源の種類やその位置情報に応じた３Ｄサウンドが出力される。

【０００４】

【発明が解決しようとする課題】ところで、上述した米国特許公報Ｎｏ． ４４７，０７１に記載されているビデオゲーム機器においては、カートリッジに記憶される音源の位置の情報はモニターに表示される対応する音源の位置とは基本的に無関係である。 例えばモニターの左側上方に表示される音源はプレーヤーにとって左側上方から聞こえてくるようにするという程度である。 というのは、モニターに表示される映像は二次元平面的な映像であり、映像内に音源が含まれていてもその三次元的な位置や方向が定まっているわけではないからである。 したがって、適当に方向を決定するしかなく、映像と音響とに十分な相関が図れないという問題点があった。

【０００５】また、現実に近似した３Ｄサウンドを実現しようとすると、音源から発した音が三次元空間内に存在する物体等から受ける影響、例えば遮蔽や反射等も考慮しなければならないのであるが、表示対象を三次元的な情報としては扱っていないので、そのようなことは不可能であった。

【０００６】この発明は上述のような事情から成されたものであり、この発明の目的は、高度な仮想現実感を味わうことができる三次元仮想空間情報を考慮した三次元仮想音像形成装置を提供することにある。

【０００７】

【課題を解決するための手段】この発明は、電子遊戯機器に有効に採用される三次元仮想空間情報を考慮した三次元仮想音像形成装置に関するものであり、この発明の上記目的は、仮想的な三次元空間の物理的な情報が記憶される三次元物理的空間情報記憶手段と、前記三次元空間における音源の情報が記憶される音源情報記憶手段と、音情報の信号を可聴音に変換する複数の音響変換手段と、前記音源の情報と前記物理的な情報に基づいて前記三次元空間内の任意の位置及び向きにおいて聴取されるべき音情報の演算処理を行なう演算処理手段と、前記演算処理手段による演算結果により得られた聴取されるべき音が前記複数の音響変換手段に対して所定の位置及び向きにおいて聴取し得るように、前記複数の音響変換手段に割り振って前記聴取されるべき音情報の波形成型を行なう波形演算処理手段とを備えるによって達成される。

【０００８】

【作用】この発明にあっては、演算処理手段は、三次元物理的空間情報記憶手段及び音源情報記憶手段に記憶されている仮想的な三次元空間の物理的な情報及び音源の情報に基づいて三次元空間内の任意の位置及び向きにおいて聴取されるべき音情報の演算処理を行なう。 波形演算処理手段は、演算処理手段による演算結果により得られた聴取されるべき音が複数の音響変換手段に対して所定の位置及び向きにおいて聴取し得るように、複数の音響変換手段に割り振って聴取されるべき音情報の波形成型を行なう。 複数の音響変換手段は、送られてきた音情報の信号を可聴音に変換する。 以上により、三次元空間内の任意の位置及び向きにおいて聴取されるべき音が複数の音響変換手段に対して所定の位置及び向きにおいて聴取し得る。

【０００９】

【実施例】以下、図面に基づいてこの発明の実施例について詳細に説明する。 図１は、この発明の三次元仮想空間情報を考慮した三次元仮想音像形成装置における一実施例の構成ブロック図である。 この実施例はこの発明を電子遊戯機器に適用したものである。 すなわち、前提として、遊戯機器本体（カートリッジでもよい）は三次元的な物体の情報が記憶される三次元的物体情報記憶部２
を有しており、中央演算処理部３がその情報を処理することにより、表示装置７に例えばプレーヤーの視点を視点とした三次元空間が表示される。 その表示はゲームの進行、特にプレーヤーによるジョイスティック４の操作により、刻々と変化する。

【００１０】ところで、電子遊戯機器においては、視覚的な映像と共に音響も重要な要素である。 したがって、
音響も三次元的物体情報と相俟って三次元的に扱えることが望ましい。 すなわち、音源の方向の情報のみによりいわゆる３Ｄサウンドを生成するのではなく、三次元空間の物理的情報の影響も考慮して音像を形成することにより、いわゆる仮想現実感も高度なものとなる。

【００１１】そこで、映像情報を三次元的に扱う電子遊戯機器において特にこの発明は有効となる。 すなわち、
三次元的な音源情報を音源情報記憶部１に記憶しておく。 音源情報としては、音源の種類（波形情報），位置，音の進行方向等の情報である。 この音源情報のみでいわゆる３Ｄサウンドを生成することは従来の技術である。 一方、この発明では、音源からの音が伝搬する三次元空間内の物理的な情報の影響も考慮する。 例えば、三次元空間内の物体による遮蔽，反射の影響をも考慮して３Ｄサウンドを生成することはその典型である。

【００１２】以下、遮蔽，反射の影響を考慮して３Ｄサウンドを生成する場合について説明する。 音源の情報としては〔音源の位置座標，音波形，絶対音量，拡散係数〕であり、この場合、三次元的物体情報には物体の位置情報と共に入射する音に対する〔反射方向，吸収係数〕を記憶しておく。 ここで、拡散係数とは音源の発する音がどの方向にどれだけの音量で放射されるかを示す指標である。 そして、直接耳に届く音と反射して間接的に耳に届く音を別々に考慮し、いわゆる直接音の場合は拡散係数，相対方向，相対距離に基づいてプレーヤーに届くべき音を求め、いわゆる間接音の場合は拡散係数に基づいて音が反射して耳に届く経路を求め、それに吸収係数，相対方向，相対距離を与えて求める。

【００１３】図２（Ａ）及び（Ｂ）は、その処理の詳細手順を示す図である。 直接音の場合、先ず、聞こえるべき音を求めたい位置（最も典型的には、プレーヤーの視点の位置）の音源からの距離及び方向を求める（ステップＳ１１）。 音源情報記憶部１に記憶されたその音源についての拡散係数，絶対音量を読みだしてステップＳ１
１で求めた方向についての音波形を求める（ステップＳ
１２）。 更に、ステップＳ１１で求めた距離と障害物に関し三次元的物体情報記憶部２に記憶された吸収係数とから減衰を計算し、プレーヤーの位置における音波形を求める（ステップＳ１３）。 最後に、プレーヤーの向きと音の飛来方向とから左右の耳に届くべきであろう音を求め、複数のスピーカ６のそれぞれに割り当てる（ステップＳ１４）。

【００１４】一方、間接音の場合、先ず、三次元的物体情報記憶部２に記憶された物体情報に基づいてその音源からの音が物体に反射してプレーヤーの位置に到達する場合の経路を求める（ステップＳ２１）。 得られた経路から、音源からの出力方向，経路長，プレーヤーへの飛来方向を求める（ステップＳ２２）。 その音源についての拡散係数，絶対音量とステップＳ２２で求めた音源からの出力方向とからプレーヤーの位置へ向かう音波形を求める（ステップＳ２３）。 更に、ステップＳ２２で求めた経路長と反射する障害物の吸収係数とから減衰を計算し、プレーヤーの位置における音波形を求める（ステップＳ２４）。 最後に、プレーヤーの向きとステップＳ
２２で得られたプレーヤーへの飛来方向とから左右の耳に届くべきであろう音を求め、複数のスピーカ６のそれぞれに割り当てる（ステップＳ２５）。 以上の処理を音源ごとに行ないそれぞれを足し合わせる。

【００１５】尚、プレーヤーの位置は、ゲームの進行に応じてジョイスティック４の操作により刻々と変化する。 したがって、聞こえるべき音を求めたい位置がプレーヤーの視点の位置の場合には、中央演算処理部３は以上の処理をジョイスティック４から入力されるプレーヤーの位置及び向きの情報に基づいて単位時間ごとに行なう。

【００１６】このような装置構成及び処理により、プレーヤーにとっては表示装置７に表示される従来の三次元空間処理により視覚的に三次元空間内での疑似的な存在感を感覚し得ることに併せて、三次元空間内の物理的な影響を考慮したスピーカ６からの三次元的な音響により、まさにその位置にあたかも存在しているかのごとき感覚を受けることになる。

【００１７】具体例で説明する。 図３は、あるゲームにおける三次元空間の物体情報を示す図である。 同図に示した三次元空間の場合、三次元的物体情報記憶部２に記憶されている情報は壁，岩，砲台及び戦車の位置，形状，吸収係数，反射方向等の物理的情報である。 尚、戦車の位置はゲームの進行に応じて刻々と変化する。 また、音源情報記憶部１に記憶されている情報は、戦車及び砲台に係る音源の位置，絶対音量，拡散係数の情報である。 戦車に係る音源としてはエンジン音，キャタピラ音，発砲音，着弾音があり、このうちエンジン音，キャタピラ音，発砲音の位置は三次元的物体情報記憶部２に記憶されている戦車の位置と同じと考えることができ、
着弾音の位置はゲームに進行に応じて任意の位置となる。 また、砲台に係る音源としては発砲音，着弾音があり、このうち発砲音の位置は三次元的物体情報記憶部２
に記憶されている砲台の位置と同じと考えることができ、着弾音の位置はゲームに進行に応じて任意の位置となる。

【００１８】以下、図１及び図３を参照しつつ処理動作を説明する。 先ず、プレーヤーの位置及び向きはジョイスティック４の操作により三次元的に変化する。 中央演算処理部３は、三次元的物体情報記憶部２及び音源情報記憶部１に記憶されている壁等の物体の情報及び戦車のエンジン音等の音源の情報やそのときのプレーの進行（発砲があれば発砲音）に基づいてプレーヤーの位置に到達する音を演算算出する。

【００１９】音情報の演算は従来の技術として公知である。 すなわち、例えば、一般的には音の強さは音源からの直接音と壁等により反射した反射音のそれぞれの強さを合成すればよい。 例として、直接音の強さＥ _ｄ及び全反射音の強さＥ _ｓは一般的にそれぞれ数１及び数２により算出される。

【００２０】

【数１】

【００２１】

【数２】

_ａ 〔Ｗ〕は音源の音響出力、Ｑは音源の指向定数、ｒ〔ｍ〕は音源からの距離、ｃ〔ｍ／ｓ〕は音速、Ｓ〔ｍ

^２ 〕は壁の全表面積、αは壁の平均吸音率である。

【００２２】このようにして求められた音の強さの合成はたたみこみにより算出できる。 すなわち、入力変数をｘ（ｎ）、システムのインパルス応答をｈ（ｍ）、出力変数をｙ（ｎ）とすると数３により算出する。

【００２３】

【数３】

【００２４】次に、波形演算処理部５は、中央演算処理部３による演算結果により得られた音が複数のスピーカ６に対してプレーヤーの位置において聴取し得るように、複数のスピーカ６に割り振って聴取されるべき音情報の波形成型を行なう。 複数のスピーカ６は、送られてきた音情報の信号を可聴音に変換するので、プレーヤーにはそのときジョイスティック４により指定された位置及び向きに自己が存在するかのごとく、戦車のエンジン音等が聴取される。 また、ゲーム上のプレーヤーが岩に隠れれば現実のプレーヤーにも岩に隠れたように聞こえるという具合である。 前述のようにプレーヤーの位置及び向きはジョイスティック４の操作により三次元的に変化するので、このようなゲームの場合には単位時間ごとに実時間で演算は行なわれる。 一方、表示装置７には、
ジョイスティック４からの信号により特定される位置を視点としてゲームの進行に応じて三次元的物体情報記憶部２に記憶された情報に基づいて壁，戦車，岩等の三次元仮想空間映像表示が行なわれる。

【００２５】尚、上述したゲームの実施例においては、
通常、音情報の演算処理を行なうべき位置はプレーヤーの位置であるが、一般的にはこれに限られることはない。 また、実施例においては、ジョイスティックによりゲーム上のプレーヤーの位置やそれに合わせた表示が変化するが、それもジョイスティックに限られることはない。 更に、音響変換手段としてスピーカの場合を説明しているが、他のあらゆる手段、例えばヘッドホンであってもよい。

【００２６】また、上述した実施例においては、特に三次元空間内の物体の情報を考慮するようにしているが、
この発明の趣旨はそれのみならず、例えば媒体の質，密度，温度等のあらゆる物理的情報を考慮して高度な仮想現実感を実現することにある。

【００２７】

【発明の効果】以上のようにこの発明の三次元仮想空間情報を考慮した三次元仮想音像形成装置によれば、記憶された三次元空間情報に即した音源の位置であり、かつ三次元空間内の物理的情報、特に物体による反射や遮蔽等の影響を考慮し、三次元空間内の任意の位置及び向きにおいて聴取されるべき音が複数の音響変換手段に対して所定の位置及び向きにおいて聴取し得る。 特に、この発明を電子遊戯機器に採用した場合には高度な臨場感を実現できる。

【図面の簡単な説明】

【図１】この発明の三次元仮想空間情報を考慮した三次元仮想音像形成装置における一実施例の構成ブロック図である。

【図２】遮蔽，反射の影響を考慮して３Ｄサウンドを生成する場合の処理の詳細手順を示す図である。

【図３】あるゲームにおける三次元空間の物体情報を示す図である。

【符号の説明】

１ 音源情報記憶部 ２ 三次元的物体情報記憶部 ３ 中央演算処理部 ４ ジョイスティック ５ 波形演算処理部 ６ スピーカ ７ 表示装置