【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビゲーム・オ−サリング・システムに関し、特に、再生画像と共に、再生のための一対のトランスジューサ（スピーカ）を用いて聴取者が前記トランスジューサの位置とは異なる１８０
度以上の所望の位置に音像が定位しているように感じさせるテレビゲ−ム機等に使用されるゲ−ムソフトを編集するためのテレビゲーム・オ−サリング・システムに関するものである。

【０００２】

【従来の技術】従来より、両耳における信号のレベル差と位相差（時間差）によって特定な位置（方向）に音源を感じさせる、バイノーラル技術を利用した音像定位方法がある。 アナログ回路を用いた音像定位方法としては、例えば本出願人に係る特開昭53-140001 号（特公昭
58-3638号）公報記載の音像定位方式などがある。 これは、アナログフィルタにより特定の周波数帯域のレベルを強調・減衰させて（振幅制御して）音源の前後感を出し、アナログディレイにより左右の音に時間差を生じさせて（位相制御して）音源の左右感を出すようにしたものであった。

【０００３】さらに、最近のデジタル処理技術の進展に伴って、デジタル回路により実現した音像定位方法があり、例えば、特開平2-298200号公報記載の「音像形成方法及びその装置」がある。 このデジタル回路を用いた音像定位方法は、音源からの信号をＦＦＴ（Fast Fourier
Transform）変換して、周波数軸上で処理し、左右の両チャンネル信号に周波数に依存したレベル差と位相差とを与えて音像の定位をデジタル的に制御するものである。 この方法の各音像定位位置における、周波数に依存したレベル差と位相差とは、実際の聴取者を利用した実験的なデータとして収集されたものである。 しかし、このような回路を用いた音像定位方法では、正確・精密に音像を定位させようとすると、回路規模が極めて大きくなるという難点があり、特殊な業務用のレコーディングシステムとして利用されるにすぎなかった。 そして、これらの装置に使用されるソフトを編集するためのオ−サリング・システムも当然にこれらに対応した音声デ−タ及び画像デ−タを供給して編集するものであった。

【０００４】

【発明が解決しようとする課題】ところで、最近では、
バーチャルリアリティ（仮想現実感）を利用したアミューズメントゲーム機やコンピュータ端末機が出現している。 これらゲーム機や端末機においても、画像と共により現実感のある音像定位が要求され始めている。 しかも、例えば、ゲーム機（や端末機）においては、操作者の操作に応じて、飛行機の飛ぶコース（位置）が異なることになり、操作に応じてリアルタイムで操作者の操作に合わせて音像の移動処理をして、それを再生する必要が生じる。 この点が、前述したレコード用の音像定位処理と大幅に異なる点である。

【０００５】本出願人は、このような要望に応ずべく、
先に、装置の回路規模を小さく、低価格で、しかも，画像と共に180 度の範囲を越える広範囲な空間に音像を定位させることができる音像定位制御方法を提案した。 本発明は、このような音像定位制御方法を採用する装置に使用されて好適なゲ−ムソフトを編集するためのテレビゲーム・オ−サリング・システムを提供するものである。

【０００６】

【課題を解決するための手段】本発明は上記課題を解決するために、以下の構成のより成るテレビゲーム・オ−
サリング・システムを提供しようというものである。 即ち、入来するビデオ・ディスプレイ・デ−タに基づいて所定の画像が再生されると共に、離間した一対のトランスジュ−サから、モノラル音源が供給された音像定位処理手段で音像処理をした信号を、離間した一対のトランスジュ−サから再生し、聴取者に前記一対のトランスジューサとは異なる任意の移動位置に音像を定位させるように感じさせるテレビゲ−ム機に使用され、画像デ−タと音源デ−タと音像定位デ−タとが供給されて一つのゲ−ムソフトを編集するためのテレビゲーム・オ−サリング・システムにおいて、前記音源デ−タと前記音像定位デ−タとを所定の同期関係でオ−サリングを行う第１のデ−タ作成部と、この第１のデ−タ作成部で作成されたデ−タと前記画像デ−タとを同期させてオ−サリングを行う第２のデ−タ作成部とを具備し、前記第２のデ−タ作成部でゲ−ムソフトを作成するようにしたことを特徴とするテレビゲーム・オ−サリング・システム。

【０００７】

【実施例】本発明になるテレビゲーム・オ−サリング・
システムの実施例について、以下図面と共に説明する。
まず最初に、本発明のテレビゲーム・オ−サリング・システムにおいて編集されたゲ−ムソフトを使用して、音像を180 度の範囲を越える広範囲な空間に音像を定位させることができる音像定位制御方法の基本原理について説明する。 これは、離間して配設された一対のトランスジューサ（以下、スピーカを例として説明する）を使用し、空間の任意の位置に音像を定位させる技術である。

【０００８】図４は音像定位の原理図である。 ｓｐ１，
ｓｐ２は受聴者（実施例の中では、聴取者と称することもある）の前方左右に配置されるスピーカであり、ｓｐ
１から聴取者左耳までの頭部伝達特性（インパルス応答）をｈ１Ｌ、右耳までの頭部伝達特性をｈ１Ｒ、ｓｐ
２から左右耳までの頭部伝達特性をｈ２Ｌ，ｈ２Ｒとする。 また、目的とする定位位置ｘに実際のスピーカを配置したときの受聴者左右耳までの頭部伝達特性をｐＬ
ｘ，ｐＲｘとする。 ここで各伝達特性は音響空間にスピーカと、ダミーヘッド（または人頭）の両耳位置にマイクを配置して実際に測定したものに、適切な波形処理などを施したものである。

【０００９】次に、定位させたい音源ソースＸを信号変換装置ｃｆＬｘ，ｃｆＲｘ（コンボルバなどによる伝達特性）に通して得られる信号を、それぞれｓｐ１，ｓｐ
２で再生することを考える。 このとき受聴者左右耳に得られる信号をｅＬ，ｅＲとすると、 ｅＬ＝ｈ１Ｌ・ｃｆＬｘ・Ｘ＋ｈ２Ｌ・ｃｆＲｘ・Ｘ (式1) ｅＲ＝ｈ１Ｒ・ｃｆＬｘ・Ｘ＋ｈ２Ｒ・ｃｆＲｘ・Ｘ (〃 )

【００１０】一方、ソースＸを目的の定位位置から再生したときに受聴者左右耳に得られる信号をｄＬ，ｄＲとすると、 ｄＬ＝ｐＬｘ・Ｘ (式2) ｄＲ＝ｐＲｘ・Ｘ (〃 )

【００１１】ここで、ｓｐ１，ｓｐ２の再生により受聴者左右耳に得られる信号が、目的位置からソースを再生したときの信号に一致すれば、受聴者はあたかも目的位置にスピーカが存在するように音像を認識することとなる。 この条件ｅＬ＝ｄＬ，ｅＲ＝ｄＲと（式１），（式２）より、Ｘを消去して ｈ１Ｌ・ｃｆＬｘ＋ｈ２Ｌ・ｃｆＲｘ＝ｐＬｘ (式3) ｈ１Ｒ・ｃｆＬｘ＋ｈ２Ｒ・ｃｆＲｘ＝ｐＲｘ (〃 ) （式３）からｃｆＬｘ，ｃｆＲｘを求めると ｃｆＬｘ＝（ｈ２Ｒ・ｐＬｘ−ｈ２Ｌ・ｐＲｘ）／Ｈ (式4a) ｃｆＲｘ＝（−ｈ１Ｒ・ｐＬｘ＋ｈ１Ｌ・ｐＲｘ）／Ｈ (〃 ) ただし、 Ｈ＝ｈ１Ｌ・ｈ２Ｒ−ｈ２Ｌ・ｈ１Ｒ (式4b)

【００１２】したがって、（式４ａ），（式４ｂ）により算出した伝達特性ｃｆＬｘ，ｃｆＲｘを用いてコンボルバ（畳み込み演算処理回路）等により定位させたい信号を処理すれば、目的の位置ｘに音像を定位させることができる。 具体的な信号変換装置の実現方法は様々考えられるが、非対称なＦＩＲデジタルフィルタ（コンボルバ）を用いて実現すれば良い。 なお、ＦＩＲデジタルフィルタで用いる場合の最終の伝達特性は、時間応答関数である。

【００１３】つまり、必要な定位位置ｘにおける伝達特性ｃｆＬｘ，ｃｆＲｘとして、（式４ａ），（式４ｂ）
で求めたものを、１回のＦＩＲフィルタ処理により実現するための係数として、ｃｆＬｘ，ｃｆＲｘの係数をあらかじめ作成し、ＲＯＭのデータとして準備しておく。
ＲＯＭから必要な音像定位置の係数をＦＩＲデジタルフィルタに転送し、音源からの信号を畳み込み演算処理して一対のスピーカから再生すれば、所望の任意の位置に音像が定位されることになる。

【００１４】次に、このような原理に基づく本音像定位制御の方法について図５を参照して詳述する。 図５は音像定位制御の方法のステップを示すものである。 頭部伝達関数（Head Related Transfer Function；以下、ＨＲＴＦと称する）の測定（ステップ１０１）

【００１５】これを図６及び図８をもって説明する。 図６は、ＨＲＴＦの測定システムを示すものである。 ダミーヘッド（または人頭）ＤＭの両耳に一対マイクロホンＭＬ，ＭＲを設置し、スピーカＳＰからの測定音を受け、録音器ＤＡＴにソース音（リファレンスデータ）ｒ
ｅｆＬ，ｒｅｆＲと被測定音（測定データ）Ｌ，Ｒを同期して記録する。

【００１６】ソース音ＸＨとしては、インパルス音，ホワイトノイズ，その他のノイズ等を用いることができる。 特に、統計処理の観点からは、ホワイトノイズは、
連続音でかつオーディオ帯域にわたってエネルギー分布が一定なので、ホワイトノイズを用いることによりＳＮ
比が向上する。 上記スピーカＳＰの位置を、正面を０度（°）として取決めた空間内の複数の角度θ（例えば、
図８に示すように、３０度ごとに１２ポイント）に設置し、それぞれ所定の時間だけ、連続的に記録する。

【００１７】ＨＲＴＦのインパルス応答（Impulse Re
sponse；以下、ＩＲと称する）の算出（ステップ１０
２） ステップ１０１で、同期して記録されたソース音（リファレンスデータ）ｒｅｆＬ，ｒｅｆＲと被測定音（測定データ）Ｌ，Ｒとを、ワークステーション（図示せず）
上で処理する。

【００１８】ソース音（リファレンスデータ）の周波数応答をＸ（Ｓ）、被測定音（測定データ）の周波数応答をＹ（Ｓ）、測定位置におけるＨＲＴＦの周波数応答をＩＲ（Ｓ）とすると、（式５）に示す、入出力の関係がある。 Ｙ（Ｓ）＝ＩＲ（Ｓ）・Ｘ（Ｓ） (式5) したがって、ＨＲＴＦの周波数応答をＩＲ（Ｓ）は、 ＩＲ（Ｓ）＝Ｙ（Ｓ）／Ｘ（Ｓ） (式6) である。 よって、リファレンスの周波数応答Ｘ（Ｓ）、
測定データの周波数応答Ｙ（Ｓ）は、前記ステップ１０
１で求めたデータを時間同期した窓で切り出し、それぞれＦＦＴ変換により有限のフーリエ級数展開して離散周波数として計算し、（式６）より、ＨＲＴＦの周波数応答ＩＲ（Ｓ）が、周知の計算方法で求められる。

【００１９】この場合、ＩＲ（Ｓ）の精度をあげる（Ｓ
Ｎ比の向上）ために時間的に異なる数百個の窓に対してそれぞれＩＲ（Ｓ）を計算し、それらを平均化すると良い。 そして、計算したＨＲＴＦの周波数応答ＩＲ（Ｓ）
を逆ＦＦＴ変換して、ＨＲＴＦの時間軸応答（インパルス応答）ＩＲ（第１のＩＲ）とする。

【００２０】ＩＲ（インパルス応答）の整形処理（ステップ１０３） ここで、ステップ１０２で求めたＩＲを整形する。 まず例えばＦＦＴ変換により、ステップ１０２で求めた第１
のＩＲをオーディオスペクトラムにわたる離散周波数で展開し、不要な帯域（高域には大きなディップが生じるが、これは音像定位にあまり影響しない不要なものである）を、ＢＰＦ（バンドパスフィルタ）で除去する。 このように帯域制限すると、周波数軸上での不要なピークやディップが除去されて、キャンセルフィルタに不要な係数が生じなくなるので、収束性がよくなり、係数を短くすることができる。

【００２１】そして、帯域制限されたＩＲ（Ｓ）を逆Ｆ
ＦＴ変換して、ＩＲ（インパルス応答）を時間軸上で切り出し窓（例えば、コサイン関数の窓）を掛けて、ウィンド処理する（第２のＩＲとなる）。 ウィンド処理することにより、ＩＲの有効長が長くなくなり、キャンセルフィルタの収束性が向上して、音質の劣化が生じないようになる。

【００２２】キャンセルフィルタｃｆＬｘ、ｃｆＲｘ
の算出（ステップ１０４） コンボルバ（たたみ込み積分回路）であるキャンセルフィルタｃｆＬｘ、ｃｆＲｘは、前述した（式４ａ）及び（式４ｂ）に示したように、 ｃｆＬｘ＝（ｈ２Ｒ・ｐＬｘ−ｈ２Ｌ・ｐＲｘ）／Ｈ (式4a) ｃｆＲｘ＝（−ｈ１Ｒ・ｐＬｘ＋ｈ１Ｌ・ｐＲｘ）／Ｈ (〃 ) ただし、Ｈ＝ｈ１Ｌ・ｈ２Ｒ−ｈ２Ｌ・ｈ１Ｒ (式4b) である。

【００２３】ここで、配置されるスピーカｓｐ１，ｓｐ
２による頭部伝達特性ｈ１Ｌ，ｈ１Ｒ，ｈ２Ｌ，ｈ２Ｒ
及び、目的とする定位位置ｘに実際のスピーカを配置したときの頭部伝達特性ｐＬｘ，ｐＲｘとして、上記ステップ１０１〜１０３によって求められた、各角度θごとの整形処理された第２のＩＲ（インパルス応答）を代入する。

【００２４】頭部伝達特性ｈ１Ｌ，ｈ１Ｒは、図９のＬ
チャンネルスピーカの位置に対応するもので、正面から左に例えば３０度（θ＝３３０度）に設置されるとすれば、θ＝３３０度のＩＲを用いる。 頭部伝達特性ｈ２
Ｒ，ｈ２Ｌは、同図のＲチャンネルスピーカの位置に対応するもので、正面から右に例えば３０度（θ＝３０
度）に設置されるとすれば、θ＝３０度のＩＲを用いる（すなわち、実際の音像再生時のシステム（例えば図７
に示す）に近いものを選ぶ）。

【００２５】そして、頭部伝達特性ｐＬｘ、ｐＲｘとしては、目的とする音源定位位置である正面から左右９０
度の１８０度の範囲はもちろんのこと、それを越える広範囲な空間（全空間）における、３０度ごとのＩＲを代入することにより、それに対応した全空間のｃｆＬｘ、
ｃｆＲｘ、すなわち３０度ごとに１２組のキャンセルフィルタｃｆＬｘ、ｃｆＲｘ群が求められる（図９では、
２４０度の位置を例としている）。 キャンセルフィルタｃｆＬｘ、ｃｆＲｘ群は、最終的には、時間軸上の応答であるＩＲ（インパルス応答）として求められる。 なお、（式４ａ）によるキャンセルフィルタｃｆＬｘ、ｃ
ｆＲｘの計算は、次のようである。 まず（式４ｂ）のＨ
に対する一種の逆フィルタであるＨ ^-1を最小２乗法により求め、これを逆ＦＦＴ変換して時間関数ｈ(t) とする。 また（式４ａ）の各項ｈ１Ｌ，ｈ１Ｒ，ｈ２Ｌ，ｐ
Ｒｘ，ｐＬｘ，ｈ２Ｒをそれぞれ時間関数で表すことにより、次式が成り立つ。

【００２６】 ｃｆＬｘ(t) ＝（ｈ２Ｒ・ｐＬｘ−ｈ２Ｌ・ｐＲｘ）・ｈ(t) (式7) ｃｆＲｘ(t) ＝（−ｈ１Ｒ・ｐＬｘ＋ｈ１Ｌ・ｐＲｘ）・ｈ(t) (〃 )

【００２７】したがって、これらの（式７）からキャンセルフィルタｃｆＬｘ、ｃｆＲｘの係数が求められることになる。 （式７）から明らかなように、キャンセルフィルタｃｆＬｘ、ｃｆＲｘの係数を短くするには、各頭部伝達特性ｈ１Ｌ，ｈ１Ｒ，ｈ２Ｌ，ｐＲｘ，ｐＬｘ，
ｈ２Ｒをそれぞれ短くすることが極めて大切である。 このため、前述したように、ステップ１０１〜１０３でウィンド処理，整形処理などの各種の処理をして、各頭部伝達特性ｈ１Ｌ，ｈ１Ｒ，ｈ２Ｌ，ｐＲｘ，ｐＬｘ，ｈ
２Ｒを短くしている。

【００２８】各定位ポイントｘのキャンセルフィルタのスケーリング（ステップ１０５） また、実際にコンボルバ（キャンセルフィルタ）で音像処理される音源（ソース音）のスペクトラム分布は、統計的にみるとピンクノイズのように分布するもの、あるいは高域でなだらかに下がるものなどがあり、いずれにしても音源は単一音とは異なるために、畳み込み演算（積分）を行ったときオーバーフローして、歪が発生する危険がある。 そこで、オーバーフローを防止するため、キャンセルフィルタｃｆＬｘ、ｃｆＲｘの係数の中で最大のゲイン（例えば、キャンセルフィルタｃｆＬ
ｘ、ｃｆＲｘの各サンプル値の２乗和）のものを見つけ、その係数と０ｄｂのホワイトノイズを畳込んだときに、オーバーフローが生じないように、全係数をスケーリングする。

【００２９】このようにしてスケーリング処理されて、
最終的にコンボルバに係数として供給されるデータ群（この例では、３０度ごとに音像定位が可能な１２組のコンボルバの係数群）ｃｆＬｘ、ｃｆＲｘが求まる。

【００３０】音源からの信号を畳み込み演算して再生（ステップ１０６） 例えば、ゲーム機の音響再生装置として、図７に示すように、ゲーム操作者（聴取者）Ｍを中心として左右３０
度づづ離間して一対のスピーカｓｐ１，ｓｐ２を配設し、これら一対のスピーカｓｐ１，ｓｐ２には、一対のコンボルバ（畳み込み演算処理回路）で処理された音響信号が再生されるように構成する。

【００３１】一対のコンボルバには、同一の音源Ｘ（例えば、ゲーム用シンセサイザからの飛行音などのモノラル音）からの信号が供給されると共に、前記ステップ１
０５で作成されたＩＲの係数ｃｆＬｘ、ｃｆＲｘ（例えば、飛行音を左後方１２０度（θ＝２４０度）の位置に音像定位させたい時は、θ＝２４０度の係数）が、選択されてコンボルバに設定される。 例えば、ゲーム機などのメインＣＰＵ（中央演算装置）からの音像定位命令にもとづいてコントロール用サブＣＰＵが係数ＲＯＭから、所望の定位位置の係数を一対のコンボルバに転送する。

【００３２】このようにして、一対のコンボルバにより音源Ｘからの信号は時間軸上で畳み込み演算処理がなされて、離間して配設された一対のスピーカｓｐ１，ｓｐ
２から再生される。 一対のスピーカｓｐ１，ｓｐ２から再生された音は、両耳へのクロストークがキャンセルされて、所望の位置に音源があるように音像定位して、ゲーム操作者（聴取者）Ｍに聞かれ、極めて現実感に満ちた音として再生される。 コンボルバの係数は、操作者の操作に応じた飛行機の動きの推移と共に、最適な音像位置が順次選択され、切換えられる。 また、飛行音から、
例えばミサイル音に変更する時は、音源Ｘからのソース音が飛行音からミサイル音に変更される。 このようにして、任意の位置を音像を自由に定位させることができる制御方法である。 尚、音像は一般のゲ−ム機のように画像に合わせて再生されるが、画像処理系については説明を省略してある。

【００３３】本発明のテレビゲ−ム・オ−サリング・システムから作成されるゲ−ムソフトは上述しような構成の音像定位処理手段を具備するゲ−ム機に使用されるもので、次に、このテレビゲ−ム・オ−サリング・システムの一実施例につき説明する。 図１及び図２はそのテレビゲ−ム・オ−サリング・システムの一実施例を示す概略ブロック図である。 図１は第１のデ−タ作成部を示す概略ブロック図である。 同図において、１は音像定位デ−タ、音源デ−タ等の時間管理デ−タ等の作成を行うコンピュ−タ、２はコンピュ−タからの所定デ−タをＭ
ＩＤＩフォ−マット化し、これらデ−タを所定の時間タイミングで出力するためのＭＩＤＩシ−ケンサである。
３は所定の音源が取り込まれているサンプラ−で、この音源はマイクロホンあるいはライン入力により取り込まれた音がフィルタリング、エフェクト等の加工が施されて、ＭＩＤＩ信号によりコントロ−ルできるように加工されている。 ４は音像定位ユニットで、例えば上述したような構成のコンボルバ等から成る音像処理手段が具備されている。

【００３４】次に、この第１のデ−タ作成部のよるデ−
タ作成につき説明する。 まず、コンピュ−タ１に音源デ−タ、音源の始点位置、終点位置、音源の定位移動速度等を入力すると、所定のプログラムに従って演算を行い、これらの情報を例えば図３に示すリストとして管理する。 左列に時間情報を、中列に音像の定位情報を、右列に音源の発音情報を夫々対応させて管理する。 例えば、最上段のコ−ドデ−タは、［０００１］の時間タイミングに、音像が［０２］のコ−ドデ−タで示す方向定位にあり、この時に音源を［０１］のコ−ドデ−タに基づき発音させるか否かを示している。 この管理された定位情報及び発音情報はＭＩＤＩシ−ケンサ２に供給されると共に、出力端子５を通じて出力され、例えば、これらのデ−タがディスク等に記録される。

【００３５】一方、ＭＩＤＩシ−ケンサ２に供給された定位情報及び発音情報は、ここで、ＭＩＤＩ規格にあうようにフォ−マット化され、次段のサンプラ−３に供給される。 サンプラ−３では、ここに格納されている音源が取り出されて、音源データとしてその一方が出力端子６から出力され、前記と同様に例えば、ディスク等に記録される。

【００３６】また一方、定位情報はそのままスルーで音像定位ユニット４に供給されると共に、モノラルな音源データも音像定位ユニット４に供給される。 この音像定位ユニット４は前述のコンボルバ等を具備してゲーム機を想定したハードユニットとして構成されており、ここで処理された音声信号をスピーカ等に接続して作成中のデータの内容確認が行なわれる。 このようにして、第１
のデ−タ作成部においてＭＩＤＩフォーマット化された音源データと音像定位情報及び発音情報とが所定の同期関係が保たれて作成される。

【００３７】次に、第１のデ−タ作成部で作成されたデータと画像データとを同期させて編集させるための第２
のデ−タ作成部につき説明する。 図２はその概略ブロック図である。 １０は画像データ供給部、１１は前記第１
のデ−タ作成部で作成されたデータを供給するための音源関連データ供給部、１２はゲームソフト作成部で、エディタ１３及び再生機能部１４が設けられ、この再生機能部１４にはコンボルバ等から成る音像定位処理部１４
ａが含まれている。 そして、１５はソフトレコーダである。

【００３８】画像データ供給部１０及び音源関連データ供給部１１からは、画像データと音源データ、発音情報及び定位情報とがそれぞれゲームソフト作成部１２内のエディタ１３に供給される。 このエディタ１３では、これらの入来データを、同期して再現可能な所定のデ−タ構造のフォ−マットに従って配列し、ゲ−ムのスト−リ−を表すプログラムと共に、ソフトレコーダ１５内の記録媒体に記録されることになる。 そして、最終的にゲーム機に装着され易いようにカートリッジ等でパッケージ化される。 また一方、これらの編集中のデータは、再生機能部１４に供給され、ここで、画像データが再生に必要な所定の信号処理が施されると共に、音像定位処理部１４ａにおいて音源データが所定の音像定位処理され、
データ確認用の信号として出力される構成となっている。

【００３９】

〔発明の詳細な説明〕

【図面の簡単な説明】

【図１】本発明の一実施例に係るテレビゲ−ム・オ−サリング・システムの第１のデ−タ作成部を示す概略ブロック図である。

【図２】第２のデ−タ作成部を示す概略ブロック図である。

【図３】時間管理リストを示す図である。

【図４】音像定位制御の原理を説明するための構成図である。

【図５】音像定位制御装置の音像定位制御の方法のステップを示すチャートである。

【図６】ＨＲＴＦ（頭部伝達関数）の測定システムを示す構成図である。

【図７】音像定位制御装置の基本構成図である。

【図８】ＨＲＴＦ測定のポイントを説明するための図である。

【図９】キャンセルフィルタの算出例を説明するための図である。

【符号の説明】

１ コンピュ−タ ２ ＭＩＤＩシ−ケンサ ３ サンプラ− ４ 音像定位ユニット １０ 画像データ供給部 １１ 音源関連データ供給部 １２ ゲームソフト作成部 １３ エディタ １４ 再生機能部 １４ａ 音像定位処理部 １５ ソフトレコーダ １０１ 頭部伝達関数（ＨＲＴＦ）を測定するステップ １０２ ＨＲＴＦのインパルス応答を算出するステップ １０３ ＩＲ（インパルス応答）を整形処理するステップ １０４ キャンセルフィルタｃｆＬｘ、ｃｆＲｘを算出するステップ １０５ キャンセルフィルタのスケーリングをするステップ １０６ 音源からの信号を畳み込み演算して再生するステップ ｓｐ１，ｓｐ２ スピーカ ｐＬｘ，ｐＲｘ 目的とする定位位置ｘに実際のスピーカを配置したときの受聴者左右耳までの頭部伝達特性 ｃｆＬｘ，ｃｆＲｘ キャンセルフィルタ（コンボルバ）及びその係数 ＤＭ ダミーヘッド（または人頭） Ｍ 聴取者（ゲーム操作者、受聴者） Ｘ 音源

【手続補正書】

【提出日】平成５年１０月５日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正内容】

【書類名】 明細書

【発明の名称】 テレビゲーム・オーサリング・システム

【特許請求の範囲】

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビゲーム・オーサリング・システムに関し、特に、再生画像と共に、再生のための一対のトランスジューサ（スピーカ）を用いて聴取者が前記トランスジューサの位置とは異なる１８０
度以上の所望の位置に音像が定位しているように感じさせるテレビゲーム機等に使用されるゲームソフトを編集するためのテレビゲーム・オーサリング・システムに関するものである。

【０００２】

【従来の技術】従来より、両耳における信号のレベル差と位相差（時間差）によって特定な位置（方向）に音源を感じさせる、バイノーラル技術を利用した音像定位方法がある。 アナログ回路を用いた音像定位方法としては、例えば本出願人に係る特開昭５３−１４０００１号（特公昭５８−３６３８号）公報記載の音像定位方式などがある。 これは、アナログフィルタにより特定の周波数帯域のレベルを強調・減衰させて（振幅制御して）音源の前後感を出し、アナログディレイにより左右の音に時間差を生じさせて（位相制御して）音源の左右感を出すようにしたものであった。

【０００３】さらに、最近のデジタル処理技術の進展に伴って、デジタル回路により実現した音像定位方法があり、例えば、特開平２−２９８２００号公報記載の「音像形成方法及びその装置」がある。 このデジタル回路を用いた音像定位方法は、音源からの信号をＦＦＴ（Ｆａ
ｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）変換して、周波数軸上で処理し、左右の両チャンネル信号に周波数に依存したレベル差と位相差とを与えて音像の定位をデジタル的に制御するものである。 この方法の各音像定位位置における、周波数に依存したレベル差と位相差とは、実際の聴取者を利用した実験的なデータとして収集されたものである。 しかし、このような回路を用いた音像定位方法では、正確・精密に音像を定位させようとすると、回路規模が極めて大きくなるという難点があり、特殊な業務用のレコーディングシステムとして利用されるにすぎなかった。 そして、これらの装置に使用されるソフトを編集するためのオーサリング・システムも当然にこれらに対応した音声データ及び画像データを供給して編集するものであった。

【０００４】

【発明が解決しようとする課題】ところで、最近では、
バーチャルリアリティ（仮想現実感）を利用したアミューズメントゲーム機やコンピュータ端末機が出現している。 これらゲーム機や端末機においても、画像と共により現実感のある音像定位が要求され始めている。 しかも、例えば、ゲーム機（や端末機）においては、操作者の操作に応じて、飛行機の飛ぶコース（位置）が異なることになり、操作に応じてリアルタイムで操作者の操作に合わせて音像の移動処理をして、それを再生する必要が生じる。 この点が、前述したレコード用の音像定位処理と大幅に異なる点である。

【０００５】本出願人は、このような要望に応ずべく、
先に、装置の回路規模を小さく、低価格で、しかも，画像と共に１８０度の範囲を越える広範囲な空間に音像を定位させることができる音像定位制御方法を提案した。
本発明は、このような音像定位制御方法を採用する装置に使用されて好適なゲームソフトを編集するためのテレビゲーム・オーサリング・システムを提供するものである。

【０００６】

【課題を解決するための手段】本発明は上記課題を解決するために、以下の構成のより成るテレビゲーム・オーサリング・システムを提供しようというものである。 即ち、入来するビデオ・ディスプレイ・データに基づいて所定の画像が再生されると共に、離間した一対のトランスジューサから、モノラル音源が供給された音像定位処理手段で音像処理をした信号を、離間した一対のトランスジューサから再生し、聴取者に前記一対のトランスジューサとは異なる任意の移動位置に音像を定位させるように感じさせるテレビゲーム機に使用され、画像データと音源データと音像定位データとが供給されて一つのゲームソフトを編集するためのテレビゲーム・オーサリング・システムにおいて、前記音源データと前記音像定位データとを所定の同期関係でオーサリングを行う第１のデータ作成部と、この第１のデータ作成部で作成されたデータと前記画像データとを同期させてオーサリングを行う第２のデータ作成部とを具備し、前記第２のデータ作成部でゲームソフトを作成するようにしたことを特徴とするテレビゲーム・オーサリング・システム。

【０００７】

【実施例】本発明になるテレビゲーム・オーサリング・
システムの実施例について、以下図面と共に説明する。
まず最初に、本発明のテレビゲーム・オーサリング・システムにおいて編集されたゲームソフトを使用して、音像を１８０度の範囲を越える広範囲な空間に音像を定位させることができる音像定位制御方法の基本原理について説明する。 これは、離間して配設された一対のトランスジューサ（以下、スピーカを例として説明する）を使用し、空間の任意の位置に音像を定位させる技術である。

【０００８】図４は音像定位の原理図である。 ｓｐ１，
ｓｐ２は受聴者（実施例の中では、聴取者と称することもある）の前方左右に配置されるスピーカであり、ｓｐ
１から聴取者左耳までの頭部伝達特性（インパルス応答）をｈ１Ｌ、右耳までの頭部伝達特性をｈ１Ｒ、ｓｐ
２から左右耳までの頭部伝達特性をｈ２Ｌ，ｈ２Ｒとする。 また、目的とする定位位置ｘに実際のスピーカを配置したときの受聴者左右耳までの頭部伝達特性をｐＬ
ｘ，ｐＲｘとする。 ここで各伝達特性は音響空間にスピーカと、ダミーヘッド（または人頭）の両耳位置にマイクを配置して実際に測定したものに、適切な波形処理などを施したものである。

【０００９】次に、定位させたい音源ソースＸを信号変換装置ｃｆＬｘ，ｃｆＲｘ（コンボルバなどによる伝達特性）に通して得られる信号を、それぞれｓｐ１，ｓｐ
２で再生することを考える。 このとき受聴者左右耳に得られる信号をｅＬ，ｅＲとすると、 ｅＬ＝ｈ１Ｌ・ｃｆＬｘ・Ｘ＋ｈ２Ｌ・ｃｆＲｘ・Ｘ （式１） ｅＲ＝ｈ１Ｒ・ｃｆＬｘ・Ｘ＋ｈ２Ｒ・ｃｆＲｘ・Ｘ （〃）

【００１０】一方、ソースＸを目的の定位位置から再生したときに受聴者左右耳に得られる信号をｄＬ，ｄＲとすると、 ｄＬ＝ｐＬｘ・Ｘ （式２） ｄＲ＝ｐＲｘ・Ｘ （〃）

【００１１】ここで、ｓｐ１，ｓｐ２の再生により受聴者左右耳に得られる信号が、目的位置からソースを再生したときの信号に一致すれば、受聴者はあたかも目的位置にスピーカが存在するように音像を認識することとなる。 この条件ｅＬ＝ｄＬ，ｅＲ＝ｄＲと（式１），（式２）より、Ｘを消去して ｈ１Ｌ・ｃｆＬｘ＋ｈ２Ｌ・ｃｆＲｘ＝ｐＬｘ （式３） ｈ１Ｒ・ｃｆＬｘ＋ｈ２Ｒ・ｃｆＲｘ；ｐＲｘ （〃） （式３）からｃｆＬｘ，ｃｆＲｘを求めると ｃｆＬｘ＝（ｈ２Ｒ・ｐＬｘ−ｈ２Ｌ・ｐＲｘ）／Ｈ （式４ａ） ｃｆＲｘ＝（−ｈ１Ｒ・ｐＬｘ＋ｈ１Ｌ・ｐＲｘ）／Ｈ （〃 ） ただし、 Ｈ＝ｈ１Ｌ・ｈ２Ｒ−ｈ２Ｌ・ｈ１Ｒ （式４ｂ）

【００１２】したがって、（式４ａ），（式４ｂ）により算出した伝達特性ｃｆＬｘ，ｃｆＲｘを用いてコンボルバ（畳み込み演算処理回路）等により定位させたい信号を処理すれば、目的の位置ｘに音像を定位させることができる。 具体的な信号変換装置の実現方法は様々考えられるが、非対称なＦ１Ｒデジタルフィルタ（コンボルバ）を用いて実現すれば良い。 なお、Ｆ１Ｒデジタルフィルタで用いる場合の最終の伝達特性は、時間応答関数である。

【００１３】つまり、必要な定位位置ｘにおける伝達特性ｃｆＬｘ，ｃｆＲｘとして、（式４ａ），（式４ｂ）
で求めたものを、１回のＦＩＲフィルタ処理により実現するための係数として、ｃｆＬｘ，ｃｆＲｘの係数をあらかじめ作成し、ＲＯＭのデータとして準備しておく。
ＲＯＭから必要な音像定位置の係数をＦＩＲデジタルフィルタに転送し、音源からの信号を畳み込み演算処理して一対のスピーカから再生すれば、所望の任意の位置に音像が定位されることになる。

【００１４】次に、このような原理に基づく本音像定位制御の方法について図５を参照して詳述する。 図５は音像定位制御の方法のステップを示すものである。 頭部伝達関数（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎ
ｓｆｅｒ Ｆｕｎｃｔｉｏｎ；以下、ＨＲＴＦと称する）の測定（ステップ１０１）

【００１５】これを図６及び図８をもって説明する。 図６は、ＨＲＴＦの測定システムを示すものである。 ダミーヘッド（または人頭）ＤＭの両耳に一対マイクロホンＭＬ，ＭＲを設置し、スピーカＳＰからの測定音を受け、録音器ＤＡＴにソース音（リファレンスデータ）ｒ
ｅｆＬ，ｒｅｆＲと被測定音（測定データ）Ｌ，Ｒを同期して記録する。

【００１６】ソース音ＸＨとしては、インパルス音，ホワイトノイズ，その他のノイズ等を用いることができる。 特に、統計処理の観点からは、ホワイトノイズは、
連続音でかつオーディオ帯域にわたってエネルギー分布が一定なので、ホワイトノイズを用いることによりＳＮ
比が向上する。 上記スピーカＳＰの位置を、正面を０度（°）として取決めた空間内の複数の角度θ（例えば、
図８に示すように、３０度ごとに１２ポイント）に設置し、それぞれ所定の時間だけ、連続的に記録する。

【００１７】ＨＲＴＦのインパルス応答（Ｉｍｐｕｌ
ｓｅ Ｒｅｓｐｏｎｓｅ；以下、ＩＲと称する）の算出（ステップ１０２） ステップ１０１で、同期して記録されたソース音（リファレンスデータ）ｒｅｆＬ，ｒｅｆＲと被測定音（測定データ）Ｌ，Ｒとを、ワークステーション（図示せず）
上で処理する。

【００１８】ソース音（リファレンスデータ）の周波数応答をＸ（Ｓ）、被測定音（測定データ）の周波数応答をＹ（Ｓ）、測定位置におけるＨＲＴＦの周波数応答をＩＲ（Ｓ）とすると、（式５）に示す、入出力の関係がある。 Ｙ（Ｓ）＝１Ｒ（Ｓ）・Ｘ（Ｓ） （式５） したがって、ＨＲＴＦの周波数応答を１Ｒ（Ｓ）は、 ＩＲ（Ｓ）＝Ｙ（Ｓ）／Ｘ（Ｓ） （式６） である。 よって、リファレンスの周波数応答Ｘ（Ｓ）、
測定データの周波数応答Ｙ（Ｓ）は、前記ステップ１０
１で求めたデータを時間同期した窓で切り出し、それぞれＦＦＴ変換により有限のフーリエ級数展開して離散周波数として計算し、（式６）より、ＨＲＴＦの周波数応答１Ｒ（Ｓ）が、周知の計算方法で求められる。

【００１９】この場合、ＩＲ（Ｓ）の精度をあげる（Ｓ
Ｎ比の向上）ために時間的に異なる数百個の窓に対してそれぞれＩＲ（Ｓ）を計算し、それらを平均化すると良い。 そして、計算したＨＲＴＦの周波数応答ＩＲ（Ｓ）
を逆ＦＦＴ変換して、ＨＲＴＦの時間軸応答（インパルス応答）ＩＲ（第１のＩＲ）とする。

【００２０】ＩＲ（インパルス応答）の整形処理（ステップ１０３） ここで、ステップ１０２で求めたＩＲを整形する。 まず例えばＦＦＴ変換により、ステップ１０２で求めた第１
のＩＲをオーディオスペクトラムにわたる離散周波数で展開し、不要な帯域（高域には大きなディップが生じるが、これは音像定位にあまり影響しない不要なものである）を、ＢＰＦ（バンドパスフィルタ）で除去する。 このように帯域制限すると、周波数軸上での不要なピークやディップが除去されて、キャンセルフィルタに不要な係数が生じなくなるので、収束性がよくなり、係数を短くすることができる。

【００２１】そして、帯域制限されたＩＲ（Ｓ）を逆Ｆ
ＦＴ変換して、ＩＲ（インパルス応答）を時間軸上で切り出し窓（例えば、コサイン関数の窓）を掛けて、ウィンド処理する（第２のＩＲとなる）。 ウィンド処理することにより、ＩＲの有効長が長くなくなり、キャンセルフィルタの収束性が向上して、音質の劣化が生じないようになる。

【００２２】キャンセルフィルタｃｆＬｘ、ｃｆＲｘ
の算出（ステップ１０４） コンボルバ（たたみ込み積分回路）であるキャンセルフィルタｃｆＬｘ、ｃｆＲｘは、前述した（式４ａ）及び（式４ｂ）に示したように、 ｃｆＬｘ＝（ｈ２Ｒ・ｐＬｘ−ｈ２Ｌ・ｐＲｘ）／Ｈ （式４ａ） ｃｆＲｘ＝（−ｈ１Ｒ・ｐＬｘ＋ｈ１Ｌ・ｐＲｘ）／Ｈ （〃 ） ただし、Ｈ＝ｈ１Ｌ・ｈ２Ｒ−ｈ２Ｌ・ｈ１Ｒ （式４ｂ ）である。

【００２３】ここで、配置されるスピーカｓｐ１，ｓｐ
２による頭部伝達特性ｈ１Ｌ，ｈ１Ｒ，ｈ２Ｌ，ｈ２Ｒ
及び、目的とする定位位置ｘに実際のスピーカを配置したときの頭部伝達特性ｐＬｘ，ｐＲｘとして、上記ステップ１０１〜１０３によって求められた、各角度θごとの整形処理された第２のＩＲ（インパルス応答）を代入する。

【００２４】頭部伝達特性ｈ１Ｌ，ｈ１Ｒは、図９のＬ
チャンネルスピーカの位置に対応するもので、正面から左に例えば３０度（θ＝３３０度）に設置されるとすれば、θ＝３３０度のＩＲを用いる。 頭部伝達特性ｈ２
Ｒ，ｈ２Ｌは、同図のＲチャンネルスピーカの位置に対応するもので、正面から右に例えば３０度（θ＝３０
度）に設置されるとすれば、θ＝３０度のＩＲを用いる（すなわち、実際の音像再生時のシステム（例えば図７
に示す）に近いものを選ぶ）。

【００２５】そして、頭部伝達特性ｐＬｘ、ｐＲｘとしては、目的とする音源定位位置である正面から左右９０
度の１８０度の範囲はもちろんのこと、それを越える広範囲な空間（全空間）における、３０度ごとのＩＲを代入することにより、それに対応した全空間のｃｆＬｘ、
ｃｆＲｘ、すなわち３０度ごとに１２組のキャンセルフィルタｃｆＬｘ、ｃｆＲｘ群が求められる（図９では、
２４０度の位置を例としている）。 キャンセルフィルタｃｆＬｘ、ｃｆＲｘ群は、最終的には、時間軸上の応答であるＩＲ（インパルス応答）として求められる。 なお、（式４ａ）によるキャンセルフィルタｃｆＬｘ、ｃ
ｆＲｘの計算は、次のようである。 まず（式４ｂ）のＨ
に対する一種の逆フィルタであるＨ ^−１を最小２乗法により求め、これを逆ＦＦＴ変換して時間関数ｈ（ｔ）とする。 また（式４ａ）の各項ｈ１Ｌ，ｈ１Ｒ，ｈ２Ｌ，
ｐＲｘ，ｐＬｘ，ｈ２Ｒをそれぞれ時間関数で表すことにより、次式が成り立つ。

【００２６】 ｃｆＬｘ（ｔ）＝（ｈ２Ｒ・ｐＬｘ−ｈ２Ｌ・ｐＲｘ）・ｈ（ｔ） （式 ７） ｃｆＲｘ（ｔ）＝（−ｈ１Ｒ・ｐＬｘ＋ｈ１Ｌ・ｐＲｘ）・ｈ（ｔ） （〃 ）

【００２７】したがって、これらの（式７）からキャンセルフィルタｃｆＬｘ、ｃｆＲｘの係数が求められることになる。 （式７）から明らかなように、キャンセルフィルタｃｆＬｘ、ｃｆＲｘの係数を短くするには、各頭部伝達特性ｈ１Ｌ，ｈ１Ｒ，ｈ２Ｌ，ｐＲｘ，ｐＬｘ，
ｈ２Ｒをそれぞれ短くすることが極めて大切である。 このため、前述したように、ステップ１０１〜１０３でウィンド処理，整形処理などの各種の処理をして、各頭部伝達特性ｈ１Ｌ，ｈ１Ｒ，ｈ２Ｌ，ｐＲｘ，ｐＬｘ，ｈ
２Ｒを短くしている。

【００２８】各定位ポイントｘのキャンセルフィルタのスケーリング（ステップ１０５） また、実際にコンボルバ（キャンセルフィルタ）で音像処理される音源（ソース音）のスペクトラム分布は、統計的にみるとピンクノイズのように分布するもの、あるいは高域でなだらかに下がるものなどがあり、いずれにしても音源は単一音とは異なるために、畳み込み演算（積分）を行ったときオーバーフローして、歪が発生する危険がある。 そこで、オーバーフローを防止するため、キャンセルフィルタｃｆＬｘ、ｃｆＲｘの係数の中で最大のゲイン（例えば、キャンセルフィルタｃｆＬ
ｘ、ｃｆＲｘの各サンプル値の２乗和）のものを見つけ、その係数と０ｄｂのホワイトノイズを畳込んだときに、オーバーフローが生じないように、全係数をスケーリングする。

【００２９】このようにしてスケーリング処理されて、
最終的にコンボルバに係数として供給されるデータ群（この例では、３０度ごとに音像定位が可能な１２組のコンボルバの係数群）ｃｆＬｘ、ｃｆＲｘが求まる。

【００３０】音源からの信号を畳み込み演算して再生（ステップ１０６） 例えば、ゲーム機の音響再生装置として、図７に示すように、ゲーム操作者（聴取者）Ｍを中心として左右３０
度づづ離間して一対のスピーカｓｐ１，ｓｐ２を配設し、これら一対のスピーカｓｐ１，ｓｐ２には、一対のコンボルバ（畳み込み演算処理回路）で処理された音響信号が再生されるように構成する。

【００３１】一対のコンボルバには、同一の音源Ｘ（例えば、ゲーム用シンセサイザからの飛行音などのモノラル音）からの信号が供給されると共に、前記ステップ１
０５で作成されたＩＲの係数ｃｆＬｘ、ｃｆＲｘ（例えば、飛行音を左後方１２０度（θ＝２４０度）の位置に音像定位させたい時は、θ＝２４０度の係数）が、選択されてコンボルバに設定される。 例えば、ゲーム機などのメインＣＰＵ（中央演算装置）からの音像定位命令にもとづいてコントロール用サブＣＰＵが係数ＲＯＭから、所望の定位位置の係数を一対のコンボルバに転送する。

【００３２】このようにして、一対のコンボルバにより音源Ｘからの信号は時間軸上で畳み込み演算処理がなされて、離間して配設された一対のスピーカｓｐ１，ｓｐ
２から再生される。 一対のスピーカｓｐ１，ｓｐ２から再生された音は、両耳へのクロストークがキャンセルされて、所望の位置に音源があるように音像定位して、ゲーム操作者（聴取者）Ｍに聞かれ、極めて現実感に満ちた音として再生される。 コンボルバの係数は、操作者の操作に応じた飛行機の動きの推移と共に、最適な音像位置が順次選択され、切換えられる。 また、飛行音から、
例えばミサイル音に変更する時は、音源Ｘからのソース音が飛行音からミサイル音に変更される。 このようにして、任意の位置を音像を自由に定位させることができる制御方法である。 尚、音像は一般のゲーム機のように画像に合わせて再生されるが、画像処理系については説明を省略してある。

【００３３】本発明のテレビゲーム・オーサリング・システムから作成されるゲームソフトは上述しような構成の音像定位処理手段を具備するゲーム機に使用されるもので、次に、このテレビゲーム・オーサリング・システムの一実施例につき説明する。 図１及び図２はそのテレビゲーム・オーサリング・システムの一実施例を示す概略ブロック図である。 図１は第１のデータ作成部を示す概略ブロック図である。 同図において、１は音像定位データ、音源データ等の時間管理データ等の作成を行うコンピュータ、２はコンピュータからの所定データをＭＩ
ＤＩフォーマット化し、これらデータを所定の時間タイミングで出力するためのＭＩＤＩシーケンサである。 ３
は所定の音源が取り込まれているサンプラーで、この音源はマイクロホンあるいはライン入力により取り込まれた音がフィルタリング、エフェクト等の加工が施されて、ＭＩＤＩ信号によりコントロールできるように加工されている。 ４は音像定位ユニットで、例えば上述したような構成のコンボルバ等から成る音像処理手段が具備されている。

【００３４】次に、この第１のデータ作成部のよるデータ作成につき説明する。 まず、コンピュータ１に音源データ、音源の始点位置、終点位置、音源の定位移動速度等を入力すると、所定のプログラムに従って演算を行い、これらの情報を例えば図３に示すリストとして管理する。 左列に時間情報を、中列に音像の定位情報を、右列に音源の発音情報を夫々対応させて管理する。 例えば、最上段のコードデータは、［０００１］の時間タイミングに、音像が［０２］のコードデータで示す方向定位にあり、この時に音源を［０１］のコードデータに基づき発音させるか否かを示している。 この管理された定位情報及び発音情報はＭＩＤＩシーケンサ２に供給されると共に、出力端子５を通じて出力され、例えば、これらのデータがディスク等に記録される。

【００３５】一方、ＭＩＤＩシーケンサ２に供給された定位情報及び発音情報は、ここで、ＭＩＤＩ規格にあうようにフォーマット化され、次段のサンプラー３に供給される。 サンプラー３では、ここに格納されている音源が取り出されて、音源データとしてその一方が出力端子６から出力され、前記と同様に例えば、ディスク等に記録される。

【００３６】また一方、定位情報はそのままスルーで音像定位ユニット４に供給されると共に、モノラルな音源データも音像定位ユニット４に供給される。 この音像定位ユニット４は前述のコンボルバ等を具備してゲーム機を想定したハードユニットとして構成されており、ここで処理された音声信号をスピーカ等に接続して作前中のデータの内容確認が行なわれる。 このようにして、第１
のデータ作成部においてＭＩＤＩフォーマット化された音源データと音像定位情報及び発音情報とが所定の同期関係が保たれて作成される。

【００３７】次に、第１のデータ作成部で作成されたデータと画像データとを同期させて編集させるための第２
のデータ作成部につき説明する。 図２はその概略ブロック図である。 １０は画像データ供給部、１１は前記第１
のデータ作成部で作成されたデータを供給するための音源関連データ供給部、１２はゲームソフト作成部で、エディタ１３及び再生機能部１４が設けられ、この再生機能部１４にはコンボルバ等から成る音像定位処理部１４
ａが含まれている。 そして、１５はソフトレコーダである。

【００３８】画像データ供給部１０及び音源関連データ供給部１１からは、画像データと音源データ、発音情報及び定位情報とがそれぞれゲームソフト作成部１２内のエディタ１３に供給される。 このエディタ１３では、これらの入来データを、同期して再現可能な所定のデータ構造のフォーマットに従って配列し、ゲームのストーリーを表すプログラムと共に、ソフトレコーダ１５内の記録媒体に記録されることになる。 そして、最終的にゲーム機に装着され易いようにカートリッジ等でパッケージ化される。 また一方、これらの編集中のデータは、再生機能部１４に供給され、ここで、画像データが再生に必要な所定の信号処理が施されると共に、音像定位処理部１４ａにおいて音源データが所定の音像定位処理され、
データ確認用の信号として出力される構成となっている。

【００３９】

【発明の効果】以上詳述したように、本発明になるテレビゲーム・オーサリング・システムによれば、画像、音源、音像定位の３つ部分を時間管理されたデータによって扱うことにより同期関係が保たれるため、効率的にゲームソフトの編集を行なうことができると共に、音像定位処理手段を備えたテレビゲーム機に最適なゲームソフトを提供でき、現実感に溢れたバーチャルリアリテイが楽しめる等の効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例に係るテレビゲーム・オーサリング・システムの第１のデータ作成部を示す概略ブロック図である。

【図２】第２のデータ作成部を示す概略ブロック図である。

【図３】時間管理リストを示す図である。

【図４】音像定位制御の原理を説明するための構成図である。

【図５】音像定位制御装置の音像定位制御の方法のステップを示すチャートである。

【図６】ＨＲＴＦ（頭部伝達関数）の測定システムを示す構成図である。

【図７】音像定位制御装置の基本構成図である。

【図８】ＨＲＴＦ測定のポイントを説明するための図である。

【図９】キャンセルフィルタの算出例を説明するための図である。

【符号の説明】 １ コンピュータ ２ ＭＩＤＩシーケンサ ３ サンプラー ４ 音像定位ユニット １０ 画像データ供給部 １１ 音源関連データ供給部 １２ ゲームソフト作成部 １３ エディタ １４ 再生機能部 １４ａ 音像定位机理部 １５ ソフトレコーダ １０１ 頭部伝達関数（ＨＲＴＦ）を測定するステップ １０２ ＨＲＴＦのインパルス応答を算出するステップ １０３ ＩＲ（インパルス応答）を整形処理するステップ １０４ キャンセルフィルタｃｆＬｘ、ｃｆＲｘを算出するステップ １０５ キャンセルフィルタのスケーリングをするステップ １０６ 音源からの信号を畳み込み演算して再生するステップ ｓｐ１，ｓｐ２ スピーカ ｐＬｘ，ｐＲｘ 目的とする定位位置ｘに実際のスピーカを配置したときの受聴者左右耳までの頭部伝達特性 ｃｆＬｘ，ｃｆＲｘ キャンセルフィルタ（コンボルバ）及びその係数 ＤＭ ダミーヘッド（または人頭） Ｍ 聴取者（ゲーム操作者、受聴者） Ｘ 音源