【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、リズム楽器の自動採譜装置に関するものである。

【０００２】

【従来の技術】従来、音楽信号から楽譜データを採譜する手法としては、経験を積んだ音楽家が独自の知識と感性で判断して採譜する場合が多い。 ところが、近年、コンピュータ技術の進歩に伴い、コンピュータによる自動採譜の試みが行われるようになってきた。 現在では、単一楽音で、且つ有音程楽器（例えばバイオリン、ピアノ等）に対しては、実用的なレベルで、ある程度の成果が得られている。

【０００３】

【発明が解決しようとする課題】しかしながら、ドラムやパーカッション等のリズム楽器は音程や倍音周波数が存在せず、また瞬時に音が減衰していくため、安定した音響的特性が得られない。 そのため、リズム楽器の自動採譜に関しては、ほとんど満足がいく結果が得られていないのが実状である。

【０００４】本発明は、上述した問題点を解決するためになされたものであり、音響解析結果のみからリズム楽器の自動採譜をするのではなく、音楽的知識を利用して採譜結果を修正することにより、より自然で精度の高い採譜結果を得ることが出来るリズム楽器の自動採譜装置を提供することを目的としている。 具体的には、リズム楽器は基本となるパターンの繰り返しによりリズムを取ることが多いという音楽知識を利用している。

【０００５】

【課題を解決するための手段】この目的を達成するために本発明のリズム楽器の自動採譜装置は、入力される音楽信号を音響的に解析する音響解析手段と、その音響解析手段の解析結果をもとに、リズム楽器が使用されている時刻を判別する時刻判別手段と、前記音響解析手段の解析結果をもとに、使用されているリズム楽器の種類を判別する種類判別手段とを備え、更には前記音響解析手段の解析結果をもとに自動採譜した結果から、ある一定区間毎のリズム楽器の音の並びのパターンを認識するパターン認識手段と、そのパターン認識手段により認識されたリズム楽器の音の並びのパターン間の類似度の尺度となる距離を算出する距離算出手段と、 その距離算出手段により算出されたパターン間の距離があるしきい値以下の場合に、それらのパターンが存在する区間を同じ採譜結果になるように修正する採譜結果修正手段とを備えている。

【０００６】

【作用】上記の構成を有する本発明のリズム楽器の自動採譜装置では、入力された音楽信号を音響解析手段が音響的に解析し、音響的な特徴を得る。 次に、時刻判別手段が音響解析結果をもとにリズム楽器のなっている時刻を判別する。 判別された時刻において、種類判別手段が音響解析結果をもとにリズム楽器の種類を判別する。 その後、パターン認識手段が、音響解析結果をもとに自動採譜した結果を、ある一定区間ごとのリズム楽器の音の並びのパターンとして認識する。 距離算出手段がこれらのパターン間の類似度を調べるため、リズム楽器のパターン間の類似度の尺度となる距離を算出する。 そして最後に、採譜結果修正手段が、パターン間の距離があるしきい値以下の場合にそれらのパターンを持つ区間を同じ採譜結果になるように修正して、それを最終的な自動採譜結果とする。

【０００７】

【実施例】以下、本発明を具体化した一実施例を図面を参照して説明する。

【０００８】本実施例は、入力された音楽信号からリズム楽器を自動採譜し、音楽用標準インターフェイスであるＭＩＤＩコードを作成するリズム楽器自動採譜装置である。

【０００９】まず、本実施例の構成を図１と図２を用いて説明する。

【００１０】図１に全体の構成図を示す。 マイクや音楽テープ等の音楽信号入力部１０はＡ／Ｄ変換部１２に接続され、Ａ／Ｄ変換部１２はフィルタ１４に接続されている。 Ａ／Ｄ変換部１２とフィルタ１４は本実施例の音響解析手段である。 フィルタ１４の出力が時刻判別手段である時刻判別部１６と種類判別手段である種類判別部１８に送られるように、フィルタ１４が時刻判別部１６
と種類判別部１８に接続されている。 また、種類判別部１８には時刻判別部１６の出力も送られるように、時刻判別部１６が種類判別部１８に接続されている。 時刻判別部１６と種類判別部１８の出力がそれぞれ後処理部２
０に送られるように、時刻判別部１６と種類判別部１８
が後処理部２０に接続されている。 後処理部２０はＭＩ
ＤＩコード作成部２２に接続されている。

【００１１】本発明の特徴である後処理部２０の内部の構成図を図２に示す。 パターン認識手段である採譜パターン認識部２４は採譜パターン頻度算出部２６に接続されている。 採譜パターン頻度算出部２６は距離算出手段である採譜パターン間距離算出部２８に接続されている。 採譜パターン間距離算出部２８は採譜結果修正手段である採譜結果修正部３０に接続されている。 また、それぞれが１曲分の採譜データにアクセス出来るように、
採譜パターン記憶部３２に接続されている。

【００１２】次に、本実施例の動作を図１と図２を用いて説明する。

【００１３】音楽信号入力部１０から入力された音楽信号は、Ａ／Ｄ変換部１２でアナログ信号からデジタル信号に変換され、フィルタ１４で不必要な周波数帯が取り除かれる。 そして、そのデジタル信号は時刻判別部１６
と種類判別部１８に送られる。 時刻判別部１６では音楽信号のパワー等を利用して、リズム楽器がなっている時刻を判別する。 また、種類判別部１８では、時刻判別部１６で判別された時刻における音楽信号の周波数特性や波形形状を利用して、リズム楽器の種類を判別する。 このようにして採譜されたリズム楽器の発音時刻候補と種類候補は後処理部２０に送られ、そこで後述する動作に従って採譜結果の修正を施され、ＭＩＤＩコード作成部２２で、ＭＩＤＩコードに変換される。

【００１４】後処理部２０での動作を図２を用いて説明する。 時刻判別部１６で判別された発音時刻候補と種類判別部１８で判別された種類候補は、採譜パターン認識部２４で１小節分の採譜結果を１つのパターンとして認識される。 認識された採譜パターンは採譜パターン記憶部３２に記憶される。 １曲分の採譜データが採譜パターン記憶部３２にたまった時点で、採譜パターン頻度算出部２６が同じ採譜パターンがあるかどうかを調べ、採譜パターンの頻度を算出する。 その後、採譜パターン間距離算出部２８がそれぞれのパターン間の距離を算出する。 このパターン間の距離の算出法については、後にフローチャートを用いて詳述する。 全てのパターン間の距離を算出した後、採譜結果修正部３０が距離がしきい値以下のパターンを、実際には同じパターンで演奏されているとみなし、同じパターンに修正する。 この採譜結果の修正法についても、後でフローチャートを用いて詳述する。

【００１５】パターン間距離算出部２８における距離算出法について、図３、及び図４のフローチャートを用いて説明する。 ドラムの採譜をした結果である採譜パターンの例を図６に示す。 発音時刻は小節の開始時刻からの規格化された時刻であり、４分音符の時間が４８になるように規格化されている。 また、この採譜結果は４／４
小節の曲を採譜したものとする。 即ち、１小節の規格化された時間は、４８＊４＝１９２である。 楽器種類のバスはバスドラム、スネアはスネアドラム、ロータムはロータムドラムを表している。 距離算出の例としてこのドラムの採譜結果を用いる。

【００１６】距離を求めるべきパターンをパターン１、
パターン２とする。 まず、最初に変数を初期化する（Ｓ
１０）。 ＳＮＤ１、ＳＮＤ２にパターン１、パターン２
の採譜結果数（音数）を代入し、Ｄに０、Ｌ１、Ｌ２に１を代入する。 Ｄはパターン１とパターン２の距離を代入する変数。 Ｌ１、Ｌ２はそれぞれパターン１、パターン２の中で、何番目の採譜結果に注目しているか、を表す変数である。 例として、図６のパターンＡをパターン１、パターンＢをパターン２とすると、パターン１、パターン２とも４つの採譜結果からなっているので、ＳＮ
Ｄ１＝４、ＳＮＤ２＝４である。 次に、パターン１にＬ
１番目の採譜結果があるかどうか調べ（Ｓ１２）、あればパターン１のＬ１番目の採譜結果を取り出す（Ｓ１
４）。

【００１７】同じように、パターン２のＬ２番目の候補があるかどうか調べ（Ｓ１６）、あればパターン２のＬ
２番目の採譜結果を取り出す（Ｓ１８）。 例では、パターン１から［０、バス］、パターン２から［０、バス］
という採譜結果が取り出される。 ここで、［発音時刻、
楽器種類］である。 これらをそれぞれ、結果１、結果２
と呼ぶ。 次に、結果１と結果２の音のなっているタイミングを比較するために、発音時刻が同じかどうかを調べる（Ｓ２０）。 同じならば、同じタイミングでなっているので、結果１と結果２の楽器種類を比較して、結果１
と結果２の距離を求める（Ｓ２２）。 この距離は、楽器種類が同じならば０である。 違う場合は、あらかじめ定められた楽器間のコスト（距離）を用いる。

【００１８】楽器間のコストとは、どの楽器とどの楽器が自動採譜で間違えやすいか、というデータをあらかじめ調べておき、間違えやすい楽器間のコストを小さく、
間違えにくい楽器間のコストを大きく設定したものである。 例では、図７に示すようにコストが、あらかじめ定められているとする。 脱落付加のコストとは、実際はドラムがなっていないところで、なんらかの採譜結果を出力してしまったり、実際はドラムがなっているのに、何も採譜結果を出力しなかったりした時のコストである。
また、図７より、バスとロータムのコストは１で、バスとスネアのコストは３である。 これは、バスとロータムは自動採譜で間違えやすいが、バスとスネアは間違えにくいことを表している。

【００１９】図６の例では、楽器種類はどちらもバスであり、結果１と結果２の距離は０である。 この距離をＤ
１とする。 そして、パターン間の距離Ｄに、いま調べた採譜結果間の距離Ｄ１を加え、パターン１とパターン２
のそれぞれについて、注目する採譜結果を１つ後ろにずらす。 これは、Ｌ１とＬ２にそれぞれ１を加えることに対応する（Ｓ２４）。 例では、Ｄ＝０、Ｌ１＝２、Ｌ２
＝２となる。 そして、Ｓ１２に戻り、同じように、パターン１とパターン２の次の採譜結果について、距離を求めていく。

【００２０】Ｓ２０で、結果１と結果２の発音時刻が異なる場合は、どちらかが、余計に採譜をしているので、
パターン間の距離Ｄに脱落付加のコストを加えて（Ｓ２
６）、どちらの発音時刻が早いかを調べる（Ｓ２８）。
結果１の方が早い場合は、パターン２はそのままで、パターン１の注目する採譜結果のみを１つ後ろにずらす。
これはＬ２はそのままで、Ｌ１のみ１を加えることに対応する（Ｓ３０）。 同様に、結果２の方が早い場合は、
Ｌ１はそのままで、Ｌ２のみ１を加える（Ｓ３２）。 そして、Ｓ１２に戻り、パターン１のＬ１番目の採譜結果と、パターン２のＬ２番目の採譜結果の距離を求めていく。

【００２１】また、Ｓ１２で、パターン１から取り出すべき採譜結果が残っていない場合（つまり、Ｌ１がＳＮ
Ｄ１より大きい場合）、パターン間の距離Ｄにパターン２の残っている採譜結果の数だけ脱落付加のコストを加える（Ｓ３４）。 同様に、Ｓ１６でパターン２から取り出すべき採譜結果が残っていない場合も、パターン間の距離Ｄにパターン１の残っている採譜結果の数だけ脱落付加のコストを加える（Ｓ３６）。 Ｓ３４、またはＳ３
６の時点で、パターン１、パターン２とも、コストを計算していない採譜結果はなくなる。 しかし、この計算方法では、パターン内に採譜結果が多ければ、それだけ、
パターン間距離も大きくなる可能性が高いので、最後に、パターン内の採譜結果の数で、パターン間距離Ｄを割る。 実際には、パターン１とパターン２の採譜結果数の平均を求め（これをＳとする）、パターン間距離ＤをＳで割って、最終的なパターン間距離Ｄとする（Ｓ３
８）。

【００２２】例では、パターン１とパターン２で楽器種類が異なるのは、［９６、バス］と［９６、ロータム］
だけなので、図７より、バスとロータムのコスト１が、
Ｓ３８の直前でのパターン間距離Ｄになる。 また、ＳＮ
Ｄ１＝４、ＳＮＤ＝４より、Ｓ＝４となり、最終的なパターン間距離Ｄは、Ｄ＝１／４＝０．２５となる。 すなわち、パターンＡとパターンＢの距離は０．２５である。 同様に、パターンＡとパターンＣの距離を求めてみる。 パターンＣの方が余計に１つ採譜結果があるので、
コストの合計は、脱落付加のコスト５になる。 また、平均採譜結果数は（４＋５）／２＝４．５なので、パターン間距離は、Ｄ＝５／４．５＝１．１１となる。 同様に、パターンＢとパターンＣの距離の合計を求めてみる。 コストの合計が脱落付加のコスト５とバスとロータムのコスト１の合計になるので、６である。 また平均採譜結果数は４．５なので、パターン間距離は、Ｄ＝６／
４．５＝１．３３となる。

【００２３】すなわち、図６のパターン間の距離は、 パターンＡ、パターンＢ間の距離＝０．２５ パターンＡ、パターンＣ間の距離＝１．１１ パターンＢ、パターンＣ間の距離＝１．３３ となる。

【００２４】次に、採譜結果修正部３０における、採譜結果修正法について、図５のフローチャートを用いて詳述する。

【００２５】１曲分の採譜結果に現われる採譜パターンについて、採譜パターン間距離算出部２８で、すべての採譜パターンの組合せのパターン間距離を求めた後、パターンの組合せを距離が小さい順に並べる（Ｓ５０）。
そして、距離が１番小さい組合せを取り出し（Ｓ５
２）、その距離をしきい値と比較する（Ｓ５４）。 図６
の例では、パターンＡとパターンＢの組合せが距離が１
番小さい。 例えば、しきい値が１に設定してあるとすると、パターンＡ、パターンＢ間の距離は０．２５なので、しきい値よりも小さい。

【００２６】距離がしきい値よりも小さい場合は、どちらかが既に統合されたパターンかどうか調べる（Ｓ５
６）。 統合されたパターンかどうかを調べる手法については、後で記述する。 どちらも統合されていないパターンの場合は、２つのパターンのうち頻度の大きいパターンをパターン１、頻度の小さいパターンをパターン２とすると、パターン２をパターン１に統合する（Ｓ５
８）。 統合するとは、同じパターンとみなすということであり、実際にはパターン１は変更せずに、パターン２
をパターン１と同じになるように変更する。 これは、頻度の大きいパターンは、１曲中に何度も採譜されたパターンであり、正解である可能性が高いため、このような手法にしている。

【００２７】そして、パターン１の頻度を、パターン１
とパターン２の以前の頻度を加えたものに更新し、パターン２の頻度を０にする（Ｓ６０）。 すなわち、Ｓ５６
で、どちらかが既に統合されたパターンかどうかを調べるには、どちらかのパターンの頻度が０であるかどうかを調べればよい。 頻度が０であれば、それは既に統合されたパターンである。 図６の例では、１曲の採譜結果中にパターンＡが１０回、パターンＢが１回、パターンＣ
が５回現われたとすると、パターンＡの頻度は１０、パターンＢは１、パターンＣは５である。 Ｓ５６で、パターンＡとパターンＢを統合するとき、パターンＡの方が頻度が大きいので、パターンＢをパターンＡと同じになるように変更する。 すなわち、発音時刻９６のロータムをバスに変更する。 つまり、発音時刻９６のロータムを自動採譜での判別誤りとみなし、バスに修正したことになる。 パターンＢは頻度が小さいので、にたようなパターンで、頻度が大きいものがあれば、それと同じパターン（音楽的には同じリズムパターン）とみなすのは、妥当である。 そして、Ｓ６０の頻度の更新で、パターンＡ
の頻度を１０＋１＝１１にし、パターンＢの頻度を０にする。

【００２８】そして、パターン間の組合せがまだ存在するかどうかを調べ（Ｓ６２）、あれば、次の組合せを取り出し（Ｓ６４）、Ｓ５４に戻り距離としきい値の比較をし、距離がしきい値より小さければ、上と同様にして、パターン間の統合の処理をする。 組合せがもうなければ、処理を終わる。 また、Ｓ５４で、距離がしきい値よりも大きい場合も、以降の組合せはすべて、しきい値よりも距離が大きいため、その時点で処理を終わる。 図６の例では、Ｓ６４で次の組合せであるパターンＡとパターンＣが取り出される。 この距離は、１．１１であるため、Ｓ５４で、距離がしきい値よりも大きく、その時点で処理が終わる。 すなわち、採譜結果の修正としては、パターンＢのみであり、発音時刻９６のロータムをバスに修正している。 また、かりに別のパターン（パターンＤ）が存在し、パターンＢとパターンＤの距離が０．５だとしても、Ｓ５６で、パターンＢは既に統合されたパターン（頻度が０）であり、再び、パターンＢが統合されることはない。 これは、あるパターンを統合するときに、距離がしきい値以下のパターンがいくつかあっても、一番距離が小さいもの、すなわち、１番似通ったパターンに統合するためである。

【００２９】なお、本発明は、本実施例に限定されるものではない。 例えば、採譜パターン認識部２４において、１小節ごとに採譜パターンを認識するのではなく、
複数の小節を１つのパターンとして認識してもよい。 また、本実施例は、１曲分の採譜データがたまってから、
採譜パターンの頻度を算出し、パターン間距離を求め、
採譜結果の修正を行なっているが、リアルタイムに処理をしたい場合は、１曲中のその時点までの採譜結果を用いて頻度を算出し、採譜結果の修正をリアルタイムに行なうことも可能である。 この場合は、パターン間の距離の算出は、新しいパターンが採譜された時点で、行なわれることになる。

【００３０】また、パターン間の距離の算出法についても、種々の拡張が可能である。 例えば、Ｓ２０で２つの採譜結果の発音時刻が同じかどうかを調べているが、実際には、時刻判別部１６で判別される時刻は必ずしも正確なものではなく、多少のゆらぎを持っているのが普通である。 そこで、発音時刻が正確に一致するかどうかで判断するのではなく、ある許容誤差以内の違いであれば、同じタイミングで楽器がなっていると判断してもよい。 さらに、採譜結果として、同じタイミングで複数の楽器が採譜されることも考えられる。 このときも、距離の算出法を、１つの発音時刻に複数の楽器種類が存在してもいいように拡張することは可能である。 また、音響解析結果から採譜したときの確からしさを、採譜コストとして、パターン間距離の算出に用いてもよい。

【００３１】採譜結果の修正法についても、いくつかの変更が考えられる。 本実施例では、パターン間距離が小さい順にパターンの統合を試みたが、パターンの頻度が小さいものから、パターンの統合を試みてもよい。 また、パターンの統合の時に、本実施例では、頻度が大きいパターンと同一になるように統合したが、２つのパターンの採譜コスト等を参照して、お互いの確からしいところをうまく組み合わせて、新たなパターンを作成してもよい。 その場合は、２つのパターンともその新たなパターンに修正されることになる。

【００３２】

【発明の効果】以上説明したことから明かなように、本発明のリズム楽器の自動採譜装置では、音響解析結果のみからリズム楽器の自動採譜をするのではなく、リズム楽器は基本となるパターンの繰り返しによりリズムを取ることが多いという音楽知識を利用して、採譜結果を修正している。 それにより、より自然で精度の高い採譜結果を得ることができるという効果がある。

【図面の簡単な説明】

【図１】本発明のリズム楽器の自動採譜装置の全体の構成を示すブロック図である。

【図２】本発明の一実施例における後処理部の構成を示すブロック図である。

【図３】本発明の一実施例における採譜パターン間の距離を算出する手順を示したフローチャートである。

【図４】本発明の一実施例における採譜パターン間の距離を算出する手順を示したフローチャートである。

【図５】本発明の一実施例における採譜パターン間距離をもとに採譜結果を修正する手順を示したフローチャートである。

【図６】本発明の一実施例におけるドラムの自動採譜をした結果である採譜パターンの例を示す図である。

【図７】本発明の一実施例における楽器間のコストの一例を示す図である。

【符号の説明】

１０ 音楽信号入力部 １２ Ａ／Ｄ変換部 １４ フィルタ １６ 時刻判別部 １８ 種類判別部 ２０ 後処理部 ２２ ＭＩＤＩコード作成部 ２４ 採譜パターン認識部 ２６ 採譜パターン頻度算出部 ２８ 採譜パターン間距離算出部 ３０ 採譜結果修正部 ３２ 採譜パターン記憶部