身の回りのものに任意の音色を割り当てて演奏可能な電子楽器インターフェース

An Interface of Musical Instrument that Assigns Arbitrary Timbres to Personal Belongings

〜 Possessing Drums 〜

山本 和彦
Kazuhiko Yamamoto: @yamo_o

possessingdrums


Abstract

 本研究では, 身の回りにあるもの, や声を発する, といった行為に対して任意の音色を割り当てて, あたかも割り当てられた音色を発する物体がそこにあるかのように音を鳴らして楽器のように演奏することを可能にするインターフェースを提案する. 本システムは特別なデバイスを必要とすることなくマイク一本のみで実現可能である. 身の回りのものに割り当てられた音色は, マイク音声から検出されたアタックによってPCM波形がトリガー再生されたものではなく, マイクの入力音声そのものを加工してその音色が発せられる仕組み自体がモデリングされて生成されるため, どこまでも小さい音や速い連打, 奏法による変化など生楽器と同等の繊細な表現をすることを可能としている. また, 複数の割り当て対象物に同時に異なる音色をそれぞれ割り当てて複数音同時演奏をすることも可能である.

 In this work, I propose an interface for musical instruments for assigning arbitrary timbres to arbitrary ob- jects including personal belongings such as a table or cup, or actions such as vocalization by audio signal processing, to enable the users to play music as if they were playing the actual acoustic musical instrument which generates the simulated timbres. This system requires no special device, only a standard microphone. The assigned timbres are pro- duced not by a triggered PCM (pulse-code modulation) waveform in response to the detected attacks in the microphone input source but by the modeling process of the system that generates the timbres by modifying the microphone input source itself. It thereby enables the users to play music with very sensitive expression, including very small sounds, fast passages, and the effects of playing style. Additionally, in this system, we can assign separate individual timbres to each of a set of objects at a time and play polyphonic music.




Approach

 現実世界の音は, どんな音でも駆動と伝達という2つのプロセスを経て生成されます. 例えばテーブルを叩く音ならば, 叩くというのが駆動, テーブル自体がそれによって振動し, 音となって空気を伝わり我々の耳に届く, という部分が伝達であり, 音声ならば, 声帯の振動が駆動, それが声道を通って口から放射され, 空気中を伝わって我々の耳に届く, という部分が伝達です. Possessing Drumsではこのうち伝達の部分だけを他のものに置き換えることによって音色の割り当てを行います.

pdmethod


リアルタイム音源分離

 テーブルを叩いた音, コップを叩いた音…など様々な音が混ざった1本のマイクからの入力音からそれぞれ個別の音を抽出します. これによって, マイク1本のみで, 複数の割り当て対象物に同時にそれぞれ異なる音色をそれぞれ割り当てて複数音同時演奏をすることが可能になります. 例えば, テーブルにピアノの音, コップにギターの音を割り当ててそれを叩いたり, 擦ったりして演奏することが可能となるに加えて, テーブルとコップを同時に叩いてピアノとギターの音を同時発音させることも可能となります.

pdmethod


駆動信号抽出

 分離された音それぞれを擬似的な逆フィルタに通すことによって駆動振動を抽出します. これは例えば, テーブルを手で叩いた音ならばテーブルが振動する, という部分だけを差し引いて, 手で叩く, という情報のみを取り出すことを意味します.

pdmethod


伝達シミュレーション

 取り出された駆動信号をモーダルレゾネータ(共鳴器)に通すことによって所望の音色を再現するような伝達を付加します. PCM波形をトリガー再生するのではなく, このようにマイクからの入力音そのものを加工してその音色が発せられる仕組み自体をモデリングしているため, どこまでも小さい音や速い連打, 奏法による変化など生楽器と同等の繊細な表現が可能となります.

pdmethod


 

Publication

Possessing Drums: An Interface of Musical Instruments that Assigns Arbitrary Timbres to Personal Belongings, Kazuhiko Yamamoto, Journal of Information Processing, Vol.21 No.2, p274–282, Apr. 2013.    PDF

身の回りのものに任意の音色を割り当てて演奏可能な電子楽器インターフェース 〜 Possessing Drums 〜,
山本 和彦, インタラクション2012, 日本科学未来館, 15-17th March, 2012.    PDF

 

Activities

2012/03/15-03/17: インタラクション2012 インタラクティブ論文賞受賞, 日本科学未来館

 

Contact

Kazuhiko Yamamoto (Yamo)
mail: yamotulp(at)gmail.com
twitter: @yamo_o

 

Copyright (C) Kazuhiko Yamamoto. All Rights Reserved.