アメリカ計算機学会コンピュータグラフィクス部会SIGGRAPH96, The Bridge
ニューオリンズコンベンションセンター、ニューオリンズ、アメリカ
1996年8月6日-8日

アメリカ計算機学会コンピュータグラフィクス部会の国際会議・展覧会SIGGRAPH98 Sigkidsにおいて、空間で手を動かすことによって音と映像をリアルタイムにコントロールする参加型のインタラクティブインスタレーション「Hyperscratch ver.7」の展示、発表をおこなった。

This interactive piece allows participants to generate a variety of sounds and images as if painting a picture on a canvas of space through simple hand motion or playing a piano with invisible keys.No visual interface or control device is used to operate this piece. The participant simply stands where indicated before the screen, then moves his or her hands at face level to generate images on-screen and sounds emitted from loudspeakers. The images displayed change according to hand motion, whether up and down or right and left. Likewise, sounds from the surrounding speakers are directed by hand motions. This piece is designed to provide participants with uninhibited creative space and time. The only input device is the hands and body of the participant. Both hands can be used to create sounds and images sequentially, which is an important feature of this work. This allows the participant to use both hands as if conducting a symphony or dancing. Such natural and free body movement is not possible through operation using a mouse, touch panelor space input device. Thus, this product is not simply for an input device or pointing device but for a unique environmental interface that mirrors the physical motion of the user. Ultimately, this product enables participants unlimited free expression when it plays a musical instrument or paints on canvas, without any physical restrictions.

This interactive piece allows the participant to generate a variety of sounds and images as if painting a picture on a canvas of space through simple hand motion or playing a piano with invisible keys. Instead of providing an interactive display through which the participants moves through a prearranged, simulated environment, this product offers the user a way to spend time more creatively in a physical space. No visual interface or control device is used to operate this piece. The participant simply stands where indicated before the screen, then moves his or her hands at face level to generate images on-screen and sounds emitted from eight loudspeakers. The images displayed change according to

hand motion, whether up and down or right and left. Likewise, sounds from the surrounding speakers are directed by hand motions. In other words, an invisible three-dimensional interface allows the participant to manipulate images and sounds. Various image patterns and sounds with a specific tone and rhythm are produced in response to random hand motion as programmed in the software.Infrared light is cast upon the moving hands, while highly sensitive video cameras in front and on the sides capture the hand motion. The computer processes the motion to generate images, and an MIDI signal is sent to the digital sound sampler to generate sounds. This piece is designed to provide the participant with uninhibited creative space and time. The only input device is the hands and body of the user. Both hands can be used to create sounds and images sequentially, which is an important feature of this piece. This allows the participant to use both hands as if conducting a symphony or dancing. Such natural and free body movement is not possible through operation using a mouse, touch panel or space input device. Thus, this piece is not simply for an input device or pointing device but for a unique environmental interface that mirrors the physical motion of the participant. Ultimately, this piece enables users unlimited free expression when it plays a musical instrument or paints on canvas, without any physical restrictions. Though music can be played through this interface, a precise musical scale is difficult to produce because the interface is invisible. Therefore, this piece works supposing possible participant action. The eight loudspeakers are positioned to envelope the participant in three-dimensional sound in response to hand motion. Sound is just as important as the image. Many so-called virtual reality products are designed to immerse the participant in a space of images. But since we have physical bodies, it is impossible to enter a space displayed on a flat display device. Conversely, since sound can freely exist in space, we can physically enter the realm of sound. In this sense, sounds are essentially more virtual than images. Each sound and image generated by this piece have been simplified so that a distinct chord and image accompany the sequential motion of the hands. This feature serves to stimulate the participant’s imagination regarding free movement. Those that expect to experience some preconceived notion of virtual reality or an interactive video game in this product will be disappointed. Conventional interactive media products are extensions of the methodologies of games, books and images through which we travel along a set course or turn the page. This piece, however, affords the freedom to create our own music and art on a large canvas just like the abstract expressionist.

この作品は、参加者が空間で手を動かすことによって、まるで空間を絵筆とキャンバスのようにしてペインティングするように、あるいは鍵盤の見えないピアノで演奏するように、様々な音と形を発生させることが出来るインタラクティブな作品である。この作品ではただ単にあらかじめ設定された世界を巡っていくようなインタラクティビティーではなく参加者により創造的な時間と、空間を提供しようとする試みである。 　この作品は操作するためのインターフェースやデバイスなどは視覚的には一切存在せず、スクリーンの前方に参加者の立つ位置が示されているのみである。参加者はそこに立って手を前方で動かすことによってスクリーンから映像と、スピーカーから音声を発生させることができる。手を上下左右に動かすと、映像は変化すると同時に手の動いた方向に動く。また音声も変化すると同時に参加者の周りに配置されたスピーカーからの音声を手の動きに従って動かすことができる。つまり参加者の眼前には目に見えない３次元の立体的なインターフェースが存在し、そのインターフェースを通して映像と音声を操作することができるのである。音声と画像は固有の音程やリズムを持ったもの、参加者の行為にランダムに反応したり、参加者の行為を受けて自発的にパターンが変化したりするものなど、コンピュータのプログラムによって様々なパターンで再生される。手の動きは赤外線ライトに照らされ、前方と横に設置された高感度ビデオカメラによって追尾される。高感度ビデオカメラによって捕えられた手の動きは、コンピュータによって処理されて、画像となって現われると同時にMIDI信号によってデジタルサウンドサンプラーに送られ、音声が出される。 　この作品の目的は参加者にいかに自発的で創造的な時間と空間を提供できるかということである。この作品においては何らかの入力デバイスは使用せず、使うのは人間の手と体のみであるり、両手を使って連続して次々に音と映像を出すことができる。このことはこの作品において非常に重要なポイントである。参加者は両手を使って踊るようなしぐさを見せたり、指揮者ように振る舞ったりする。マウスやタッチパネル、あるいは何らかの空間入力デバイスを使用する操作方法では、このように自然な自発的な体の動きを誘発することはなかなか困難ではないだろうか。この作品のインターフェースは単なる入力装置やポインティングデバイスとして位置付けされるものではなく、参加者の肉体的な行為を誘発する環境として存在するのである。まるで楽器か絵の具とキャンバスのように、あるいは楽器や絵の具とキャンバスの物理的な制約を廃したことにおいてそれ以上に参加者が思うままに自由に表現することが可能であり得たとき、この作品の目的は達成される。また楽器の様に演奏することも不可能ではないが、インターフェースが目に見えない以上、正確に音階を奏でることは至難のわざである。したがって参加者の行為が引き起こす偶然性をも前提としてこの作品は成り立っている。 　また前述したように参加の周りには立体的に８個のスピーカーが配置せれていて、参加者の手の動きに呼応して音声も立体的に空間を移動する。この作品において音声も映像と同等に重要な役割をになっている。いわゆるバーチャルリアリティ等の作品において映像空間への没入感を目指すものが多いが、実際人間が肉体を持っている限り平面上のディスプレーに写し出された空間に入って行くことは困難であるのに対し、音の位相は空間上に自由に設定する事ができるので人間の身体がその音場に入り込むことも可能である。その意味において音は映像以上に本来バーチャルなもので有り得るのではないか。 　この作品で出現する一つ一つの音と映像は連続した手の動きによって和音とイメージが生じることを意図し、できるだけシンプルなものとした。そしてそれは参加者のイマジネーションを刺激し自発的な行為が生まれる余地とスキを残しす事をも意味する。この作品を前に、なにかバーチャルリアリティやゲームのようなあらかじめ決められた操作方法や仮想空間等を期待する向きには期待はずれであろう。従来のインタラクティブなメディアがあらかじめ設定された空間の中を巡っていく、あるはページのようにめくって行くといったあくまでも従来のゲームや書籍、映像の方法論の延長上に位置していると思われるのに対し、この作品の目指すところはより即興音楽的、あるいは抽象表現主義の作家ジャクソン ポロックが大きなキャンバス上で描いているその瞬間の行為に没頭したであろうその感覚を目指しているとも言える。