アメリカ計算機学会コンピュータグラフィクス部会SIGGRAPH96, The Bridge
ニューオリンズコンベンションセンター、ニューオリンズ、アメリカ
1996年8月6日-8日

アメリカ計算機学会コンピュータグラフィクス部会の国際会議・展覧会SIGGRAPH98 Sigkidsにおいて、空間で手を動かすことによって音と映像をリアルタイムにコントロールする参加型のインタラクティブインスタレーション「Hyperscratch ver.7」の展示、発表をおこなった。

This interactive piece allows participants to generate a variety of sounds and images as if painting a picture on a canvas of space through simple hand motion or playing a piano with invisible keys.No visual interface or control device is used to operate this piece. The participant simply stands where indicated before the screen, then moves his or her hands at face level to generate images on-screen and sounds emitted from loudspeakers. The images displayed change according to hand motion, whether up and down or right and left. Likewise, sounds from the surrounding speakers are directed by hand motions. This piece is designed to provide participants with uninhibited creative space and time. The only input device is the hands and body of the participant. Both hands can be used to create sounds and images sequentially, which is an important feature of this work. This allows the participant to use both hands as if conducting a symphony or dancing. Such natural and free body movement is not possible through operation using a mouse, touch panelor space input device. Thus, this product is not simply for an input device or pointing device but for a unique environmental interface that mirrors the physical motion of the user. Ultimately, this product enables participants unlimited free expression when it plays a musical instrument or paints on canvas, without any physical restrictions.

This interactive piece allows the participant to generate a variety of sounds and images as if painting a picture on a canvas of space through simple hand motion or playing a piano with invisible keys. Instead of providing an interactive display through which the participants moves through a prearranged, simulated environment, this product offers the user a way to spend time more creatively in a physical space. No visual interface or control device is used to operate this piece. The participant simply stands where indicated before the screen, then moves his or her hands at face level to generate images on-screen and sounds emitted from eight loudspeakers. The images displayed change according to

hand motion, whether up and down or right and left. Likewise, sounds from the surrounding speakers are directed by hand motions. In other words, an invisible three-dimensional interface allows the participant to manipulate images and sounds. Various image patterns and sounds with a specific tone and rhythm are produced in response to random hand motion as programmed in the software.Infrared light is cast upon the moving hands, while highly sensitive video cameras in front and on the sides capture the hand motion. The computer processes the motion to generate images, and an MIDI signal is sent to the digital sound sampler to generate sounds. This piece is designed to provide the participant with uninhibited creative space and time. The only input device is the hands and body of the user. Both hands can be used to create sounds and images sequentially, which is an important feature of this piece. This allows the participant to use both hands as if conducting a symphony or dancing. Such natural and free body movement is not possible through operation using a mouse, touch panel or space input device. Thus, this piece is not simply for an input device or pointing device but for a unique environmental interface that mirrors the physical motion of the participant. Ultimately, this piece enables users unlimited free expression when it plays a musical instrument or paints on canvas, without any physical restrictions. Though music can be played through this interface, a precise musical scale is difficult to produce because the interface is invisible. Therefore, this piece works supposing possible participant action. The eight loudspeakers are positioned to envelope the participant in three-dimensional sound in response to hand motion. Sound is just as important as the image. Many so-called virtual reality products are designed to immerse the participant in a space of images. But since we have physical bodies, it is impossible to enter a space displayed on a flat display device. Conversely, since sound can freely exist in space, we can physically enter the realm of sound. In this sense, sounds are essentially more virtual than images. Each sound and image generated by this piece have been simplified so that a distinct chord and image accompany the sequential motion of the hands. This feature serves to stimulate the participant’s imagination regarding free movement. Those that expect to experience some preconceived notion of virtual reality or an interactive video game in this product will be disappointed. Conventional interactive media products are extensions of the methodologies of games, books and images through which we travel along a set course or turn the page. This piece, however, affords the freedom to create our own music and art on a large canvas just like the abstract expressionist.

この作品は、参加者が空間で手を動かすことによって、まるで空間を絵筆とキャンバスのようにしてペインティングするように、あるいは鍵盤の見えないピアノで演奏するように、様々な音と形を発生させることが出来るインタラクティブな作品である。この作品ではただ単にあらかじめ設定された世界を巡っていくようなインタラクティビティーではなく参加者により創造的な時間と、空間を提供しようとする試みである。 　この作品は操作するためのインターフェースやデバイスなどは視覚的には一切存在せず、スクリーンの前方に参加者の立つ位置が示されているのみである。参加者はそこに立って手を前方で動かすことによってスクリーンから映像と、スピーカーから音声を発生させることができる。手を上下左右に動かすと、映像は変化すると同時に手の動いた方向に動く。また音声も変化すると同時に参加者の周りに配置されたスピーカーからの音声を手の動きに従って動かすことができる。つまり参加者の眼前には目に見えない３次元の立体的なインターフェースが存在し、そのインターフェースを通して映像と音声を操作することができるのである。音声と画像は固有の音程やリズムを持ったもの、参加者の行為にランダムに反応したり、参加者の行為を受けて自発的にパターンが変化したりするものなど、コンピュータのプログラムによって様々なパターンで再生される。手の動きは赤外線ライトに照らされ、前方と横に設置された高感度ビデオカメラによって追尾される。高感度ビデオカメラによって捕えられた手の動きは、コンピュータによって処理されて、画像となって現われると同時にMIDI信号によってデジタルサウンドサンプラーに送られ、音声が出される。 　この作品の目的は参加者にいかに自発的で創造的な時間と空間を提供できるかということである。この作品においては何らかの入力デバイスは使用せず、使うのは人間の手と体のみであるり、両手を使って連続して次々に音と映像を出すことができる。このことはこの作品において非常に重要なポイントである。参加者は両手を使って踊るようなしぐさを見せたり、指揮者ように振る舞ったりする。マウスやタッチパネル、あるいは何らかの空間入力デバイスを使用する操作方法では、このように自然な自発的な体の動きを誘発することはなかなか困難ではないだろうか。この作品のインターフェースは単なる入力装置やポインティングデバイスとして位置付けされるものではなく、参加者の肉体的な行為を誘発する環境として存在するのである。まるで楽器か絵の具とキャンバスのように、あるいは楽器や絵の具とキャンバスの物理的な制約を廃したことにおいてそれ以上に参加者が思うままに自由に表現することが可能であり得たとき、この作品の目的は達成される。また楽器の様に演奏することも不可能ではないが、インターフェースが目に見えない以上、正確に音階を奏でることは至難のわざである。したがって参加者の行為が引き起こす偶然性をも前提としてこの作品は成り立っている。 　また前述したように参加の周りには立体的に８個のスピーカーが配置せれていて、参加者の手の動きに呼応して音声も立体的に空間を移動する。この作品において音声も映像と同等に重要な役割をになっている。いわゆるバーチャルリアリティ等の作品において映像空間への没入感を目指すものが多いが、実際人間が肉体を持っている限り平面上のディスプレーに写し出された空間に入って行くことは困難であるのに対し、音の位相は空間上に自由に設定する事ができるので人間の身体がその音場に入り込むことも可能である。その意味において音は映像以上に本来バーチャルなもので有り得るのではないか。 　この作品で出現する一つ一つの音と映像は連続した手の動きによって和音とイメージが生じることを意図し、できるだけシンプルなものとした。そしてそれは参加者のイマジネーションを刺激し自発的な行為が生まれる余地とスキを残しす事をも意味する。この作品を前に、なにかバーチャルリアリティやゲームのようなあらかじめ決められた操作方法や仮想空間等を期待する向きには期待はずれであろう。従来のインタラクティブなメディアがあらかじめ設定された空間の中を巡っていく、あるはページのようにめくって行くといったあくまでも従来のゲームや書籍、映像の方法論の延長上に位置していると思われるのに対し、この作品の目指すところはより即興音楽的、あるいは抽象表現主義の作家ジャクソン ポロックが大きなキャンバス上で描いているその瞬間の行為に没頭したであろうその感覚を目指しているとも言える。

VideoFest 96 Berlin, 1996
ドイツのベルリンで開催されたメディアアートフェスティバル、VideoFest 96 Berlinに、空間で手を動かすことによって音と映像をリアルタイムにコントロールする参加型のインタラクティブインスタレーション、Hyperscratch ver.7 2000が選出され、展示、発表をおこなった。（幅4m,高さ2m, 奥行き5m、コンピュータ、タッチパネル、ビデオプロジェクター）

1996
Hyperscratch ver.7 AD2000 is a work which generates various sounds and images in real time based on the movement of the participant’s hands in space. This is an interactive work which generates various sounds and images based on the motions of a participant’s hands in a space. An invisible three-dimensional grid omposed of hundreds of cells extends within the reach of the participants hands.As the participant’s hands move up and down, forward and backward,and side to side, a different sound or image is instantly generated by each cell that it passes through. The direction from which the sounds and images come can also be changed by the motions of the hands. Since there are no complex operations and space itself is turned into an interface, a participant can enjoy sounds and images as he freely moves his body in a wider area. Also, by making the screen an extension of the hands, operation is continuous, allowing the participant to concentrate without interruption.

VideoFest 96 Berlin
1996年2月15日- 25日
PODEWIL、ベルリン、ドイツ

マルチメディアグランプリ岐阜96
Multimedia Grandprix96 Gifu Gifu, Japan, 1996

デジタルアートギャラリー特別企画展-テクノロジーと創造性のダイナミズム
1995年8月26日-9月28日
デジタルアートギャラリー NECショールーム、大阪

電子芸術国際会議 ISEA95 Motreal, General Exhibition
Ecole Cherrier, Motreal,  Canada
モントリオール、カナダ

参加者がお互いの体に触ることによって映像と音をコントロールすることができる参加型のインタラクティブインスタレーション「Hypertouch ver.4」 の展示、発表をおこなった。

1995年

Hypertouch ver.4 is a work which generates various sounds and images in real time by touching the participant’s hands. This system is an interactive installation which enables two individuals to produce images, sounds and light when they touch each other. Under the theme of “communication between individuals through tactile perception”, this system focuses on the value of the primitive tactile perception in the computer age where image communication through pseudo-experience, such as virtual reality,is developing. Purpose Recognizing the value of tactile perception anew Today, information, including characters, sounds and images,travels throughout the world instantaneously with the aid of technologies, such as computers. It is no exaggeration to say that the world can no longer function without such technologies. However, communication through these technologies largely depends on the human audio-visual organs, because sounds, characters and images are the media. On the other hand, the importance of the tactile perception is undervalued. The tactile perception, which is the most primitive of the human senses, cannot be conveyed via technologies, but it relates very closely to human psychology. Shaking hands when one meets a person for the first time is the first step for friendship. Physical contact is essential between friends, lovers and parents and children to deepen affection. As audio-visual media for pseudo-experience, present communication and virtual reality hrough computers and other technologies will become more and more important. This system is intended to recognize the value of the primitive but still important act of touch anew. The body as media The current passing through the human body triggers signals to produce sounds and images. Any number of people can be accepted as long as the current flows. Thus, when people are connected in this way, human bodies serve as part of the system. Using the human bodies as media is one of the important themes of this system.This system is designed to do away with conventional technology-oriented, closed man-to-machine interactive communication which is excessively dependent on the human audio-visual organs, and to expand human senses through open communication based on audio-visual media, tactile perception, physical contact and relationship with other people.

[ISEA95] Artist Statement: Haruo Ishii — Hypertouch “The Body As Media”

第４回名古屋国際ビエンナーレ・アーテック`95
名古屋市科学館、名古屋
1995年4月20日-6月25日

名古屋市科学館でおこなわれたメディアアートの国際コンペティション、第４回名古屋国際ビエンナーレ・アーテック`95に、参加者がお互いの体に触ることによって映像と音をコントロールすることができる参加型のインタラクティブインスタレーション、Hypertouch ver.4が選出され、展示、発表をおこなった。（幅4m,高さ2m, 奥行き5m、コンピュータ、タッチパネル、ビデオプロジェクター）

現代・こころ・みる展　-12の世界像
1995年7月4日-10月29日
AM MUSEUM、大阪市

ジャパンエキスポ佐賀’96 世界・炎の博覧会
1996年7月19日-10月13日
NTTゆかいなメディア館

European Media Art Festival 94
ドミニカーナキーシュ、オスナブルック、ドイツ
1994年4月

ドイツのオスナブルック市でおこなわれたメディアアートフェスティバル、European Media Art Festival94に、タッチパネルスクリーンに触れることによって音と映像をリアルタイムにコントロールする参加型のインタラクティブインスタレーション、Hyperscratch ver.5が選出され、展示、発表をおこなった。（幅4m,高さ2m, 奥行き5m、コンピュータ、タッチパネルスクリーン、ビデオプロジェクター）

European Media Art Festival 94 New Experience Party

SIGGRAPH94 Sigkids
アメリカ計算機学会コンピュータグラフィクス部会
オーランドコンベンションセンター、オーランド、アメリカ
1994年7月24日- 29日

アメリカ計算機学会コンピュータグラフィクス部会の国際会議・展覧会SIGGRAPH94 sigKidsにおいて、参加者がお互いの体に触ることによって映像と音をコントロールすることができる参加型のインタラクティブインスタレーション「Hypertouch ver.3」の展示、発表をおこなった。

Hypertouch ver.4 is a work which generates various sounds and images in real time by touching the participant’s hands.

NHK BS2『SIM TV』放送
1993年8月24日

BS放送を使って、視聴者の声にリアルタイムに反応するインタラクティブパフォーマンス「Hyperscream」の実演をおこなった。

渋谷公会堂（東京）、メルパルクホール（大阪）、クラブダイアモンドホール（名古屋）
企画：窪田栄一（NHK）
システム、イメージ制作：石井晴雄
1993年

ミュージシャン、平沢進のライブ演奏のためのインタラクティブライブシステムを開発し、ライブ会場で運営した。

アメリカ計算機学会コンピュータグラフィクス部会SIGGRAPH93 Machine culture-Virtual frontier
Anahaim Conventinon Center, Anahaim, California, USA
アナハイムコンベンションセンター、アナハイム、アメリカ
1993年8月2日-6日

Haruo Ishii: Hyper Scratch

アメリカ計算機学会コンピュータグラフィクス部会の国際会議・展覧会SIGGRAPH93において、タッチパネルスクリーンに触れることによって音と映像をDJのようにリアルタイムにコントロールする参加型のインタラクティブインスタレーション「Hyperscratchver.2」の展示、発表をおこなった。

宵まつり 光のファンタジー関連イベント
久屋大通り公園光の広場、名古屋
1992年10月16日-18日

名古屋市の久屋大通り公園光の広場において、直径10mの円環状に配置したガラスブロックの直方体のオブジェ８体に組み込んだ電球の光が音楽とシンクロして点滅する野外インスタレーション、「Light My Fire」を展示した。（コンピュータ、MIDI-ライトインターフェース、デジタルシンセサイザー、ガラスブロック、幅25m、高さ1m、奥行き25m）

第2回ソニーアートアーティストオーディション2次審査作品展
パシフィコ横浜、横浜
1993年7月17日-23日

コンピュータのタッチパネルスクリーンに触れることによって音と映像、機械をリアルタイムにコントロールする参加型のインタラクティブインスタレーション、Hyperscratch ver.3を制作し、展示した。

第３回名古屋国際ビエンナーレ・アーテック`93アペルト
名古屋市科学館、名古屋
1993年4月23日-6月6日

名古屋市科学館でおこなわれたメディアアートの国際コンペティション、第３回名古屋国際ビエンナーレ・アーテック`93アペルトに選出され、タッチパネルスクリーンに触れることによって音と映像をリアルタイムにコントロールする参加型のインタラクティブインスタレーション、Hyperscratch ver.1 with vdeoを展示、発表をおこなった。（幅4m,高さ2m, 奥行き5m、コンピュータ、タッチパネルスクリーン、ビデオプロジェクター）

名古屋港ガーデン埠頭JETTY EAST C4B
1992年11月13日-15日
映像、音楽：石井晴雄
生け花：杜達志
対談：上岡龍太郎
企画：CBCフロンティア

名古屋港の倉庫JETTY EAST C4Bにおいて、空の雲の映像と生け花と環境音楽によるマルチメディアインスタレーション「イオンの森」の展示を行なった。（コンピュータ、ビデオプロジェクター、シンセサイザー、幅30m、高さ5m、奥行き10m）

ハイパーフリーサーキット
JETTY EAST C4B、名古屋
1992年10月29日-11月3日

名古屋港のJETTY EAST C4B倉庫で開催された回遊式の参加型メディアアート展「ハイパーフリーサーキット」において、参加者がお互いの体に触ることによって光と音が出る参加型のインタラクティブインスタレーション、「Hypertouch ver.0」を展示した。（コンピュータ、タッチセンサー、デジタルサンプラー、幅5、高さ1m、奥行き1.5m）

第１回ソニーアートアーティストオーディション受賞者展覧会
1st. SONY ART ARTIST AUDITION Exhibition for Award Winners, SOMDO Hall, Tokyo, Japan (1992)
SONY SOMIDOホール、東京
1992年10月

本展覧会は第１回ソニーアートアーティストオーディションにおいてアート・デュリンスキー賞、いとうせいこう賞を受賞した受賞者による展覧会である。本展覧会には、タッチパネルスクリーンに触れることによって音と映像をリアルタイムにコントロールする参加型のインタラクティブインスタレーションを制作、展示した。

1992年9月11日
二次審査パフォーマンス風景
SONY SOMIDOホール、東京

第２回ふくい国際青年メディアアートフェスティバル
Tel-image展優秀賞受賞
だるまや西武
1992年10月28日（水）-11月3日（水）
主催：文化庁、福井県、福井市、日本映像学会、ふくいメディアシティフォーラム

電話回線を利用したパソコン通信によって、コンピュータで制作したサウンド作品を制作した。この作品は第２回ふくい国際青年メディアアートフェスティバルTel-image展優秀賞を受賞した。