Techno Synesthesia: Corona! Shutdown? Open Mailbox

テクノ共感覚：コロナ！シャットダウン？2020 オープン・メールボックス

作品はビデオアート・ケルンで開催しているオンライン展「Corona! Shutdown? 2020」に出展中です（http://retro.newmediafest.org/corona-shutdown/）。この展はコロナ・パンデミック禍の地球上各地から、ビデオ・アーチストが呼応したオンライン展です。この作品はニューヨーク市から参加しています。2020年７月１日まで「コロナ！シャットダウン？」をテーマとするビデオアートで参加できます。

作品で取り上げているメールボックスを開き行く行為は、自宅待機中にフィジカルに外の世界と接触する重要な日常活動の一つです。音楽はビデオ画像の視覚データから、作者の開発したアルゴリズムで作られています。

最後に描かれるドローイングと３Dワイアフレームは、視覚データの２次元の採集箇所を繋ぎ、時間を加えて立体にしたものです。

作者の「テクノ共感覚」は、視覚と聴覚は互いのアート感覚を生じるかという、20世紀始めの画家カンディンスキーや、作曲家スクリアビンの共感覚の問いを、21世紀のテクノロジーで問い直す作業です。人間の機能拡張を科学技術で実現するサイボーグのように、人類の急激な「進化」の実験アートとも言えます。コンピュータ・データのバイナリー（0,1）を、ひとつの感覚データから他の感覚データのフォーマットに変換してみるというのが、このプロジェクトの基本的なアイディアです。別な言葉で表現するとバイナリーが、アート表現のマテリアルとも言って良いでしょう。

このプロジェクトはテクノロジーの進化による、バクミンスターの「宇宙船地球号」や、マーシャル・マクルーハンの「メディアはメッセージ」の21世紀的解釈でもあって、ウェブ上にあるコンピュータのデータ作品は、コピーされても、ダウンロードされても、デジタル作品の機能内という思想に立っています。

アルゴリズムを平坦な英語で表現

The Algorithm in Plain English

play video

make 84 grids on the video image

get color data of grids of the first video frame

repeat in every second until the video ends

get color data of the current video frame

compare color data of the last and current grid data

convert 5 top different grid color data to musical notes

play scaleFilter( the musical notes ) by midi piano

draw lines of the top 5 grid XY-locations

put XY-locations and the current time for Z into SpaceTime

end repeat

draw all 2D points of SpaceTime

draw 3D SpaceTimeDrawing turn 3D SpaceTimeDrawing 360 degrees

fade 3D SpaceTimeDrawing