会津大学
University of Aizu

University of Aizu Spatial Media Group Demonstrations

Friday, September 1, 2006 (14:30-16:30); 平成18年9月1日 (14:30-16:30)

Spatial Media: 3D Computer Graphics and Audio;
スペーシャル メディア: ３次元ＣＧと立体音響

Contributors

• faculty
  • Michael Cohen; 公園 マイケル 教授
  • Jie Huang; 黄 捷 助教授
• administrative and technical assistance
  • Keiji Takanami; 高波 慶二 (会津大学 UBIC)
• Doctoral candidate
  • Owen Noel Newton Fernando; ニュトン ファナンド
• 2^nd year Masters students
  • Jullián Villegas; ジュリアン ヴィジェガス
  • Kayoko Kanno; 菅野 加代子
  • Yokomatsu Yoshiyuki; 横松 禎之
• 1^st year Masters students
  • Tatsuya Nagai; 長井 達也
  • Takenori Nakamura; 中村 健雄
• Graduation Research students
  • Youko Murakami; 村上 陽子
  • Yutaka Arai; 新井 裕
• Undergraduate Research Assistant
  • Yoshinori Moriguchi; 森口 慶紀

Abstract

The synergetic convergence of telephones, computers, televisions, high fidelity stereos, robotics, and visual displays enables a consumer-level participation in multimedia and its cousin "virtual reality." New idioms of computer-human interaction encourage different styles of communication. This seminar traces the development of some emerging media and interaction modalities, including games and amusements, simulators, movies, teleconferencing, and mobile phone applications.
We will use the unique facilities of the UBIC's 3D Theater, including its immersive visual display and speaker arrays, to demonstrate some research being done locally by faculty and students, explaining and showing examples of spatial media, visual music, and virtual reality.

概略

電話、コンピュータ、テレビ、音響機器、ロボットなどを 組み合わせることによって、一般の人がマルチメディアや バーチャルリアリティを体感できます。 今や人間とコンピュータの間で行われるやり取りは、キーボードによる 入力とディスプレイによる出力だけではなく、様々な方法があります。 たとえば、入力ではハンドル型のコントローラー、マウスとGUI（画面に 表示されているボタンやメニューバーなどのこと）、マイクによる音声入力、 などの多彩な方法があります。出力においても、ただの音だけではなく ステレオや5.1chのサラウンドシステムを使った立体音響や、フォース フィードバックのような触覚への刺激があります。 この講座では、上記のような人間とコンピュータの間のやり取りの手段を研究し、 ゲーム、シュミレータ、映画、電話会議、アミューズメントパークの 体感アトラクション、そして携帯文化などの既存のメディアの開発を行っています。 会津大学の敷地内にはUBIC（産学イノベーションセンター）という施設があり、 そこには、大きなスクリーンと、観客を取り囲む８つのスピーカーが備わった 仮想空間を作り出すユニークな設備があります。私たちはこの設備を使って バーチャルリアリティや立体音響、また携帯端末によるそれらの操作などの デモンストレーションを行います。

Program

• UBIC 3D Theater
  • Greeting; 挨拶
    Multimedia Convergence: I/O and Spatial Media;
    マルチメディアの収束: 入力、出力とスペーシャルメディア
    
  • Introduction to our Multimodal Groupware Suite (a.k.a. Collaborative Virtual Environment [CVE]);
    私たちの研究の概要
    • Michael Cohen; 公園 マイケル
    
    
  • "VR₄U₂C" ('Virtual Reality for You to See'): Panoramic, Turnoramic (Object), and Stereographic Imaging;
    「VR₄U₂C」: パノラミック, オブジェクト, と ステレオグラフィック イメージング
    • Michael Cohen; 公園 マイケル
    One of the first principles of immersive visual display is to fill the user's field of view with imagery, often of a single environment, sometimes an actual place remotely viewed in space and/or time. Although many hardware components for constructing such immersive visual displays can be purchased at reasonable cost, no general-purpose software system was readily available to integrate such devices under computer-based interactive control. To address these needs, particularly for the more specialized components typically used in stereographic display systems, we have developed a multiuser multiperspective panoramic and turnoramic (object movie) browser, using Apple's QuickTime VR technology and the Java programming language with the support of the "QuickTime for Java" application programming interfaces (API). This novel QTVR browser allows coordinated display of multiple views of a virtual environment, limited practically only by the size and number of monitors or projectors available around users in various viewing locations. Named "VR₄U₂C" ("virtual reality for you to see"), the browser is one of many integrated clients in the University of Aizu Spatial Media Group's multimodal groupware suite and interoperates seamlessly with them. VR₄U₂C can be used interactively to explore and examine detailed multidimensional, virtual environments (photorealistic or otherwise) using a computer and conventional input devices--- including mouse, trackball, rotary controller, track pad, and keyboard--- as well as more exotic interfaces--- including speaker array spatial audio displays, mobile phones, and swivel chairs with servomotor control. Through a unique multinode dynamic traversal technique, VR₄U₂C provides an elegant solution to the problem of interactive stereoscopic display of QTVR imagery.
    実体験のように感じる実画像表示の主な目的は、写真に写された実際の場所を画面 上で見渡すことです。そのような画像表示を実現するためのハードウェア部品は低価 格で購入できますが、一般用のソフトウェアシステムは、デバイスとコンピュータ基 底対話型コントロールの基で統合してすぐに利用することはできません。ステレオグ ラフィック表示システムで頻繁に使われる特別な部品の需要に応えるために、私たち はアップル社のQuickTime VR技術とJava言語を用い、JavaのためのQuickTimeアプリ ケーションプログラミングインターフェース（API）の支援を受け、パノラマ＆オブ ジェクトムービーブラウザを開発しました。この斬新なQTVRブラウザにより、仮想環 境で視野を調整することができるようにうなりました。ただし、撮影位置、ユーザー の周りで使用できるモニターとプロジェクターの数とサイズにより、表示できる視野 は限られてしまいます。VR₄U₂Cというブラウザは会津大学の 空間的なメディアグループマルチモデルグループウェアにおけるクライアントのひと つです。VR₄U₂Cは、コンピュータと伝統的な入力装置（マウ ス、トラックボール、回転式コントローラ、トラックパド、キーボード）、その他の インターフェース（スピーカー配列空間オーディオ装置、携帯電話、サーボモーター コントロール付回転イス）を使用することにより、対話形式で多次元の仮想空間を表 現することができます。VR₄U₂Cは、動的な旋回技術であり、 QTVR画像を立体的に表示する際に生じ得る問題を解決することができます。
  
  
  • Snowscape
  • Shoe
  • DsOF
  
  
  • "Just Look At Yourself!": Stereographic Exocentric Visualization and Emulation of Stereographic Panoramic Dollying in VR₄U₂C;
    『自分自身をご覧なさい』: 立体視システムにおける自己中心的な視点移動の外側からの可視化とエミュレーション
    • Michael Cohen; 公園 マイケル
    Previous research introduced the idea of stereographic panoramic browsing, via our VR₄U₂C client, subsequently extended to allow not only zooming, a simple magnification-driven manipulation of the image, but also dollying, allowing limited viewpoint motion--- enabled by multiple panoramic captures and enabling looming, viewpoint-selective occlusion and revealing of background scene objects. We have integrated this client with a sibling client based on Java3D, allowing realtime visualization of the dollying, and juxtaposition of stereographic CG (computer graphic) and IBR (image-based rendering) displays. The J3D application visualizes and emulates VR₄U₂C, integrating cylinders dynamically texture-mapped with a set of panoramic scenes into a 3D CG model of the same space as that captured by the set of panoramic scenes. The transparency of the CG 3D scene and also the photorealistic panoramic scene, as well as the size of the cylinder upon which it is texture-mapped, can be adjusted at runtime to understand the relationship of the spaces. Keywords: mixed reality/virtuality, image-based rendering, panoramic navigation.
    ステレオグラフィックエキソセントリックビジュアライゼイションと エゴセントリックパノラミックドリーングの模倣. 従来の私たちのグループの研究において"VR₄U₂C"のクライアントによる立体的な インターネット閲覧ソフトの発想を紹介したが、それに次いでイメージを簡単 に増率させる拡大表示だけではなく多数の360度回転のキャプチャーや、背 景の景色のオブジェクトの閉鎖や解放シーンを可能にさせるルーミングの技術 を用いてビューポイントモーションを特別に用いたドリーングまで拡大させた。 そして私たちは2つ目として、このVR₄U₂Cのクライアントに、ドリーングのリ アルタイムな透視や立体的なコンピュータグラフィックとイメージベーストレ ンダリングの表示を並列させたJava3Dを基にしたクライアントを調和させた。 Java3DのアプリケーションはVR₄U₂Cを模倣して視覚化させ、ダイナミックにテ クスチャーが貼られたシリンダーに、この実写の360度のシーンの設置され た空間と同じ空間に３次元コンピュータグラフィックのモデルの３６０度のシ ーンの設置を組み込んだ。また、３次元コンピュータグラフィックシーンや実 写の360度回転のシーンも実行中に空間内の透明度のが分かるように透明度 の調整が可能になっている。 キーワード: 人工現実感、 パノラミックナビゲーション、イメージベーストレンダリング"
  
  
  • "Multiplicity": Narrowcasting, Autofocus, and Anycasting for Multipresence Spatial Audio;
    「Multiplicity」: オーディオ マルチプレゼンス 存在かたくさんん
    • Michael Cohen; 公園 マイケル
    We have developed and integrated various multimodal I/O devices into a virtual reality groupware system. An exocentric model in which a user is represented by an avatar in the context of a virtual space is useful in spatial sound directionalization. This thesis presents an interface supporting spatial audio multipresence with narrowcasting functions in a collaborative virtual environment implemented in a Java3D application, "Multiplicity." The interface allows interaction with other clients in our groupware suite (including mobile phone, stereographic panoramic browser, and multi-speakers system). This interface explicitly models not only talker (source) but also location, orientation, and multiplicity of listener (sink). The interface supports generalization of narrowcasting, a narrowing of stimuli by explicitly blocking out and/or concentrating on selected avatars: mute and solo (cue) to exclude and include sources manifest for sinks as deafen and attend. Such functions can be applied not only to other users' avatars for privacy, but also to one's own to exploit multipresence. Multiple avatars designated by a single user effectively increases one's presence in the same virtual space. Figurative representations of exclude and include functions are introduced, virtual hands clapped over respective avatars' ears and mouths. Phantom sources are used to control superposition of soundscapes relative to a selected viewpoint. A extra feature of the phantom source displacement is the accommodation of a rotatable speaker axis (including median plane arrangement).
    私たちは仮想空間においての多様性のあるデバイスを開発し、 それをヴァーチャルリアリティーに統合しました。「Avatar」(アバター)と よばれる3Dの人形でユーザー自身を仮想空間の中で表現している外心的モデル は空間音響の効果を操作するのに有用です。この論文はCVEと呼ばれる仮想空間内 での"マルチプレゼンス"（自分の存在を複数に分けること）を体感できる "Multiplicity"（マルチプリシティ）というアプリケーションを紹介しています。 このアプリケーションは仮想空間を利用した会議、チャットスペース、コンサート などに利用できると考えています。このインターフェイスは他のクライアント （iαppli）などのアプリケーションやスピーカシステムのような装置のこと） と相互に影響し合うことができます。つまり「Multiplicity」で何か操作をした場合、 あるiαppliにも何かしらの影響を与えられ、またその逆も可能というように 互いに関連性を持つことができます。このインターフェイスはソース（話し手、 音源）の位置を表示するだけでなく、シンク（聞き手）の位置、方向なども わかりやすいように表示しています。ナローキャスティングという機能も サポートしています。ナローキャスティングはある話し手の口をふさいで 黙らせる(mute)、ある聞き手の耳をふさいで聞かせなくする(deafen)という 排除的機能と、ある話し手だけが限定して話すことができる(solo)、 ある聞き手だけが限定して聞くことができる(attend)という包含的機能によって 成り立っています。この機能によりプライベートな話も話すことができ、 また興味深い話などに集中することができます。また、その機能を視覚的に表示 することで、どのアバターがどういう状況になっているのか見た目で判断すること ができます。ユーザーは複数の"avatar"を配置することで仮想空間内に配置した "avatar"の数だけ自身の存在を増やすことができます。さらに興味深いことに ファントムソースという機能を使い"rotatable speaker axis" (ローテータブルスピーカーアクシズ）というものに適応できます。
  
  
  • Multi-Channel Sound Spatialization with Matrix Mixer
    マトリックスミキサーを使った多入力の立体音響
    • Yoshiyuki Yokomatsu; 横松 禎之
    • Michael Cohen; 公園 マイケル 教授
    We are developing spatial audio environment with real-time multiple inputs with a professional audio mixer Roland VM-7200. Spatialization is realized with VM-7200's matrix-mixing and MIDI-controled feature and can be controlled by MIDI signal. We have developed a controller to drive an eight-channel equatorial speaker array sound spatialization system.
    私たちはRolandの業務用ミキサーVM-7200を使った、リアルタイムで多入力の 立体音響の仕組みを開発しています。定位はVM-7200マトリックスミキサーの 機能と、MIDI信号で制御する仕組みを利用しています。
  
  
  • "i・Con" Mobile Phone Interface: Remote control 3D sounds and images by mobile phone;
    「i・Con」: 携帯電話による音響や映像の制御: 携帯コントロルと協調仮想環境の為のグループウェア
    • Michael Cohen; 公園 マイケル
    We have developed an interface for narrowcasting (selection) functions for a networked mobile device deployed in a CVE (collaborative virtual environment). Featuring a variable number of icons in a "2.5D" application, the interface can be used to control motion, sensitivity, and audibility of avatars in a teleconference or chatspace. The interface is integrated with other CVE clients through a "servent" (server/client hybrid) HTTP -> TCP/IP gateway, and interoperates with a heterogeneous groupware suite to interact with other clients, including stereographic panoramic browsers and spatial audio backends and speaker arrays. Novel features include mnemonic conferencing selection function keypad operations, multiply encoded graphical display of such non-mutually exclusive attributes, and explicit multipresence features. Keywords and Phrases: audibility permissions and protocols, CSCW (computer-supported collaborative work), graphical (binaural directional) mixing console, groupware, mobile computing, narrowcasting functions, soundscape superposition, solid user interface, spatial sound, teleconferencing.
    携帯電話による音響や映像の制御：私たちはナローキャスティング（情報の送受信の方法をコントロールする手法）の機能を持つCVEク ライアントとしての携帯機器の開発を行いました。2.5次元の空間内に可変数のアイコンを配置しそれらを操作することによって、通信会議などを行う際に情 報の取捨選択を可能にします。これらの機能はサーバント（サーバーとクライアント両者の性質を持つ）を利用して、立体画像ブラウザや立体音響システムなど の他のソフトと連動します。斬新な特徴として、キーパッドを利用したオブジェクトの選択や移動、各種特徴の付与解除、そしてそれらをグラフィカルに表示す る機能を持ちます。 関連キーワードなど：可聴・不可聴の選択、CSCW（コンピュータを用いた共同作業）、指向性のあるス テレオサウンドの表示、グループウェア、モバイルコンピューティング、ナローキャスティング、音域重ね合わせ、明確なユーザーインターフェース、立体音 響、通信会議携帯電話による音響や映像の制御：私たちはナローキャスティング（情報の送受信の方法をコントロールする手法）の機能を持つCVEク ライアントとしての携帯機器の開発を行いました。2.5次元の空間内に可変数のアイコンを配置しそれらを操作することによって、通信会議などを行う際に情 報の取捨選択を可能にします。これらの機能はサーバント（サーバーとクライアント両者の性質を持つ）を利用して、立体画像ブラウザや立体音響システムなど の他のソフトと連動します。斬新な特徴として、キーパッドを利用したオブジェクトの選択や移動、各種特徴の付与解除、そしてそれらをグラフィカルに表示す る機能を持ちます。 関連キーワードなど：可聴・不可聴の選択、CSCW（コンピュータを用いた共同作業）、指向性のあるステレオサウンドの表示、グループウェア、モバイルコンピューティング、ナローキャスティング、音域重ね合わせ、明確なユーザーインターフェース、立体音響、通信会議。
  
  
  • Visual music for itunes with ChromaDepth 3D by G-Force;
    ChromaDepth 3Dを用いたVisual music
    • Yutaka Arai; 新井 裕
    G-force is a visualizer for iTunes, enabling artistic and original visual effect. ChromaDepth 3-D is a versatile 3D image method. ChromaDepth 3-D makes the 3D image by using the diffraction of light. For example, red is seen from other colors forward, blue is seen from other colors back. I research more artistic spectrum in itunes using G-Force and ChomaDepth 3-D.
    G-Forceはitunes用のvisualizerです。これを用いることでより芸術的な独自の visual effectを作るこ とが出来ます。 ChromaDepth 3-Dは最も多能な3Dイメージを可能にする方法です。 ChromaDepth 3-Dは光の屈折を利用して、3Dイメージを作ります。 例えば、赤は他の色より手前に見え、青は他の色より奥に見えます。 私はこの二つを用いてより芸術的なスペクトラムの研究をしています。
  
  
  • Helical Keyboard with Melodic & Harmonic Stretching;
    螺旋型キーボードとその音階・倍音の拡張 <
    • Jullián Villegas; ジュリアン ヴィジェガス
    The Helical Keyboard is a Java application for visualization and auralization of music based on the cyclical and linear nature of the musical scale, as explained by Shepard and Pierce. In this model, keys of a musical keyboard are organized in a helix where each pitch-class has the same azimuth and the lowest frequencies are located at the bottom end of the helix. The standard helix has one revolution per octave, and each octave is divided into twelve intervals of the same size (twelve tones, equal tempered). It allows visualization of chords by polygons connecting the constituent notes of the chord, and features depth cues using chromastereoptic techniques. Also, it can recognize basic chords and their inversions in real-time. The Helical Keyboard can be driven by MIDI events, and the user can choose among several mechanisms provided to synthesize the stream. This stream is spatialized by a spatial sound display, directionalizing each note played in the helix. One interesting feature of this model is the decoupling of the visual display and the aural display: The helix can be shown from an outside perspective, but the sound is rendered as if the user were in the axis of the helix. The Helical Keyboard renders the aural display in stereo or via a DSP-driven hemispherical loudspeaker array. There are several ways in which the user can interact with the 3D model in real time, including rotating the helix vertically and around its axis, translating it vertically, zooming in and out, changing the stretching ratio, and playing the notes over the helix as well as in a traditional keyboard widget.
    螺旋型キーボードとその拡張。通常のピアノの鍵盤は横に並んでいますが、この螺旋（らせん型キーボード）は鍵盤が縦に渦巻いて、縦に細長い形状になっています。このような形で１オクターブを円１周とすることで、視覚的に音楽を理解しやすくなります。私達はこのキーボードを、１オクターブを通常の１２音から違う数へ増減させたり、それに合わせて調律を変化させることが出来るように拡張しました。これより、現在楽しまれている西洋の音階を使った音楽に加えて、様々な伝統的民族音楽をも演奏することが出来るようになります。
    
  
  
• 324-F
  • LAN Tap with Sound Localization and CVE Control Using a Microphone Vector;
    マイクロフォンを用いた音源位置特定及び、CVEサーバを介したLan-tapのコントロール
    • Takenori Nakamura; 中村 健雄
    Detecting the location of sound sources is a very important preliminary step toward the development of speech recognition, stereophony, security systems, and so on. This project describes one of the methods of detecting the location of a sound source using a vector of microphones and the difference of the sound volume at each microphone. The sound volume diminishes as the sound source propagates. The location of a sound source can be estimated with multiple microphones. When the location of the sound source is detected, it is possible to record or ignore the particular sound source, or to chase the sound source with the spot light. In this thesis, a program that detects the location of the sound source is implemented with Java, Java Sound API, cooperating our Collaborative Virtual Environment (CVE) clients (“LAN-tap”). LAN-tap and Dancing Music are used to show the availability of Sound Locator to interchange the information of real spaces to the information of virtual spaces.
    音源の位置を特定するという作業は、音声認識をはじめ、立体音響やセキュリティの分野にも必要とされる基礎技術です。この論文では、複数のマイクロフォンとそれらによって捕らえられる音の音量差に基づいた、音源の位置特定について解説をします。音量は、音が伝搬される過程において減少するため、複数のマイクを用いてそれらの各地点での音量差によって音源の位置を推定することが可能になります。音源の位置を特定することにより、特定の音源のみを録音あるいは無視する事や、スポットライト等の他の装置と連動させる事ができます。この論文の中では、Java及びJava Sound APIを用いて音のサンプリングを行い、LAN-tapやアバター をはじめとしたCVEとそれらのクライアントと連動させます。LAN-tap、Dancing Musicは、このプログラムによって現実空間の情報を仮想空間に送る事が可能であることを証明します。
  
  
  • Integrating Networked Driving Simulator with Force-Feedback and ^S_cha_ir^e Internet Chair;
    における、フォースフィードバックホイールと^S_cha_ir^e Internet Chair の統合
    • Tatsuya Nagai; 長井 達也
    • Youko Murakami; 村上 陽子
    • Yoshinori Moriguchi; 森口 慶紀
    We describe a way to feedback the simple collision effect in the Networked Driving Simulator via Force FeedBack Wheel (FFBW) to driver. The technique employs programs using C++ and DirectInput, and escapes the execution file from the Networked Driving Simulator, which is implemented with Java3D. The pattern of effect is changed by the arguments of execution file. DirectInput can control the hardware directly; so real-time response can be achieved.
    Networked Driving Simulatorに、衝突時のフォースフィードバック機能を実装し、ドライバーにシンプルな衝撃力を伝える方法を説明します。その方法は、C++とDirectInputを使用してフォースフィードバックの為の実行ファイルを作成し、その実行ファイルをJavaで構築されているNetworked Driving Simulatorから呼び出すというものです。フォースフィードバックするエフェクトのパターンは、実行時の引数として指定します。DirectInputを使用することによりハードウェアを直接制御出来、リアルタイムな応答を実現することができます。 この研究により、ドライバーは衝突をよりリアルに感じることができます。
  
  
  • Visual Affective Sensing of Rotary Chair;
    視覚を用いた回転椅子動作からの感性情報の抽出
    • Kunihiro Doi; 土井 邦裕
    This research investigates a user's affective state having seat on a rotary chair by its swivel motions. It is mainly divided into two parts: Image processing and affective mapping phase. Former tracks the objects on the chair from a "ceiling cam" and sends its moving information to latter. The latter analyses its moving and maps into a hypothesical plane. This research investigates a new function for sensitivity to users combining rotational gesture tracking and kansei analysis. A long time has passed since conventional input devices— keyboard, mouse, joystick and so on— were developed, but current users request alternatives for intuitive operation in various situations. Also, complexity of user operation is increasing, derived from diffusion of the style of utilizing the computer, such as e-learning, entertainment, deskwork, and so on. In such situations, user input is varied with user’s affective states. This changing and their affective state itself could be an additional input. Applications should change their behavior in response to those states. For example, if user is concentrated, they will request tighter response and much information, and if the user is distracted (not relaxed), they should be encouraged by calming surroundings. This kind of sensitivity increases efficiency of the user’s task.
    この研究は回転椅子に座ったユーザの感情をその動きから抽出することを目的としている。大まかに画像処理と感情マッピングの二つから成り立っている。画像処理部分では椅子に取りつけられたオブジェクトの動きを抽出し、その情報を感情マッピング部に送っている。感情マッピング部ではその動きを分析し、提唱する運動-感情平面にマッピングする。
  
  
  • Narrowcasting Visual Interface;
    協調仮想空間でのジェスチャーによるリアルタイムのプライバシー制御
    • Kanno Kayoko; 菅野加代子
    We have developed a intuitive interface using human posture and gesture. Affordable and accessible to almost anyone, our system consists of an ordinary PC and USB ("web") camera. When a user expresses particular postures captured USB camera, our interface recognizes and characterizes such input. In our group, we have developed "Multiplicity," an application to increase one's presence and control such presence in virtual spaces (collaborative virtual environments). We integrated our postural interface to "Multiplicity." Keywords: virtual reality, web camera, image processing, tracking, posture recognition, gestural interface.
    私たちは人間のポーズを利用した直感的なインターフェイスを開発しました。 誰でも利用することができるように、一般的なパソコンとウェブカメラにより構成されています。 ユーザーがカメラの前で決められたポーズをすると、このシステムはそのポーズを認識し 対応した入力を行います。 私たちの研究として、「Mutiplicity」というアプリケーションがあります。 これは仮想空間で自分の存在を増やしたり、その存在を自由に操作するためのアプリケーションです。 私たちは、Mutiplicityの新しい入力手段としてこのインターフェイスを導入しました。 これにより、より簡単かつ直感的に操作することができます。
  
  
• 328-F
  • Local Consonance Maximization in Real-Time;
    リアルタイムの局所的な協和音の最大化
    • Jullián Villegas; ジュリアン ヴィジェガス
    Although the problem of maximizing consonance in tonal music has been addressed before, every solution reflecting the technological advances of its epoch, and considering that current theories to explain this psychoacoustical phenomenon are generally satisfactory, there are still vast unexplored aspects of this area, since even most recent solutions lack adequate mechanisms to apply such techniques in realtime scenarios. In general, the most advanced achievements in this field are based on the MIDI protocol for controlling the pitch of simultaneous notes, inheriting the protocol limitations in terms of dependency on the quality of the synthesizer for satisfactory results, scalability, accuracy, veracity, etc. Besides that, timbres are generally known a priori for these techniques, so their application to unknown timbres requires digitization and analysis of sound samples, making such techniques unsuitable for realtime situations. This thesis summarizes the main theories about consonance and its relation to musical scales, reviews several previous solutions as well as the state of the art, proposes an alternative model to adaptively adjust consonance in a polyphonic scenario based on the tonotopic dissonance paradigm (presented by Plomp and Levelt, having been previously developed by Sethares), and presents a prototype of this model that aims to surmount the difficulties of prior solutions by performing realtime analysis and pitch adjustment programmed in Pure Data, a data flow DSP environment for realtime audio applications. The results are analyzed to determine the efficacy and efficiency of the proposed solution.
  
  
  • ^S_cha_ir^e Internet Chair and "Kuru-kuru" Pitcher Game;
    ^S_cha_ir^e インターネット 椅子と「Kuru-Kuru」ピッチャーゲーム
    • Kayoko Kanno; 菅野 加代子
    This research is to develop an application to explore the potential of the ^S_cha_ir^e Internet Chair. The result is the game, "Kuru-kuru Pitcher." This game is named after the look that players aim at and shoot target blocks rotating their chairs. "Kuru-kuru" means "rotation" in Japanese. This game features motion platform and spatial audio of the ^S_cha_ir^e Internet chair. And user can listen to the sound from "nearphones," those are speakers on the both side of headrest.
    この研究はインターネットチェア、^S_cha_ir^e の特性を活かしたアプリケーションを開発する事です。 その結果としてできたのが"Kuru-kuru Pitcher"というゲームです。 この名前はプレイヤーがくるくると回りながら周りのブロックを壊していく様子から名付けました。このゲームはマルチプラットフォーム、立体音響の特徴を 持っていて、イスの両脇にあるスピーカー(nearphones)から聞く事ができます。
  
  
• Anechoic Chamber (Rm. 109)
  • research introduction & a demo of speaker-based 3D sound system
    • Jie Huang; 黄 捷 助教授 and students