基于影像互动装置的设计与实现毕业论文

2020-04-09 03:04

摘要

随着互动装置艺术关注度的逐年增加，越来越多具有创造力的艺术家们通过将现代艺术与科技元素相融合，开拓出装置艺术领域中的一块新领域。在公共空间与私人空间内，都能够看到这些极具创意的艺术家们借助数字技术与多媒体技术制作出大型的装置艺术作品。使得观众置身于这些艺术中，感受其文化熏陶。这就是我们常说的“互动艺术”或“互动装置艺术”。本论文通过研究互动多媒体技术等相关应用技术，使设计者更加清楚地意识到当前这一领域的艺术家们所使用的技术、工具以及未来的发展方向，加大这一领域中技术与艺术相结合共同创新的可能性。

关键词：装置艺术，互动多媒体技术，影像互动装置

Abstract

With the increasing attention of interactive installation art, more and more creative artists open up a new field of installation art by combining modern art with scientific and technological elements. In both public and private settings, these creative artists use digital technology and interactive multimedia technology to produce large installation works of art, making the audience feel the cultural edification of these works of art. This is what we often call "interactive art" or "interactive installation art". This paper is to discuss interactive multimedia technology and other related application technologies in order to make the designers aware more of the technologies, tools and future directions used by artists in this field,and increase the possibility of combining technology and art in this field.

Keywords: Installation art, Interactive multimedia technology , Video interactive device

第一章绪论 1

1.1 课题研究的背景 1

1.2 课题研究的内容与方法 1

1.3 课题研究的意义 2

第二章影像互动装置与互动多媒体技术 3

2.1 影像互动装置概述 3

2.2 影像互动装置的交互模式 3

2.2.1 界面式 3

2.2.2 沉浸式 4

2.3 互动多媒体技术 5

第三章影像互动装置的系统整体架构 7

3.1 整体架构 7

3.1.1 计算机多媒体处理子系统 7

3.1.2 信息检测和采集子系统 8

3.1.3 传输子系统 8

3.1.4 媒体呈现子系统 8

3.2 本章小结 8

第四章《纽约之光》作品的设计与实现 9

4.1 设计构思 9

4.2 设计方案 10

4.3 作品制作流程 10

4.4 作品效果呈现 12

4.5 效果评价 13

第五章结论 14

致谢 15

参考文献 16

第一章绪论

在全球化的大背景下，随着科学技术的日益精进完善和各色文化的水乳交融，装置艺术开始频频出现在国际数码交互交流展和各类奢侈品创意展以及各城市艺术馆中，近年来在各类展览中渐渐取得一席之地。同时，由于艺术界感觉化倾向理论的浸润，艺术家们逐渐将关注点移向观众，在完成作品时也更关注观众的体验性与浸入感，互动装置艺术应运而生并因此蓬勃发展。互动多媒体技术在这种互动装置中占据着举足轻重的地位，并在一定程度上润色了当代装置艺术的呈现视觉效果，使得艺术和技术并道而驰、相辅相成。本文对影像互动装置作品的设计与实现而进行研究。本章节通过研究的背景、意义、现状及方法的逻辑顺序进行叙述，让读者对该文的行文思路有清晰的认识。

1.1 课题研究的背景

时代在进步，计算机技术和网络科技媒体在发展，这在一定程度上推动艺术表现形式渐呈“百花齐放”之势。新媒体艺术在时代的洪流中获得越来越高的关注度，艺术家和技术人员用智慧创造出各式各样的艺术作品，呈现着无与伦比的艺术魅力。其全新的交互形式拉近了作品与观者的距离，推动了传统艺术的转型。在这一过程中，传统艺术和新媒体艺术并驾齐驱，逐渐交汇，产生了一系列相关的文化运动，丰富了人们的认知方式，开拓了观者的交互体验。

近年来，数字互动艺术装置渐渐在新媒体领域中占据一席之地，与传统装置艺术逐渐分离开来，并形成鲜明对比。传统艺术家运用综合质料向观者传达情感共鸣的单向交互已经不能满足当下观者的需求，而新时代艺术家借助虚拟现实的增强现实等技术达成的双向交互，以全新的形式为装置艺术富余丰富的内涵，更好的满足观者的意愿和期待。特殊的人机交互技术和全新的人文内涵相结合，能为开发装置艺术的过程提供明确的开发方向和富有指导性的意义。

再者，随着时代的发展和人们对于艺术的了解度逐渐加深，艺术不再仅仅是少数艺术家的自娱自乐，在全球化的大环境下，科技日益精进完善，文化渐渐水乳交融，数字媒体艺术和装置艺术等也应运而生，并渐渐占据不可或缺的地位。互动艺术和作品通过新媒体艺术这根纽带连接起来，我们发现“互动”一词逐渐出现在国民的日常生活中，游戏、电影，甚至广告都与“互动”联系起来。在这样的一个大氛围下，互动多媒体技术毋庸置疑的成为装置艺术的“助推剂”，提高着装置艺术的视觉可视性，拓展着装置艺术的可用空间、丰富着装置艺术的设置执行手段、推动着装置艺术家的创作并完善着在装置作品交互形式。

1.2 课题研究的内容与方法

本文通过创作影像互动装置作品——《纽约之光》，从想法的选择到确定主题表达方式，最后到选择实现方式、后期效果制作以及程序编程进行了缜密的实验与测试，针对影像互动装置中影像效果的颜色搭配、效果选择、以及如何完成与参观者的交互效果及相关传感器设备的使用与技术进行研究和实践。

1.3 课题研究的意义

本课题着眼于新媒体艺术的影像互动形式，以其为主线开展相关研究。新媒体技术、机器视觉技术、人工智能AI等技术在近年逐渐应运而生并不断普及，这推动越来越多的学者投身到影像互动等相关领域的研究中去。这是一种顺应时代潮流的体现，但是对于传统的艺术家而言，要想运用新媒体技术、互动装置技术和影像装置技术来推进新媒体艺术的转型发展，无异于磨难重重，毕竟技术在一定程度上禁锢了他们的创造能力。这一现象可以解释为什么当下国内艺术圈中存在“艺术家不懂技术，技术师不懂艺术”的尴尬局面。本课题试图从技术和艺术的交汇中寻求一个可以撬动二者发展的平衡点，以技术简化和艺术信息化作为问题的突破口，推动越来越多的艺术家实现自己的新媒体转型，让新媒体互动艺术在大众生活中扎根发芽。

此外，计算机科学中的影像互动技术要求创作者使用基本的软件语言来进行编程，如Flash、Processing、Unity等计算机语言。由于艺术设计类专业与理工科学生的学习基础不敬相同，能够达到的目的与结果必然也有差别。本课题的研究希望可以在新媒体互动装置的应用领域增添影像互动的一笔重彩。重点运用Unity软件与动态捕捉设备微软Xbox 360体感器Kinect完成对接与互动编程。本课题研究的意义与价值在于为无计算机编程能力的艺术家学习和了解新媒体技术而提供理论依据和实践参考。

第二章影像互动装置与互动多媒体技术

互动多媒体技术逐渐改变着人类的生活，使得其逐渐渗透到我们日常生活的每一处，改变着我们日常生活的视听方式，丰富着我们的生活体验。互动多媒体技术的应用，特别是其在互动装置艺术领域的应用，加深了人们对于抽象事物的理解，提升了观者互动过程中的感官感受与浸入感，开拓出装置艺术在表现形式上更多的可能性。

2.1 影像互动装置概述

装置艺术这种西方当代艺术类型兴起于1970年代。而影像互动装置艺术是混合了各种新媒体素材、设备、技术，在某个特定的环境中创造发自内心深处的和概念性的经验。艺术家们通常会尽可能多的使用展览场的空间，通过设备与数字技术媒介创作出具有沉浸式的观览体验。此类装置艺术家让观者扮演了极其重要的角色，也是不同于其他注重于艺术品本身的装置艺术家。

2.2 影像互动装置的交互模式

关于装置艺术的互动性无外乎分为两个大类，分别是：沉浸式与界面式。伴随虚拟显示技术和智能环境技术的发展，“沉浸式交互艺术”及其可能成为未来装置艺术发展的主要方向^[1]。

2.2.1 界面式

国内外交互装置作品的艺术创造形式最常见的就是“接触式”。这些装置艺术作品主要的交互模式为：通过触摸、操纵杆等物理方式与装置作品进行互动，再通过屏幕或投影进行结果反馈。（图2-1）。

图2-1 界面式说明图

一家主攻光影互动装置艺术的工作室制作的互动艺术装置作品《Ice Angel》。该作品只要体验者站在装置前展开双臂或上下挥舞，装置内部的传感器便可以捕捉体验者的动作并形成记忆轨迹，随之屏幕便会自动呈现出一对翅膀，伴随着体验者的双臂一起摆动。在体验者的眼中，仿佛自己成为了一位天使，舞动着翅膀，绽放着光芒。

图2-2 交互装置作品《Ice Angel》

2.2.2 沉浸式

沉浸式交互装置主要应用在博物馆、世博会多知名艺术展中，主因是大型展览可以提供更宽阔的空间，用以多人与作品的互动。在交互过程中，用户能通过作品反馈的多感官体验，身临其境的感受作品赋予自己的魅力，突破界面限制，体验不可多得的自由感。（图2-3）

图2-3 沉浸式说明图

就如2017年米兰设计周期间呈现的装置艺术作品《New Spring》（图2-4）。该装置是由日本知名建筑师村上梓与英国装置艺术家Alexander Groves二人合作完成的。外观是参考自然中的植物、树木，整个装置有六米多高，如花儿般绽放，每个枝头产生包裹着白色烟雾的泡泡随重力如落樱般向下飘落，当泡泡遇到织物、服装可短暂停留，但一接触到皮肤便会爆裂。

图2-4 沉浸式装置艺术作品《New Spring》

2.3 互动多媒体技术

互动多媒体，将关于技术的阳光泼洒在人类社会生活的多个层面，使得人们获得无法用言语表达的崭新感觉和完美体验。当下，经济不断发展，国民生活水平也得到日益提升，越来越多的互动多媒体技术出现在各类展厅的应用中，这些展厅又被称作为“多媒体展厅”。

多媒体技术的发展丰富了人们的生活，使得人们接受的信息日趋多元化，涵盖了各个层面，而互动多媒体技术的发展则使得信息的传递和接受的过程向自动化、人性化和亲密化转变。双向互动将生活和科技相连接，使其更为直接，更显精彩。借助着多媒体技术丰富多样的表现形式和富有特色的传递介质，人们观看世界的方式更为多元，获得的体验更为纷繁。未来，互动多媒体技术会使信息传递与日常生活的联系更加紧密、更加直接和主动，而人们会在这种双向交互的催化下创造性地区丰富多媒体的展现形式。

第三章影像互动装置的系统整体架构

3.1 整体架构

包含四个主要内容：计算机多媒体处理子系统、信息检测和采集系统、传输子系统和媒体表现子系统^[2]。由此构架派生的影像互动装置艺术的展示效果，清晰地说明了这种架构的合理性。（图3-1）

图3-1 整体架构图

3.1.1 计算机多媒体处理子系统

计算机多媒体处理子系统是互动装置作品中至关重要的一节，是基础构建性的存在，整个互动装置作品中信息的接收与发送都通过它来完成。通过装置中的程序发出指令，控制图像的生成与播放。然后把收集到的信息传送到计算机多媒体处理子系统，并直接在媒体呈现子系统上成像，并对参与者的在互动中的一些肢体语言做出反映，将这些“反应”通过编程语言、计算机控制操作系统和媒体数据处理操作等，将程序语言转换成视觉语言。以上处理过程就是影像互动装置作品的核心。

3.1.2 信息检测和采集子系统

信息检测主要是用来检测人的感觉信息，而采集子系统可以实时可靠的采集互动装置作品所需的信息，红外传感器的优点是可以迅速检测到某场域内的人的位置、方向、形态。此外，还可通过体温来反馈此项数据，从而决定是否需要向计算机多媒体处理子系统发出指令，所以，我们称它为感知外界的“触角”名副其实。

3.1.3 传输子系统

传输子系统是整个互动装置中所有传输线路的总称，它主要是将信息检测及采集子系统上收集到的数据传输到多媒体处理子系统。它提供了实时且完整的传输数据，达到了数据共享的目的，保证了互动装置能够顺利运行。其中，按照传输介质的不同，可以分为无线和有线。

3.1.4 媒体呈现子系统

媒体呈现子系统则是像“门面”一样的存在，它是整个互动装置作品的外观。通常情况下，一个作品的外观会给参与者直接的视觉冲击，留下第一印象。比如说，互动影像装置。它绚丽且极富有观赏性的视频影像之类的flash动图是装置最具有吸引力的地方，可以在第一时间抓住参观者的眼球，再辅以声音和光影变幻，对观者的感官进行全方位的刺激，从而激起参观者的兴趣，让参观者有更大的几率参与互动。媒体呈现子系统也会受一些外界客观因素影响，例如投影介质的不同也会直接影响到作品的呈现效果。

3.2 本章小结

本章首先介绍了影像互动装置的概念，对影像互动装置艺术作品的系统整体架构进行了简要整理，并用形象的比喻对各个子系统之间的联系做了详细论述。

第四章《纽约之光》作品的设计与实现

前期我们对影像互动技术和互动装置艺术进行了充分的了解与研究，本章节将运用这些技术来完成毕业设计作品，该作品试图以图像模型、计算机编程、Kinect 360体感传感器以及投影的方式相结合，实现装置与参观者的互动。

4.1 设计构思

现如今大部分的青年劳动力涌入大城市，世界范围内，都呈现了“城市人口越来越多”的现象，人们为了生活、立足、追寻梦想，不断努力奋斗。城市，由钢筋混凝土筑成，像工业品般冰冷；工作，每天都重复着乏味的动作，并产生了肌肉记忆；迷失，那些快节奏的城市生活中，又有多少人在追寻着无意义的意义。

因此希望通过我的装置作品，传达给关注者“你就是照亮城市的那束光，一直闪亮”的思维理念。

设计灵感来源于德国艺术家菲利普和SUN随机演播工作室共同设计制作的交互装置作品《日升日落》。（图4-1）该影像互动装置作品通过感官体验的方式呈现出“日出日落”景象。参观者通过抬起移动一个硕大的弹性圆球，来操纵影像画面中太阳的“日升日落”。

图4-1 交互装置作品《日升日落》

采用信息检测 — 传输 — 处理 — 呈现的交互模式，从而表达自己的创作思想。在影像互动装置作品《纽约之光》（图4-2）中，互动传感器Kinect 360通过红外捕捉人物在空间内的位置变化，数据经过计算机系统处理再通过程序Unity 3D呈现出建筑模型场景内光影变化，造成参观者就是场景中的灯光的效果。

图4-2 影像互动装置作品《纽约之光》

4.2 设计方案

考虑到制作成本与实现方式的难度，选择界面式互动。为了有效可行地整合程序、传感器，本作品决定采用Unity与硬件传感器Kinect 360对接与程序撰写。作品以影像互动装置为主要表现形式，投影幕前设置好Kinect 360的感应范围，当参观者进入到感应区域，电脑控制屏幕中灯光的位置将会被人物位置所替换，随着参观者前后左右以及蹲起跳跃的活动，移动场景内灯光的位置，产生影子位置、长度、强弱的变化。

4.3 作品制作流程

（1）确定方案

利用前文提到的影像互动装置作品的四个主要部分。其中计算机计算多媒体处理子系统核心技术是通过Unity软件中实现互动编程；信息检测和采集子系统由传感器Kinect 360传感、捕捉来实现；传输子系统用于连接计算机多媒体处理子系统与信息检测和采集子系统，并通过数据线连接到投影仪；媒体子系统则是通过投影仪投射到大屏幕上。（见图4-3）

图4-3 方案草图