2022年11月11日下午，在“光合沙龙”第八期活动中，主讲人王康以人机数通为主题，从交互思维、互动原理出发，对人机互动协同设计做了经验分享。

主讲人

王康

     王康从多类型的数字媒体艺术实践案例出发，归纳总结出人机交互作品的两大特性——实时性和交互性。人机交互系统利用动态捕捉、重力感应、麦克风输入、语音辨识等感应功能，把物理化学量转变成可利用的数字信号，从而使作品摆脱了传统单调的操作模式。人机交互系统包含数据采集、数据处理和数据输出三个部分。数据采集即通过各类功能传感器采集现实世界中的图像信号、音频信号、光信号、电信号、通讯信号等；数据处理即将解收到的物理化学量信号转变成可利用和所需要的数字信号；数据输出即将最终被处理过的信号输出给呈现设备，根据不同设备类型输出相应的格式数据，例如：图像数据（显示器）、旋转数据（舵机装置）等。

     数据采集系统中， 需针对交互方式的不同选择相应的功能传感器。传感器按用途可以分类为压力敏和力敏传感器、位置传感器、液位传感器、能耗传感器、速度传感器、加速度传感器、射线辐射传感器、热敏传感器。基于传感器采集的信号数据，王康将数据形式分为了01信号、阈值信号和图像信号三大类，作为数据转换的基本类型。其中，部分交互装置的数据采集是对专业信息网站进行提取，采集企业机构使用专业传感器提取的公开数据，需要一些程序语法进行技术支撑。

     数据处理系统即将所得数据变为所用数据，其中涉及图像、声、光、电等物理信号与01数据、阈值数据和图像数据之间的相互转换，以达成触发交互、手势交互、光交互等交互装置作品。TouchDesigner作为可视化节点式多媒体交互创作工具，对于数据转换的操作具有便捷、直观等特点，且对程序语言需求较低，利于缺少计算机语言基础的用户学习使用。以GeeksArt作品《Wavelet》、TeamLab作品《Colors of Life》、Chris Milk作品《The Treachery of Sanctuary》等为例，王康通过对商业案例进行分析，解析其交互原理，在TouchDesigner中演示各类数据转换过程，复原交互装置实现路径。最后，以个人作品《一方世界》为例，从概念构想、视觉设计到交互编程讲述了数据交互可视化的设计原理。

     数据输出形式可分为交互信息、可视化图像、机械运动指令等。前两类侧重于屏幕类交互，后者则多为机械交互装置。在现场，王康以16通的光束灯为例，演示了传感器采集的各类数据经由转换对光束灯的控制。并讲述了数据通讯的端口协议，包括IP原理、Art-NET协议、DMX512协议等。

     最后，整合元宇宙增强环境拟真实验室的相关技术，解构了元宇宙空间构建路径。王康强调，在元宇宙语境下，对于数据通讯的交互使用将会更为广泛。数据成为人机交互系统中连接现实与虚拟世界的桥梁，数据之间的通讯及转换是实现人机交互的核心。

Nov.11.2022

“光合沙龙”第八期圆满结束，

我们下期再见！

主办单位

光影交互服务技术文化和旅游部重点实验室

华中科技大学建筑与城市规划学院设计学系

数字光影技术湖北省工程研究中心

文案 | 晏阳 李威

编辑 | 晏阳 李威