一种高临场感的运动健身器材虚拟实景的制作方法以及基于该虚拟实景的互动系统和方法

申请号 CN200910113654.4 申请日 2009-12-30 公开(公告)号 CN101780321A 公开(公告)日 2010-07-21
申请人 永春至善体育用品有限公司; 发明人 黄荣堂;
摘要 本 发明 一种高临场感的运动健身器材虚拟实景的制作方法及基于该虚拟实景的互动系统和方法,同步采集实景拍摄的影像内容和与实景对应的运动健身器材的控制参数,该控制参数能使运动健身器材随实景的改变,实时自动调整其前后倾斜、左右倾斜、摇摆的 角 度,或是自动调整其负载的大小;或是根据使用者运动的速度,调整该虚拟实景放映的速度,或根据环境变量来调整其负载的大小;或是根据使用者眼睛注视的方向或脸部的面向或运动健身器材的摆动角度来改变实景 视野 范围影像;能制作出具有多样性的虚拟实景的数字内容,能因应不同运动特性达致较高的拟真程度,使用者不受场地、 气候 的影响,应用广泛。
权利要求

一种高临场感的运动健身器材虚拟实景的制作方法,其特征在于包括以下几个步骤:步骤1:使用一装设有摄影设备的交通工具,前往某项运动实施对应的场地进行实景拍摄,并根据运动的需要设置多个传感器,用于获得与实景对应的运动健身器材的控制参数,该控制参数能控制运动健身器材配合实景进行动作变换;步骤2:每隔一固定的取样时间拍摄实景,与拍摄动作同步采集各传感器的实测数据;步骤3:将每张影像存成数组数据结构,该数组数据结构包括对应取样时间的里程数据、影像内容及各传感器的实测数据,并对影像数据进行分割、加入前后指针或标记,使里程数据、各传感器的实测数据与影像数据同步化,形成虚拟实景的数字内容。
2 根据权利要求1所述的一种高临场感的运动健身器材虚拟实景的制作方法,其特征在于:该实景可为二维或三维影像、三维立体影像、部分视野或环景视野的影像。
3. 根据权利要求1所述的一种高临场感的运动健身器材虚拟实景的制作方法,其特征在于:所述的传感器至少包括下列传感器之一 :里程计、惯性传感器、倾斜计、平传感器、GPS、速计、风向计、水流速计、水流向计、度传感器、麦克风、气体传感器、照度计、高度计或湿度计。
4. 根据权利要求1所述的一种高临场感的运动健身器材虚拟实景的制作方法,其特征在于:该摄影设备设于旋转平台上,拍摄岔路时,先利用旋转平台拍摄岔路口的环景影像,再分别拍摄由岔路口延伸之不同路段的实景。
5. 根据权利要求1所述的一种高临场感的运动健身器材虚拟实景的制作方法,其特征在于:可以使用多台摄影设备,环绕360度拍摄,如此可以不需使用旋转平台,又能全程取得各个角度的实景。
6. 根据权利要求1所述的一种高临场感的运动健身器材虚拟实景的制作方法,其特征在于:所述的步骤2中,可将一固定长度的影像片段作为一个单位来分割上述数字内容,设定每一单位的指针以表示影像片段的前后顺序关系,该影像片段的数据结构包括辨识码ID、影像片段长度、影像格式、名称、起终点坐标、后衔接点ID和前衔接点ID。
7. 基于一种虚拟实景的互动系统,其特征在于:主要包括运动健身器材、可多轴旋转或平移的运动平台、与运动健身器材或运动平台连接的控制器、装设于运动健身器材或运动平台上的多个传感器、显示装置和计算机,将运动健身器材放置于运动平台上,于该运动健身器材前方设置显示装置,该显示装置用于接收并播放来自计算机的有关虚拟实景的数字内容;该计算机每隔一固定的取样时间采集运动平台或运动健身器材的里程数据与虚拟实景数字内容数据结构内的里程数据进行比较,找出最相近的指针或影格序号,并通过显示装置播放对应该指针或影格序号的影像内容,同步提取对应存储的有关各传感器的实测数据,进而换算成运动平台或运动健身器材的控制命令发送给运动平台或运动健身器材的控制器,实时自动调整运动健身器材或运动平台之前后倾斜、左右倾斜、摇摆的角度,或平移的位置、速度、或加速度;或是自动调整运动健身器材的负载大小;同时,计算机还根据与里程数据同步采集的各传感器的实测数据,调整该虚拟实景数字内容的放映速度,或根据所述传感器提供的环境变量来调整运动健身器材的负载大小;或是根据使用者眼睛注视的方向或脸部的面向或运动健身器材的摆动角度来改变虚拟实景数字内容的视野范围影像。
8. 根据权利要求7所述的基于一种虚拟实景的互动系统,其特征在于:所述的运动平台可包含至少下列自由度之一 :前后倾斜、左右倾斜、摇摆三个旋转自由度,以及X, Y, Z三个平移自由度。
9. 基于一种虚拟实景的互动方法,其特征在于:将运动健身器材放置于可多轴旋转或平移的运动平台上,于该运动健身器材前方设置显示装置,于运动健身器材或运动平台上装设多个传感器;由计算机每隔一固定的取样时间采集运动平台或运动健身器材的里程数据与虚拟实景数字内容数据结构内的里程数据进行比较,找出最相近的指针或影格序号,并通过显示装置播放对应该指针或影格序号的影像内容,同步提取对应存储的有关各传感器的实测数据,进而换算成运动平台或运动健身器材的控制命令发送给运动平台或运动健身器材的控制器,实时自动调整运动健身器材或运动平台之前后倾斜、左右倾斜、摇摆的角度,或平移的位置、速度、或加速度;或是自动调整运动健身器材的负载大小,同时,计算机还根据与里程数据同步采集的各传感器的实测数据,调整该虚拟实景数字内容的放映速度,或根据所述传感器提供的环境变量来调整运动健身器材的负载大小;或是根据使用者眼睛注视的方向或脸部的面向或运动健身器材的摆动角度来改变虚拟实景数字内容的视野范围影像。
10. 根据权利要求9所述的基于一种虚拟实景的互动方法,其特征在于:计算机还根据与里程数据同步采集的装设于运动健身器材前端的角度传感器的实测数据,当使用者在T时间内,采样的里程数据为m,运动健身器材的转向角度e为O度,则依里程数据m查找对应的影像内容;当使用者在T时间内,采样的里程数据为m,但转向角度为q度,必须计算里程的差距k = m(secq-l),获得修正后里程数据M = m(2-secq),再依修正后的里程数据M来查找对应之影像内容。
11. 根据权利要求9所述的基于一种虚拟实景的互动方法,其特征在于:计算机还根据与里程数据同步采集的装设于运动健身器材前端的角度传感器的实测数据,控制显示影像的左右平移;根据使用者头部加装的水平传感器,控制显示影像的上下平移。
12. 根据权利要求9所述的基于一种虚拟实景的互动方法,其特征在于:计算机还根据与里程数据同步采集的装设于运动健身器材前端的角度传感器的实测数据,判断使用者在虚拟实景中是靠近左边或右边道路行驶的,并藉由角度传感器的偏角q与里程数据m,得出视野左右平移的距离为m tanq,估算出使用者偏移路中央的距离,利用影像处理技术使靠近的景物放大和远离的景物縮小。
13. 根据权利要求9所述的基于一种虚拟实景的互动方法,其特征在于:计算机还播放根据与里程数据同步采集且拍摄实景时录制的声音,后制的配乐或者是旁白。

说明书全文

一种高临场感的运动健身器材虚拟实景的制作方法以及基 于该虚拟实景的互动系统和方法

技术领域

[0001] 本发明涉及一种高临场感的运动健身器材虚拟实景的制作方法和基于该虚拟实景的互动系统和方法。 背景技术
[0002] 习知的运动器材互动数字内容主要属于虚拟实境,由于制作不易,缺乏多样性,加 上无法有效呈现真实世界的状况,因此户内使用习知的运动器材时,容易令人有新鲜感不 足的感觉。而运动健身器材如脚踏车、跑步机、划船机等,对应的运动都有娱乐休闲的场地、 业余训练的场地、或选手级的比赛场地。目前市场上有一芬兰T皿turi公司提供一配合健 身脚踏车施行实景多媒体,该实景多媒体可以根据使用者骑脚踏车的速度调整实景放映的 速度也可根据路面自动调整骑脚踏车的负载的大小;但是由于其搭配的脚踏车并无随路面 变动姿态的动态平台,因此缺乏逼真的骑乘感觉,另外这个多媒体仅限于脚踏车,对于跑步 机、或是划船器、滑器、冲浪或滑、单手骑等都无法配合;再者实际于户外进行运动, 通常可能东张西望,同一地点看到的实景乃是依照眼睛注视的方向来决定,另外真实世界 通常有岔路的多路径选择,而上述Tunturi公司提供的软件并无此功能,也不能提供与虚 拟实境相当的影像随使用者位置变换而改变其视野。为此,本发明即在于改善上述缺点。

发明内容

[0003] 本发明为求改善上述问题,提出一种高临场感的运动健身器材虚拟实景的制作方 法和基于该虚拟实景的互动系统和方法,能制作出创新而具有多样性的虚拟实景的数字内 容,能因应不同运动特性达致较的拟真程度,使用者不受场地、气候的影响,应用广泛。 [0004] —种高临场感的运动健身器材虚拟实景的制作方法,具体包括以下几个步骤: [0005] 步骤1 :使用一装设有摄影设备的交通工具,前往某项运动实施对应的场地进行 实景拍摄,并根据运动的需要设置多个传感器,用于获得与实景对应的运动健身器材的控 制参数,该控制参数能控制运动健身器材配合实景进行动作变换;
[0006] 步骤2 :每隔一固定的取样时间拍摄实景,与拍摄动作同步采集各传感器的实测 数据;
[0007] 步骤3 :将每张影像存成数组数据结构,该数组数据结构包括对应取样时间的里程数据、影像内容及各传感器的实测数据,并对影像数据进行分割、加入前后指针或标记,
使里程数据、各传感器的实测数据与影像数据同步化,形成虚拟实景的数字内容。
[0008] 该实景可为二维或三维影像、三维立体影像、部分视野或环景视野的影像。
[0009] 所述的传感器至少包括下列传感器之一 :里程计、惯性传感器、倾斜计、水平传感器、GPS、速计、风向计、水流速计、水流向计、度传感器、麦克风、气体传感器、照度计、高
度计或湿度计。
[0010] 该摄影设备设于旋转平台上,拍摄岔路时,先利用旋转平台拍摄岔路口的环景影像,再分别拍摄由岔路口延伸之不同路段的实景。可以使用多台摄影设备,环绕360度拍 摄,如此可以不需使用旋转平台,又能全程取得各个角度的实景。
[0011] 所述的步骤2中,可将一固定长度的影像片段作为一个单位来分割上述数字内容,设定每一单位的指针以表示影像片段的前后顺序关系,该影像片段的数据结构包括辨
识码ID、影像片段长度、影像格式、名称、起终点坐标、后衔接点ID和前衔接点ID。
[0012] 基于一种虚拟实景的互动系统,主要包括运动健身器材、可多轴旋转或平移的运动平台、与运动健身器材或运动平台连接的控制器、装设于运动健身器材或运动平台上的
多个传感器、显示装置和计算机,将运动健身器材放置于运动平台上,于该运动健身器材前
方设置显示装置,该显示装置用于接收并播放来自计算机的有关虚拟实景的数字内容;该
计算机每隔一固定的取样时间采集运动平台或运动健身器材的里程数据与虚拟实景数字
内容数据结构内的里程数据进行比较,找出最相近的指针或影格序号,并通过显示装置播 放对应该指针或影格序号的影像内容,同步提取对应存储的有关各传感器的实测数据,进 而换算成运动平台或运动健身器材的控制命令发送给运动平台或运动健身器材的控制器, 实时自动调整运动健身器材或运动平台之前后倾斜、左右倾斜、摇摆的角度,或平移的位 置、速度、或加速度;或是自动调整运动健身器材的负载大小;同时,计算机还根据与里程 数据同步采集的各传感器的实测数据,调整该虚拟实景数字内容的放映速度,或根据所述 传感器提供的环境变量来调整运动健身器材的负载大小;或是根据使用者眼睛注视的方向 或脸部的面向或运动健身器材的摆动角度来改变虚拟实景数字内容的视野范围影像。 [0013] 所述的运动平台可包含至少下列自由度之一 :前后倾斜、左右倾斜、摇摆三个旋转 自由度,以及X, Y, Z三个平移自由度。
[0014] 基于一种虚拟实景的互动方法,将运动健身器材放置于可多轴旋转或平移的运动 平台上,于该运动健身器材前方设置显示装置,于运动健身器材或运动平台上装设多个传 感器;由计算机每隔一固定的取样时间采集运动平台或运动健身器材的里程数据与虚拟实 景数字内容数据结构内的里程数据进行比较,找出最相近的指针或影格序号,并通过显示 装置播放对应该指针或影格序号的影像内容,同步提取对应存储的有关各传感器的实测数 据,进而换算成运动平台或运动健身器材的控制命令发送给运动平台或运动健身器材的控 制器,实时自动调整运动健身器材或运动平台之前后倾斜、左右倾斜、摇摆的角度,或平移 的位置、速度、或加速度;或是自动调整运动健身器材的负载大小,同时,计算机还根据与里 程数据同步采集的各传感器的实测数据,调整该虚拟实景数字内容的放映速度,或根据所 述传感器提供的环境变量来调整运动健身器材的负载大小;或是根据使用者眼睛注视的方 向或脸部的面向或运动健身器材的摆动角度来改变虚拟实景数字内容的视野范围影像。 [0015] 计算机还根据与里程数据同步采集的装设于运动健身器材前端的角度传感器的 实测数据,当使用者在T时间内,采样的里程数据为m,运动健身器材的转向角度e为O度, 则依里程数据m查找对应的影像内容;当使用者在T时间内,采样的里程数据为m,但转向 角度为q度,必须计算里程的差距k = m(secq-l),获得修正后里程数据M = m(2-secq),再 依修正后的里程数据M来查找对应之影像内容。
[0016] 计算机还根据与里程数据同步采集的装设于运动健身器材前端的角度传感器的 实测数据,控制显示影像的左右平移;根据使用者头部加装的水平传感器,控制显示影像的 上下平移。5[0017] 计算机还根据与里程数据同步采集的装设于运动健身器材前端的角度传感器的 实测数据,判断使用者在虚拟实景中是靠近左边或右边道路行驶的,并藉由角度传感器的 偏角q与里程数据m,得出视野左右平移的距离为m tanq,估算出使用者偏移路中央的距 离,利用影像处理技术使靠近的景物放大和远离的景物縮小。
[0018] 计算机还播放根据与里程数据同步采集且拍摄实景时录制的声音,后制的配乐或 者是旁白。
[0019] 采用本发明制作的虚拟实景的数字内容不仅可与运动健身器材互动作为健身之 用,也可以作为选手锻炼体或比赛之前的虚拟场地练习之用,也可用于促销观光风景名 胜;本发明的虚拟实景与使用者的互动中,可随使用者位置变换而改变其视野,且使用者的 运动路径可依真实拍摄的实景作选择;本发明还提供数据串流功能使分别或是分段拍摄实 景可依选择作各种无缝隙的连接,减低过长影片载入与移出的延迟与资源耗费。附图说明
[0020] 图1为本发明中运动健身器材虚拟实景的制作方法的流程图
[0021] 图2为本发明中运动健身器材虚拟实景制作系统的路面拍摄装置示意图;
[0022] 图3为本发明中运动健身器材虚拟实景路面拍摄操作示意图;
[0023] 图4为本发明中运动健身器材虚拟实景制作系统的水面拍摄装置示意图;
[0024] 图5为本发明中运动健身器材虚拟实景水面拍摄操作示意图;
[0025] 图6为本发明中虚拟实景的数字内容与装载于运动平台之脚踏车的互动示意图;
[0026] 图7为本发明中存储虚拟实景数字内容的数组数据结构示意图;
[0027] 图8为本发明中分段的影像片段的数据结构示意图;
[0028] 图9为本发明中修正里程数据的示意图。
[0029] 以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

[0030] 如图1所示,本发明一种高临场感的运动健身器材虚拟实景的制作方法,具体包 括以下步骤,其中虚拟实景数字内容制作系统可同时参看图2与图4 :
[0031] 步骤30 :使用一装设有摄影设备的交通工具,前往某项运动实施对应的场地进行 实景拍摄,并根据运动的需要设置多个传感器,用于获得与实景对应的运动健身器材的控 制参数,该控制参数能控制运动健身器材配合实景进行动作变换;
[0032] 步骤40 :每隔一固定的取样时间拍摄实景,该实景可为二维或三维影像,或者是 三维立体影像,可以是部分视野或环景视野的影像;与拍摄动作同步采集里程计、惯性传感 器、倾斜计、GPS、风速计、风向计等传感器的实测数据;
[0033] 步骤50 :配合上述传感器的实测数据同步化或内插或后处理影像数据,对影像数 据进行分割、加入前后指针或标记;
[0034] 步骤60 :将上述的每张影像存成数组数据结构,该数组数据结构包括对应采样时 间的里程数据、影像内容、陆地或水面的三维倾斜度、加速度、角速度等传感器的实测数据。 [0035] 本发明的虚拟实景数字内容的储存格式是以每隔一固定的取样时间来记录里程 计、倾斜计、加速度计陀螺仪、GPS、风速计、风向计等传感器的实测数据,以及摄影机拍摄的影像,较佳的实施方式是以摄影机拍摄的速率为主,例如该固定的取样时间设定为1/30秒,若是高速摄影机则可以是1/60秒或1/120秒或1/300秒,或其它选择。
[0036] 步骤60中的虚拟实景数字内容的数据结构如图7所示,其中的影格序号就是依照拍摄顺序或是剪接顺序加以排列的每一影像片段的序列号,每一影格内容分别与拍摄时
其里程计测得的里程数、GPS所取得的经纬度坐标、倾斜计所量测的地面倾斜度、由麦克风
实际收录的声音或后制时所配的音乐或声音、风速与风向计实际所量到或后制的风速与风
向、气体传感器所辨识或后制的气味与浓度、照度计实际所量到或后制的照明、高度计所量
测到的海拔高度、温湿度计所量测到的温湿度等数据相对应。此处的影格内容,可以是至少
一个摄影机所拍摄的组合影像数据,或是环景摄影机所拍摄的环景影像数据,或是立体摄
影机所拍摄的立体影像数据。
[0037] 该步骤70是本发明的虚拟实景数字内容与运动平台或运动健身器材互动流程: 每隔一固定的取样时间采集运动平台或运动健身器材的里程位置,与虚拟实景数字内容数 据结构内的里程计记录比较,找出最相近的指标(index)或影格序号,并播放对应指针的 影像和提供对应指针的加速计、倾斜计、陀螺仪、GPS、风速计、风向计等传感器的实测数据、 陆地或水面的三维倾斜度、加速度、角速度等控制参数,进而产生运动平台多轴的倾斜角、 旋转速度、平移运动的加速度等控制命令给运动平台或运动健身器材,实时互动调整运动 健身器材之前后倾斜(Pitch)、左右倾斜(roll)、摇摆(yaw)的角度,或平移的位置、速度、 或加速度;或是自动调整运动健身器材的负载大小。
[0038] 本发明一种高临场感的运动健身器材虚拟实景的制作方法是使用一交通工具,实 际前往某项运动实施对应的场地进行拍摄,除了利用摄影机拍摄之外,也同步采集并记录 里程计、三维倾斜计、加速计、陀螺仪、全球定位系统(GPS)、风速计、风向计等传感器的实测 数据。对于路面上的应用如脚踏车健身器、跑步机、骑马机等,可以使用平稳的运输工具来 装设虚拟实景制作时所需的设备,该设备包括至少一台摄影机(可包括旋转平台)、倾斜 计、加速度计、陀螺仪、GPS、里程计、风速计、风向计等;对于划船机或泛舟,可以使用大型游 船;对于冲浪或滑水,可以使用小型游船;对于滑雪机可使用雪橇车。摄影机依照需要装设 其拍摄位置与角度。
[0039] 拍摄时,摄影机可装设防振平台例如Steadycam,并且配合后期制作,利用数字软 件例如SteadyMove,进一步去除震动。
[0040] 摄影机可以是高速摄影机或一般摄影机,也可以环景摄影系统,或多摄影机或单摄影机,标准镜头或广角镜头或望远镜头等配合加速计、陀螺仪、GPS和里程计。
[0041] 配合后期制作软件,将每张影像存成数组数据结构,该数组数据结构包括里程位置、影像本身、陆地或水面的三维倾斜度、加速度、角速度等参数。
[0042] 本发明的虚拟实景数字内容包括实景与各种控制参数,实景可以是二维或三维影 像,可以是部分视野或环景视野的影像,可以含配乐或旁白;控制参数包含每张该虚拟实景 的影像内容对应的里程、加速度、角速度等实测数据,使运动健身器材随实景的改变,实时 自动调整其前后倾斜(Pitch)、左右倾斜(roll)、摇摆(yaw)的角度,或是自动调整其负载 的大小;或是根据使用者运动的速度,调整该虚拟实景放映的速度,或是根据多个运动者个 别的累积速度,作为比赛胜负的依据。进一步,可以包含环境变量,如风向与风速或水流,来 改变负载;或是根据使用者眼睛注视的方向或脸部的面向,改变实景投射的视野范围影像。风向与风速计可以用来纪录陆上运动时,顺风或逆风行进;水流计可以用来纪录水上运动 时,泛舟时候,顺水或逆水行驶。使用者眼睛注视的方向,可利用计算机视觉侦测眼球方向; 而脸部的面向,可由头部配戴陀螺仪来加以侦测。
[0043] 以三轴加速度计的实测数据为基础来加以计算,对时间一次积分可以获得速度,对时间二次积分可以获得位置,因此透过三轴加速度计可以知道任一影像取样时刻对应的
实际三维位置,若因为累积误差,可以使用里程计以及二轴陀螺仪的测量结果加以校正。另
外,也可直接经由三轴加速度计所附的倾斜度运算法,或经由三轴倾斜计,直接得出三轴的
倾斜角度,也就是拍摄时,行进路线地面的倾斜度,或是行进路线水面的倾斜度。
[0044] 运动平台的控制基本上是以位置命令为主,但速度命令也可以纳入作为控制冲浪板的变化;加速度命令则是传统虚拟实境产生极速感觉的好方法。因此本发明提供位置命
令、速度命令、加速度命令等给运动平台因应不同运动特性与拟真程度来运用。
[0045] 该运动平台可有多轴:三个旋转轴、三个平移轴。本发明虽以具有三个旋转轴的运动平台为例说明,但是由于加速计与陀螺仪的实测数据可以完整提供三个旋转轴、三个平
移轴的信息,所以本发明的虚拟实景数字内容可以提供给更多轴的运动平台使用。
[0046] 图2为本发明虚拟实景制作系统的路面拍摄装置示意图,利用一平稳的运输工具1,可以是汽车机车、二轮脚踏车、或三轮脚踏车、徒步的人员等,上面装设摄影机2、摄影机
稳定架3、旋转平台(由步进马达或伺服马达配合减速机驱动)4、笔记型计算机5、惯性传感
器6与里程计7,图3为图2的实施图。亦可进一步加入风速计、风向计等(图中未示)。
[0047] 于拍摄时,由于路面会左右倾斜,导致播放影片时会左右晃,所以利用摄影机稳定架3克服路面的左右倾斜、上下倾斜的问题,使拍摄的影片更为平顺。
[0048] 于拍摄时,会遇到岔路,先利用旋转平台(由步进马达或伺服马达配合减速机驱动)4拍摄岔路口的环景影像,再分别拍摄由岔路口延伸之不同路段的影片,让使用者在模
拟运动游戏时,可以选择左转、右转或直走。另外也可以使用多台摄影机,例如8台,环绕
360度拍摄,如此可以不需使用旋转平台,又能全程取得各个角度的实景。
[0049] 于拍摄时,利用笔记型计算机5或者是可记录的装置可同时记录摄影机2采集的影像数据、里程计7所采集的里程数据、以及各种传感器如惯性传感器6、风速计和风向计
所采集的实测数据,和根据上述采集的各种数据所换算成的运动平台或运动健身器材机台
多轴的倾斜角、旋转速度、平移运动的加速度等控制命令。
[0050] 对于拍摄天候的影响,可以利用后处理的手段,利用影像处理来调整个别拍摄的 影片的明亮度或日照的方向,使其较为一致。拍摄时可以使用照度计记录或调整拍摄的明 亮度。
[0051] 图4为本发明虚拟实景制作系统的水面拍摄装置示意图,可利用船10来装设摄影 机2,摄影机2可为一台或者多台,並且可以放置于旋转平台上(图中未示),还有一笔记型 计算机5、惯性传感器6等,于溪流、河流、大海、湖泊或水上11拍摄时,同时记录影像数据与 里程数据、惯性传感器等各种传感器的实测数据,如图5所示。亦可进一步加入水流速计、 水流向计等。对于溪流、或河流拍摄时,可顺着河道或溪道而下,两岸风光可进入镜头,对于 水面随地形变化的河道或溪道,可随移动位置变化同时记录水面高度、倾斜度。对于较为宽 广水域的拍摄,则需要高像素的环景摄影机,对水域采多位置的拍摄,使拍摄点组成数组涵 盖宽广水域,再由影像后处理对每一位置的拍摄加以标记,如数组式航拍影像的衔接,以便之后与水上活动相关的运动健身器材互动时,可随位置改变来调整播放的视野影像的范围 与分辨率,达到拟真的感觉。
[0052] 对于空中的飞行器,基本上是透过高分辨率的航拍影像,利用多点数组式拍摄,再 由影像后处理对每一位置的拍摄加以标记,以数组式衔接,以便之后与空中活动相关的运 动健身器材互动时,可以随飞行高度与位置改变来调整播放的视野影像的范围与分辨率, 达到拟真的感觉。此外对于飞行时的空中的视野,可以仿照前述宽广水域的拍摄方式,只是 对空域采用三维数组式拍摄,飞行的水平方向采环景拍摄,地面景物则是采航拍的方式拍 摄,之后利用影像后处理加以标记,播放时再加以衔接。
[0053] 由于本发明之数字内容的每张影像存成数组数据结构,该数组数据结构包括里程 位置、影像本身、陆地或水面的三维倾斜度、加速度、角速度等参数。因此可将一固定长度的 影像片段作为一个单位来分割一连串记录的数字内容,设定每一单位的指针以表示影像片 段的前后顺序关系,即可将其串联播放或数据串流。另一方面对于岔路的选择,可以具体实 现,理由是岔路口的环景影像为一单位,岔路口延伸之不同路段的影像被指定为个别单位, 因此使用者在仿真运动游戏时,可以选择左转、右转或直走。综合言之,本发明可提供串联 功能使分别或是分段拍摄实景可依使用者选择直走、停留、左转、右转、或是回头作各种无 缝隙的连接,减低过长影片的加载与移出所造成的延迟与资源耗费。
[0054] 上述的串联功能指的是对拍摄的影片作剪接,去掉模糊不清或因故暂停所拍的影 像片段,依据连续影格的数目或是岔路口设定分段点;若依据连续影格的数目为分段点,则 影像片段长度基本上为固定,例如l-10Mbyte,影像片段的数据结构如图8所示,包括辨识 码(ID)、影像片段长度、影像格式、名称、起终点坐标、后衔接点ID、前衔接点ID等。 [0055] 对虚拟实景的数字内容进行分段的目的在于让使用者能深入大街小巷,建立接近 真实且双向互通的道路网,提供多人竞赛或共同参预使用。由于真实道路网常有多重岔 路,所以利用分割技术,将实景影片分割成一固定长度的影像片段,其中多重岔路的环景影 片自成一片段。所述的影像片段加以头尾编码,亦即前衔接点ID(向前衔接之影像片段的 ID)、后衔接点ID(向后衔接之影像片段的ID),各影像片段依照头尾编码顺序衔接,用以处 理多重岔路衔接的各分支路段。 [0056][实施例一 ]
[0057] 基于本发明所制作的虚拟实景数字内容与多轴运动平台的互动方式,如图6所 示,将越野脚踏车26放置于运动平台20之第三轴旋转台21上面,同时于脚踏车前方设置 投影幕22,投影机23则设置于脚踏车后方并且与计算机(图中未示)联机,播放有关越野 运动虚拟实景的数字内容24。所述的计算机每隔一固定的取样时间采集运动平台20的三 轴角位置传感器、脚踏车速度传感器及里程计(图中未示)的数据,并将采样的里程数据与 虚拟实景数字内容24数据结构内的里程数据进行比较,找出最相近的指针(index),获得 该指针对应的数据结构,并播放该数据结构中的影像内容及将数据结构中的涉及加速计、 倾斜计、陀螺仪、GPS、风速计、风向计等传感器的实测数据上传至计算机,并根据该实测数 据换算成运动平台20多轴的倾斜角、旋转速度、平移运动的加速度等控制命令给运动平台 或运动健身器材的控制器(图中未示)以驱动多轴的马达25改变运动平台20的运动状态 来配合数字内容中的实景,以达到更真实的感觉。进一步将可控式制动器例如磁粉式制动 器(图中未示)结合于车轮,模拟上下坡路面骑车者的负载。[0058] 所述的运动平台20可包含前后倾斜(pitch)、左右倾斜(roll)、摇摆(yaw)三个 旋转自由度,以及X, Y, Z三个平移自由度。
[0059] 拍摄实景时,用平稳的运输工具(步行人员亦可)来装设虚拟实景制作时所需 的设备,里程计的输出通常是每秒输出若干个方波,或是若干个计数,每个计数相对转换 的里程依照运输工具的不同而不同,例如若是骑车者使用的越野脚踏车26是24吋自行 车,其轮胎每转一圈其行进距离约192cm,同时里程计输出IO个计数,也就是每个计数相 对转换的里程为19.2cm。但是由于拍摄实景时,行进的速度变化可能使里程计的每秒 输出与摄影机不同步,因此相对于一般影像取样速度为每秒30张的影像,可以利用内插 (interpolation)的技术,将里程数据对应于每张影像数据。同样的也可以利用此内插技术 将里程数据对应于所采集的三维倾斜计、加速计、陀螺仪、GPS、风速计、风向计等传感器的 测量数值。
[0060] 拍摄过程中,行进的路径上,可能有人或者其它干扰因素,为了拍摄出好的影像, 可以多次拍摄,利用后期制作的剪接技术,选出拍摄好的影片,覆盖同一段拍摄不好的影 片,使影片看起来更加完美,也可藉由影像处理例如平均法,或是人体或移动物体的辨识后 剪除来达成,此为熟悉此技艺者易于达成之事,在此不再赘述。
[0061] 在游戏运动过程中,使用者可能靠右、靠左或者蛇行,利用已知每张影像数据对应 的里程数据、摄影机的拍摄方向与使用者移动时偏离的角度,计算出使用者真实骑了多少 里程,以改变每张影像播放的速度。由于原始拍摄的路径与摄影机的视野互相对应,因此若 使用者靠右、靠左或者蛇行,播放的视野也会偏左、偏右、或忽左忽右,导致使用者移动的路 径显然会与原始拍摄的路径偏离,造成采样的里程数据高于原始拍摄的路径距离,若使用 采样的里程数据来查找对应的播放内容,必然会出现误差。本发明利用如图9所示的计算 方法用于修正采样的里程数据,使得依据经过修正后的里程数据能查找并播放相对应之影 像内容。该计算方法还可以让使用者知道自己到底骑了多少里程,而不是传统游戏的虚拟 里程。
[0062] 如图9所示,m是在时间T = t2-^内使用者骑乘的距离;q是手把转向的角度,则利用三角函数可得斜边之距离msecq,即可知道里程的差距为k = m(secq-l)。
[0063] 当使用者在T时间内,采样的里程数据为m,手把的转向角度e为0度,则依里程数据m查找对应的影像内容;当使用者在T时间内,采样的里程数据为m,但手把的转向角
度为q度,必须计算里程的差距k = m(secq-l),获得修正后里程数据M = m(2-secq),再依
修正后的里程数据M来查找对应之影像内容。
[0064] 利用装设于脚踏车26龙头的角度传感器的实测数据可控制显示影像的左右平 移,则骑车者转动脚踏车26龙头就可控制显示影像的左右平移。
[0065] 由于拍摄时只能行进于道路的中间,无法采用多种道路行进的方式进行拍摄,因 此通过以下方法可使二维的真实影像转变成类似三维的虚拟实景。由于人眼焦距的关系, 当物体越远时,人眼睛所看到的物体就会越小,相反的,物体越近时,人眼所看到的物体会 越大。所以本发明利用几何影像转换,当使用者在靠近左边或右边道路行驶时,靠近的物体 会放大远离的物体会縮小,以模拟虚拟实景的效果。具体做法是:藉由脚踏车26龙头的角 度传感器的偏角q与脚踏车26的里程数据m,则视野左右平移的距离为m tanq,估算出使 用者偏移路中央的距离,利用影像处理技术使靠近的景物放大和远离的景物縮小;若是在人的头部加装水平传感器,例如多轴陀螺仪,便可以知道使用者是抬头或低头,以控制影片 上下平移;如此一来,本发明可以让使用者有如在外面骑自行车的感觉,创造出模拟真实影 像的虚拟实景。
[0066] 进一步而言,若是运动平台20上摆放跑步机,则本发明之虚拟实景数字内容也可 提供根据跑步机的里程与速度所需的数字内容。进一步,若跑步者穿戴惯性传感器或跑步 机上装设脚踏位置传感器,则可侦测跑步者偏移路中央的距离,也可如上述脚踏车的实施 例,利用影像处理的技术使靠近的景物放大或远离的景物縮小。 [0067][实施例二 ]
[0068] 透过网络联机,利用本发明制作的虚拟实景数字内容的数据串流技术来进行移动 式实景虚拟化,使用或浏览时,进行当地相关性的广告宣传。例如骑过商场时,可以让某商 店提供方向指示引导骑乘者前往该提供广告的商店浏览。如果为风景区例如垦丁公园,可 以请该风景区的店家或旅馆提供广告,介绍他们的卖点尤其是风味餐或纪念品或住房等。 [0069] 透过网络联机,提供多人共骑的体验,多人共游的体验,或增加各种竞赛的可能, 例如环法大赛、环台大赛、环镇大赛、环县大赛、环北大赛、环中大赛、环南大赛、环东大赛 等。利用本发明的技术,虚拟比赛容易举行,不怕刮风下雨、白天黑夜都可以举行,安全、不 需要交通管制,不会有意外发生,车手不会互相碰撞,且公平不会有作弊。 [0070] 透过网络联机,可增加更多人投入自行车的旅游方式,选定亲子共骑路线,浪漫共 骑路线,骑车联谊活动路线,可使适婚男女有互相认识的平台。各种风景路线,可以控制其 地形高低起伏的难度,基本上与卡拉OK—样可以依照人的音域来调KEY,所以男女都可以 共骑。
[0071] 综上所述,可知本发明可制作各种移动式的运动器材的虚拟实景数字内容,这些 运动器材可包含跑步机、脚踏车、划船机、滑雪机、骑马机、冲浪板等;赛车、摩托车、雪橇机、 飞行器、滑水板、水上航行器等。
[0072] 以上所述,仅是本发明较佳实施例而已,并非对本发明的技术范围作任何限制,故 凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰,均仍属 于本发明技术方案的范围内。
QQ群二维码
意见反馈