2017年“建设智慧社会”被正式写进十九大报告中,智慧城市建设已上升为国家战略。经过多年探索,我国在智慧城市建设方面已经有了丰富的实践经验与理论基础,但对于智慧城市建设的具体路径与方式,社会各界尚未达成共识。作为空间规划信息化、全域实景数字城市应用等领域的实践者与探索者,黎阳之光一直致力于探索与我国当前信息化进程相适应的新型智慧城市建设之路。
针对我国大部分城市信息化进程尚处于智能化前期阶段的现状,黎阳之光科技认为:数字城市数据的智慧应用与可视化应当是智慧城市建设基础条件之一。实景数字孪生平台则是物理空间与信息空间中数字城市全生命周期精准映射与融合协同的重要基础和"城市数据中心"的神经中枢,也是复杂环境下城市建设和管理信息化水平与品质保障的关键支撑。
因此,通过数字孪生城市的建设,在虚拟空间再造一个城市,作为现实城市的映射、镜像、仿真、辅助与实验,可以更好地实现数字城市向智慧城市的过渡。
实景三维空间信息平台则是物理空间与信息空间中数字城市全生命周期精准映射与融合协同的重要基础和"城市大脑"的神经中枢,也是复杂环境下铁路建设和管理信息化水平与品质保障的关键支撑。
数字孪生(Digital Twin)的概念最早是由美国密歇根大学的Michael Grives 教授于2003年提出。但其在国内引起广泛关注,是因为雄安新区的建设中明确提出,数字雄安建设最重大的创新,是形成与新区共同成长的数字孪生城市,而实现的主要方式,就是在建设物理城市的同时,通过万物互联感知,汇聚多方数据搭建城市智能模型(CIM)。2018年住建部起草的《“多规合一”业务协同平台技术标准(征求意见稿)》,鼓励有条件的城市,可在BIM(Building Information Modeling)应用的施工技术上建立城市信息模型(City Information Modeling)。中国工程院吴志强院士则提出了城市智能模型(City Intelligent Modeling),对CIM进行了更深层次的解读。可以说,随着CIM定义的提出和不断深化,数字孪生城市建设将更加深入。总之,这些概念的提出给予了智慧城市有力的支撑。
数字孪生城市建设:满足智慧可视的本质需求,为满足城市创新运营和应用需求,数字孪生城市建设必须解决时空信息可视化问题。而可视化的本质是要解决用户实际的业务问题,首先要解决城市管理者和数字孪生城市系统应用能“看得懂”的问题。三维数字孪生场景更容易让观者有代入感,能提升事件处理效率,缩短问题反应时间。对于城市管理者而言,实现城市基础设施可视化管理、城管部件可视化定位、城市用地信息可视化监测、城市应急指挥可视化决策等方面,能更好地满足管理与决策上的高层次应用。对于公众而言,全域可视化的三维实景孪生城市是客观世界的真实写照,不需要公众具有专业知识来判读理解,能根据实时场景进行问题查询和处理。
作为实景孪生的重要组成部分三维视频融合技术越来越多的在多个场景中,视频融合技术一般可以分为三个层次,视频融合即预处理、信息融合与应用层。视频融合预处理技术主要用来对视频图像进行几何校正、噪声消除、色彩;亮度调整及配准等等。视频图像配准是指找到视频图像与三维虚拟场景的最大相关,以消除图像在空间、相位和分辨率等方向的信息差异,达到融合更真实,信息更准确的目的。信息融合层即视频图像的融合。视频融合由智能度由低向高可以分为像素级、特征级、决策级融合等。像素级融合指基于图像像素进行拼接融合,是两个或两个以上的视频融合成为一个整体。特征级融合以图形的明显特征,如线条、建筑等特征为基础进行图像的拼接与融合。决策级融合使用贝叶斯法、D-S证据法等数学算法进行概率决策,依此进行视频或图像融合,更适应于主观要求。
早期的视频融合技术只能做到将图片向地面或简单立面映射,现在的新技术则已经能够快速将视频实时地映射到复杂的三维模型上。根据实现MR的维度不同,可将相关方法分为4 类:视频标签地图、视频图像拼接、视频叠加到三维场景,视频融合到三维场景.需要说明的是:这些技术针对的是易于获取的普通摄像头视频,FreeD 等基于多视图几何的三维重建方法不在讨论中。.
1 视频标签地图
2 视频图像拼接
3 视频叠加到三维场景
4 视频融合到三维场景
1.1 视频标签地图
基于视频监测控制对于多地点视频有效组织的需求,采用视频标签与地图的索引集成,实现在地图上放置和观看视频。美国FX Palo Alto 实验室、美国三菱电机研究所、韩国电 子通信研究院和法国原子能署CEALIST 等机构在该方面开展了工作。美国FX Palo Alto 实验室提出了用于室内的多相机实时监测控制系统,动态物体跟踪系统(DOTS), 该系统通过对平面设计图的特征分割,获得系统中视频与位置信息的关联,直接向用户提供一种视频分析结果的展示手段。美国三菱电机研究所MERL 的Ivanov 等也实现了用于室内居住环境可视化的类似系统, 通过加入运动传感数据等信息,为建筑系统的设计人员和管理人员提供整栋楼的上下文信息。视频标签索引的融合方法除了用于监测控制系统,还广泛应用于地理信息系统(GIS),它们 通过建立提取的视频内容与数据库中GIS 数据的对应关系,进行视频与GIS 的融合。韩国电子通信研究院的Tae-Hyun Hwang 等基于这个思想,将视频和虚拟场景中的meta 元素提出, 建立了基于meta 元素的视频与GIS系统的关联,通过简单的点击地图查询即可在手机上直接访问视频。此外,法国原子能署CEA LIST 的Gay-Bellile 等通过增强现实AR 和相机追踪的方式建立了实时视频与2DGIS 的关联。
1.2 视频图像拼接
视频图像拼接是指将空间上可配准、相互之间具有足够重叠区域的图像序列经过特征对齐、空间变换、重采样和拼接合成之后形成宽视角甚至全景图像的 方法。经过数十年的发展,图像拼接算法目前已经比较成熟,全景相机出现了低成本、消费级的特点,利用鱼眼相机来降低对相机数量的要求, 达到小型化成为新的“ 爆点”。图像拼接主要针对的是窄基线相机图像序列,宽基线相机不具备统一的单应性,特别是遮挡大大影响重叠区域的匹配, 其图像拼接是目前研究的难点。
1.3 视频叠加到三维场景
视频叠加到三维场景的方法以2D 和3D 特征注册为基础进行虚实融合,允许用户在相机视点的转移路径上观看叠加的结果,其效果优于视频标签地图方法。 塞尔维亚利兹大学CG&GIS 实验室中Milosavljevi^c 等提出基于GIS 增强的视频监测控制系统,将视频窗口叠加到3D 模型视图窗口的上方显示,在3D GIS 环境中建立视频与空间 信息的位置关联[7-8]。美国微软公司的Snavely 等于2006 年提出了照片旅游系统[9],该系统利用对互联网上照片集的匹配,重构一个稀疏的三维点云场景,通过图像变换的渲染方法进行照片浏览。荷兰代尔夫特理工大 学的Haan 等人受到Snavely 等共平面视点转移方法的启发,于2009 年面向监测控制系统提出了第一人称式的场景导航方法[10],通过交互地在场景中放置画布的方法完成视频的注册, 进而通过动态视频嵌入实现导航,缓解了视点移动时视频间重叠区域的视觉差异现象。
1.4 视频融合到三维场景
视频与三维场景的融合方法,实质是将相机捕捉的视频图像,以纹理的方式实时注册到虚拟环境中,达到增强虚拟环境的效果,能够允许用户从非相机虚拟视点观察融合结果。 这种方法比前几种融合方法在视点可选范围上进一步扩大,实际上是从另一个角度解决了宽基线相机以及无重叠视域相机的图像拼接问题。 但这类技术仍会存在一些难以克服的问题。在IEEE VR 03 上,南加州大学的Ulrich Neumann 等人[11] 系统阐述了增强虚拟环境的概念,实现了随着图像数据变化的动态三维模型效果,解决 了非相机视点下贴图扭曲现象[12]。在ACM MM 10 上,麻省理工学院的DeCamp 等人[13] 设计了一套用于智能家庭的沉浸式系统HouseFly,通过鱼眼相机的三维融合,让用户可以漫游于掀顶式楼宇。在ISMAR 09 上,佐 治亚理工学院Kihwan Kim 等[14] 提出基于动态信息增强Google Earth 等航拍地球地图的方法,提出对视频进行分类处理和增强显示的方法。2012年国立台湾大学的Chen 等人[15] 建立 了GIS 辅助的可视化框架,融入了多分辨率监测控制策略,以固定视角的相机提供低分辨图像,球基相机根据用户交互提供兴趣区的高分辨图像。
北京黎阳之光作为国内实景数字孪生的领军企业,早就在2015年的七十年反法西斯阅兵,2017年联合国第是第十三次缔约国治沙会议,世界能源大会,2018年上海合作会议青岛峰会等重大安全保卫项目中得到广泛应用,并得到相关部门的嘉奖和好评。
北京黎阳之光提供的实景视频的融合应用方案,不但能全景视频融合拼接,最重要的是能在实景孪生场景中实现多路数的动态视频承载和显示,实时赋予了视频与物联网数据空间地理信息,时间信息,帮助用户建立沉浸式实景三维地理空间全景视觉能力,还原多层次物理空间真实面貌,通过黎阳之光公司研发的数据融合探针系统打通了人,车,物,事多维度数据融合,真正实现了一张图指挥,一张图调度,一网统天下,一秒到现场。
