大数据与可视化

本文来源：京纪中达技术部

原文标题：大数据与可视化

      Intetix Foundation（英明泰思基金会）由从事数据科学、非营利组织和公共政策研究的中国学者发起成立，致力于通过数据科学改善人类社会和自然环境。通过联络、动员中美最顶尖的数据科学家和社会科学家，以及分布在全球的志愿者，我们创造性地践行着我们的使命：为美好生活洞见数据价值。

      摘要：在简化数据量和降低大数据应用的复杂性中，大数据分析发挥着关键的作用。可视化是其中一个重要的途径，它能够帮助大数据获得完整的数据视图并挖掘数据的价值。大数据分析和可视化应该无缝连接，这样才能在大数据应用中发挥最大的功效。这篇文章将介绍一些常规的数据可视化方法以及在大数据应用领域突破常规的可视化手段，也会讨论大数据可视化带来的挑战，同时介绍大数据可视化领域新的方法、应用程序以及其技术的进步。

      一、引言

      数据可视化是将数据以不同形式展现在不同系统中，其中包括属性和变量的单位信息。基于可视化发现数据的方法允许用户使用不同的数据源，来创建自定义分析。先进的分析集成了许多方法，为了支持交互式动画在台式电脑、笔记本电脑或平板电脑、智能手机等移动设备上创建图形桌面。

      3d大数据可视化，亿信华辰酷屏可视化平台

      重排或再映射：空间布局是最重要的视觉映射，重排信息的空间布局对产生不同的见解非常有效。

      新的数据库技术和前沿的网络可视化方法可能是减少成本的重要因素，也有助于完善科研的进程。随着网络时代的到来，数据时时都在更新，大大减小了可视化的时效性。这些“低端”可视化通常用于商业分析和政府数据的开放，但它们对科研没有太大的帮助。许多科学家使用的可视化工具都不允许连接这些网络工具。

      三、大数据可视化面临的挑战

      拓展性和动态分析是可视化的两个最主要的挑战。根据数据量的大小，显示了静态数据和动态数据的研究现状。对大型动态数据，原本A问题的答案和B问题的答案也许在同时应对AB两个问题时就不适用了。

      基于可视化的方法迎接了四个“V”的挑战，并将它们转化成以下的机遇。

      •体量（Volume）：使用数据量很大的数据集开发，并从大数据中获得意义。

      •多源（Variety）：开发过程中需要尽可能多的数据源。

      •高速（Velocity）：企业不用再分批处理数据，而是可以实时处理全部数据。

      •质量（Value）：不仅为用户创建有吸引力的信息图和热点图，还能通过大数据获取意见，创造商业价值。

      大数据可视化的多样性和异构性(结构化、半结构化和非结构化)是一个大问题。高速是大数据分析的要素。在大数据中，设计一个新的可视化工具并具有高效的索引并非易事。云计算和先进的图形用户界面更有助于发展大数据的扩展性。

      可视化系统必须与非结构化的数据形式（如图表、表格、文本、树状图还有其他的元数据等）相抗衡，而大数据通常是以非结构化形式出现的。由于宽带限制和能源需求，可视化应该更贴近数据，并有效地提取有意义的信息。可视化软件应以原位的方式运行。由于大数据的容量问题，大规模并行化成为可视化过程的一个挑战。而并行可视化算法的难点则是如何将一个问题分解为多个可同时运行的独立的任务。

      高效的数据可视化是大数据时代发展进程中关键的一部分。大数据的复杂性和高维度催生了几种不同的降维方法。然而，他们可能并不总是那么适用。高维可视化越有效，识别出潜在的模式、相关性或离群值的概率越高。

      大数据可视化还有以下几点问题：

      •视觉噪声：在数据集中，大多数对象之间具有很强的相关性。用户无法把他们分离作为独立的对象来显示。

      •信息丢失：减少可视数据集的方法是可行的，但是这会导致信息的丢失。

      •大型图像感知：数据可视化不仅受限于设备的长宽比和分辨率，也受限于现实世界的感受。

      •高速图像变换：用户虽然能观察数据，却不能对数据强度变化做出反应。

      •高性能要求：在静态可视化几乎没有这个要求，因为可视化速度较低，性能的要求也不高。

      可感知的交互的扩展性也是大数据可视化面临的挑战。可视化每个数据点都可能导致过度绘制而降低用户的辨识能力，通过抽样或过滤数据可以删去离群值。查询大规模数据库的数据可能导致高延迟，降低交互速率。

      在大数据的应用程序中，大规模数据和高维度数据会使进行数据可视化变得困难。当前大多数大数据可视化工具在扩展性、功能和响应时间上表现非常糟糕。可视化分析过程中，不确定性是有效的考虑不确定性的可视化过程巨大挑战。

      可视化和大数据面临许多的挑战，下面是一些可能的解决方法：

      1. 满足高速需要：一是改善硬件，可以尝试增加内存和提高并行处理的能力。二是许多机器会用到的，将数据存储好并使用网格计算方法。

      2. 了解数据：请合适的专业领域人士解读数据。

      3. 访问数据质量：通过数据治理或信息管理确保干净的数据十分必要。

      4. 显示有意义的结果：将数据聚集起来到一个更高层的视图，在这里小型数据组和数据可以被有效地可视化。

      5. 处理离群值：将数据中的离群值剔除或为离群值创建一个单独的图表。

      四、大数据可视化的一些进展

      在大数据时代，可视化操作究竟是如何进行的呢？首先可视化会为用户提供一个总的概览，再通过缩放和筛选，为人们提供其所需的更深入的细节信息。可视化的过程在帮助人们利用大数据获取较为完整的客户信息时起到了关键性作用。而错综的关系是众多大数据场景中的重要一环，社交网络或许就是最显著的例子，想要通过文本或表格的形式理解其中的大数据信息是非常困难的；相反，可视化却能够将这些网络的趋势和固有模式展现地更为清晰。在形象体现社交网络用户之间的关系时，通常使用的是基于云计算的可视化方法。通过相关性模型来描绘社交网络中用户节点的层次关系，这种方法能够直观地展示用户的社会关系。此外，它还能借助利用云技术的海杜普软件平台（Hadoop）将可视化过程并行化，从而加快社交网络的大数据收集。

      大数据可视化可以通过多种方法来实现，比如多角度展示数据、聚焦大量数据中的动态变化，以及筛选信息（包括动态问询筛选，星图展示，和紧密耦合）等等。以下一些可视化方法是按照不同的数据类型（大规模体数据、变化数据和动态数据）来进行分析和分类的：

      树状图式:基于分层数据的空间填充可视化方法。

      圆形填充式：树状图式的直接替代。它使用圆形作为原始形状，并能从更高级的分层结构中引入更多的圆形。

      旭日型：在树状图可视化基础上转换到极坐标系统。其中的可变参量由宽和高变成半径和弧长。

      平行坐标式：通过可视化分析，将不同帝乡的多重数据因素拓展开来。

      蒸汽图式：堆叠区域图的一种，数据围绕一条中轴线展开，并伴随流动及有机形态。

      循环网络图式：数据围绕一个圆形排列，并按照它们自身的相关性比率由曲线相互连接。通常用不同的线宽或色彩饱和度测量数据对象的相关性。

      传统的数据可视化工具不足以被用来处理大数据。以下列举了几种将交互式大数据可视化的方法。首先，利用一个由可扩展的直观数据摘要群组成的设计空间可以将多种类型的变化数据可视化，这些直观的数据摘要通过数据简化（如聚合或抽样）的方法得出。被应用于特定区间的交互查询方法(比如关联和更新技术)因此通过结合多元数据块和并行查询而被开发出来。而更先进的方法被运用在一个基于浏览器的视觉分析系统——imMens上，来处理数据以及对GPU（图像处理器）进行渲染。

      大数据分析工具可以轻而易举地处理ZB（十万亿亿字节）和PB（千万亿字节）数据，但它们往往不能将这些数据可视化。而亿信华辰的数据可视化平台---酷屏 ，在新一代动感3D引擎的助力下，让数据“跃然屏上”，诠释数据立体美；内置近百种组件特效，展示效果炫酷夺目；可任意制作酷炫灵动的图表和大屏，真正达到设计能走多远，数据可视化展现就能达到多远的境界。

      五、结论

      可视化既可以是静态的，也可以是动态的。交互式可视化通常引领着新的发现，并且比静态数据工具能够更好的进行工作。所以交互式可视化为大数据带来了无限前景。在可视化工具和网络（或者说是Web浏览器工具）之间互动的关联和更新技术助推了整个科学进程。基于Web的可视化使我们可以及时获取动态数据并实现实时可视化。

      一些传统的大数据可视化工具的延伸并不具备实际应用性。针对不同的大数据应用，我们应该开发出更多新的方法。本文介绍了一些最新的大数据可视化方法并对这些软件进行了SWOT分析，以帮助我们能够再此基础上创新。大数据分析和可视化，二者的整合也让大数据应用更好地为人们所用。此外能够有效帮助大数据可视化过程的沉浸式VR，也是我们处理高维度和抽象信息时强有力的新方法。

    京纪中达（北京）科技有限公司是一家致力于系统集成多媒体投影显示、智能会议办公教学系统、大屏幕视频拼墙系统、大数据可视化软件开发、人工智能领域技术普及和应用的股份制公司。集项目建设、产品研发生产、售后维保服务三位一体的高新技术企业。经过多年的发展，已拥有5000多家紧密合作的区域经销商和最终用户。客户群体涵盖政府、军队、交通、能源、广电、金融等产业方向的尖端企业。