大数据与气候变化、地球观测

什么是大数据

大数据可以代表一项技术或者一个针对多种挑战的解决方案。同样也可以理解为一种需要利用新方法和算法进行解决的挑战。

不同领域对于大数据的看法各有不同, 从事数据源、计算机科学和终端用户的人对大数据是什么, 或者可能成为什么有着迥异的理解。因此, 国家计量院的重要任务在于跨越这些见解, 帮助各领域的合作伙伴从大数据的潜能中获益。

今天我们能够获取并记录前所未有的信息量, 尤其是当互联网出现后, 信息能够被更容易地记录、采集和共享。“大数据”这个词反映出信息大爆炸能够带来的可能性, 代表着我们从如此大量的信息中能够学习到的内容, 以及如何驾驭这些信息, 来改变我们的世界。

“大数据”正在帮助科研领域、产业和社会作为一个整体获益。首先, 就科研领域而言, 欧洲原子核研究委员会中负责开展大型强子对撞机 (LHC) 实验的科学家们每天都会处理千万亿字节, 相当于超过20万个DVD的信息。随后这些数据通过网络分布至全世界, 为全球8000多位物理学家提供近乎实时更新的LHC数据, 以加速其研究进程。大数据能够促进产业的发展, 一份2012年的报告显示, 大数据在未来5年中将为英国创造58000个新岗位, 贡献2160亿英镑的经济效益, 即GDP的2.3%。驾驭大数据的同时也帮助我们加速发展新的医疗药物、完善执法并解决其他社会问题。

 

500亿台互联仪器到2020年将全部实现数据输出
 

购买一台能够储存全世界音乐的硬盘仅需600美元

在英国, 大数据作为未来八项重大技术之一已被列入政府重点发展领域。通过研究委员会和科研项目, 比如对英国阿兰图灵研究院投资4200万英镑经费的研究项目, 这一项目汇集了先进数学和计算机科学领域的顶尖人才, 显示出政府对大数据以及算法研究的投资正在持续增加。

 

至2017年大数据将在英国创造58000个就业机会

 

2016年全球商业数据分析市场达到310亿英镑

然而, 我们对于任何数据都需要确信其准确度。大数据通常由7个V打头的英文词汇来定义, 即容量 (Volume) 、速度 (Velocity) 、种类 (Variety) 、黏度 (Viscosity) 、可变性 (Variability) 、准确度 (Veracity) 、波动性 (Volatility) 。在这里, 准确度 (Veracity) 是关键特性, 如果我们希望能够基于大数据进行决策, 那么必须确保数据无偏差且真正可靠。因此, 拥有确保完全实现大数据潜能的标准至关重要。国家计量院的任务是与活跃在大数据领域的产业和学术界合作伙伴共同致力于定义这些新标准, 并提供能够帮助合作伙伴解决其所面临挑战的极度准确的测量科学。

摘自英国物理研究院 (NPL) 出版刊物《洞察力》 (Insights)

作者:Tim R.Dafforn, 英国商业创新与技能部首席科学顾问

大数据如何帮助城市实现未来前瞻性

今天, 超过一半的地球人口 (约35亿) 生活在城市里, 预测这一数据将在2030年增长60%, 到2050年增长75%。这一增长中的95%将发生在发展中国家, 通常是受巨大城市人口增长导致资源短缺以及气候变化影响双重威胁的国家。这其中包括过去10年中人口增幅达到50%的印度班加罗尔, 还有受到洪灾侵害而造成390亿美元经济损失的泰国曼谷。

我们生活在一个数据大爆炸的时代, 通过卫星、移动设备、传感器和社交媒体等资源为研究人员提供了空前的信息量。然而政策制定者们如今的疑问在于如何利用这些数据解决未来10年城市的迅速扩张和气候变化所带来的影响, 从而有效实现城市的前瞻性。

评论家们早已开始分析大数据可能带来的发展。2012年世界经济论坛出版了《大数据, 大影响:国际发展的新可能》。该报告锁定了大数据支持国际发展的4种可能方式, 即快速险情追踪与反应、提升对危机变化的了解、对服务需求的准确规划、预测供需变化的能力。

同样是2012年, 联合国启动了使用电子数据支持全球发展和人道活动的“全球脉搏” (Global Pulse) 项目, 该项目出版了《支持发展的大数据:挑战与机遇》。这一白皮书确定了与发展相关的不同类型数据:从电话等来源被动收集的交易数据、可用于推断的社交媒体信息、使用卫星或地面传感器等物理传感器收集的数据、大众来源 (crowd-sourced) 信息。

我们的目标是驾驭大数据, 并通过它使我们的城市变得更好, 尤其是通过完善城市社区的基础设施, 使我们在面对变化的环境和社会需求时具备更好的复原力和反应力。英国国际发展部以及伦敦大学学院等机构共同合作完成了报告《前瞻性城市》, 重点关注发展中国家包容性城市扩张的危机与机遇。从中我们确定了利用大数据的6个机遇:

1.量化危机来临时的城市脆弱度。这将能够对那些与洪水等自然灾害相关的地区进行评估, 并预测其应对灾害的应变能力。

2.确定基础设施是否欠缺或损坏。这将检验是否存在欠缺或失效的基础设施。

3.对城市排水系统进行规划和制图。可以锁定城市食物源等重要地点。

4.确定人们进入和穿越城市与乘坐交通工具类别有关的运动轨迹。

5.发展基础设施要求和损坏所需的气候相关临界点。

6.了解人们对于自然灾害的应对能力和他们对减灾措施的看法。

目前我们正致力于与专家合作进一步发展如何利用大数据来提升城市应对未来挑战的能力。比如, 最近我们与英国地理信息协会合作出版了《2020年前瞻报告》, 该报告确定了地理空间研究部门的重要任务是帮助基础设施部门理解、分析和管理其所获得的大量信息。具体而言, 地理空间领域的专业知识数据分析能够帮助解决用于更好决策和规划所需的数据质量及安全难题。

另一个例子是我们与移动电话网络公司EE合作制造能够从大数据中生成独特见解的, 具有可传输移动数据功能的产品和服务。这些产品和服务有可能改变英国的发展路径, 并通过将客户需求置于基础设施决策的中心来改善其基础设施。

大数据能够使我们更好地理解城市的新陈代谢, 能够帮助我们找到服务供给与精准基础设施投资之间的所有缺口, 能够帮助我们避免一些利用传统数据收集所造成的诸如统计抽样、成本和安全等问题。

尽管如此, 大数据并非万能灵药。正如“全球脉搏” (Global Pulse) 白皮书中所强调的, 大数据促进发展的两个主要成功因素在于:“一是来自政府的研究机构和经费支持的力度, 以及私营企业和学术团体与其合作的意愿, 包括共享数据、技术和分析工具。二是用于负责任地使用和共享发展大数据的新规范和知识的发展与实施, 能够得到新制度架构和新型合作关系的支持。”

我们能够获取的信息量如此之大, 有时到了令人恐惧的程度, 但是我们需要抓住它所带来的发展机遇。通过与私人和政府部门的知名专家合作, 并将大数据与较为传统的信息源结合, 我们在寻求未来城市的需求时才能更好地获取数据。尽管发展会伴随挑战, 然而我们共同应对挑战的方式将决定未来高度城市化生存环境的模式、舒适度与安全性。

摘自英国物理研究院 (NPL) 出版刊物《洞察力》 (Insights)

作者:Geoff Darch博士, 英国阿特金斯气候变化研究项目主管

驾驭尚未利用的卫星数据将带来社会与经济利益

我们讨论的地球观测 (EO) 中的大数据, 通常与指向地球的卫星所捕捉到的大量影像有关, 经常使用诸如Google Earth等工具的人对这些影像一定不陌生。然而, 光谱中仍有大量其他的隐藏数据未得到利用, 比如红外、微波或者紫外的数据。如何将这些数据影像转变为有用的信息日益引起人们的兴趣, 这些信息能够帮助实现基于证据的决策, 降低商业运行成本, 提高生产力, 提升人们的生活质量。

此类信息能够用于显示麦田的成熟, 告知农场主收割的时间;或者显示某地区洪水的蔓延程度, 以协助救护车迅速反应;又或者显示公共道路或铁路旁有山体滑坡的危险。有潜力的信息产品似乎无穷无尽, 且新产品还在不断涌现。欧洲航天总署和欧盟投资的“哥白尼计划”极大地点燃了开发这些产品的兴趣, 该计划将利用卫星群为可预见的未来提供一个新的数据源。然而, 在按需或实时传递信息方面仍存在诸多挑战, 我们正在努力提高获取数据的效率, 并建立一个能够实现有价值见解的生态系统以支持基于证据的决策。地球观测数据通常结合了其他形式的现场数据, 具备所有大数据的特点:容量大、多样性和速度快。同时也具备准确性, 即任何类型的测量都有与生俱来的数据不确定度。

地球观测数据的这一不确定度的存在, 推动英国物理研究院 (NPL) 与英国萨里大学合作建立了“全球感应与卫星中心” (GLOSS) , 致力于展示在地球观测信息服务于农业、未来城市和海洋监测等重点领域中的数据质量保证。旨在将数据、传感器、计量与卫星技术中的卓越科技进行融合, 并展示质量驱动的地球观测解决方案能够实现的经济和社会效益。这一方法能够在诸多领域产生重大经济效益与社会利益:

1.未来城市所需的交通基础设施

我们需要高效的资产管理来满足对安全和可靠基础设施性能的日益增长的迫切需求。作为新一代资产监控服务, 交通基础设施管理 (TIM) 能够通过跨国机构进行部署。这一概念是基于整合空间资产 (卫星) 的定位和制图能力与地面区域点传感器网络, 从而实现高效的数据和质量信息。

由英国物理研究院 (NPL) 带领的研究团队, 评估了一个覆盖M25高速路界内大伦敦区域的已运行25年的服务项目, 包括道路、邻近陆地、土木工程和建筑。这将实现对陆地和建筑物表面移动的一个长期持续的二维和三维监控, 精确度甚至达到厘米级的信息水平。

目前正在与欧洲太空总署商讨对整个伦敦区域的大面积服务展示。该项目的预期成果已得到了自来水公司、铁路运营商、历史建筑物和保险公司的青睐。

2.利用传感器和卫星数据创新获得新的农作物信息

地球观测数据能够协助农民及其车辆, 目前正频繁地用于精准作物喷洒、大型农机自动化和作物产量估算。NPL的GLOSS中心重点关注如何为农民提供新的高质量信息, 以继续支持耕种集约化, 应对虫害抗药性的降低、低利润率和某些化学物的禁用等问题。NPL研发的用于测量单株作物的水合作用和糖分含量的新型现场测量传感器, 可用于验证从卫星数据中获取的新植物指标, 提供检查农作物状态的全新视角, 并帮助智能灌溉和机器收割等自动化机械进行决策。同时GLOSS中心已开始研发微型多光谱和超光谱传感器, 应用于农用无人驾驶车辆 (VAVs) 或低成本车载卫星, 为了解作物和土壤情况提供数据。

3.监测海洋环境

2014年NPL与英国萨里大学共同参与了在英吉利海峡进行合成孔径雷达 (SAR) 技术的展示。在展示中运用了创新结合多光谱成像、数据融合与经过校准的现场测量, 帮助更加精确地确定与鉴别石油泄漏, 减少对未来石油泄漏危害与清理行动的监测与应急成本。将来, 新的行动任务如卫星哨兵1号和新星SAR (由萨里卫星技术有限公司建造的英国卫星) 将为海洋部门提供长期行动服务。由于该项SAR技术具有日夜运转和穿越云层的独特能力, 故逐渐应用于船只的探测与追踪和非法砍伐。

NPL-GLOSS中心将继续支持高质量驱动的信息服务的设计和展示, 帮助学术界、机构组织以及增值初创企业促进合作、创新和公共与私人投资。

摘自英国物理研究院 (NPL) 出版刊物《洞察力》 (Insights)

作者:Robert Elliott, NPL空间业务发展主管

大数据、气候模型与测量新时代

如今, 数以百计的卫星正在不断提供更高分辨力的地球数据, 来自太空的数据流现在能够真正被定义为“大数据”。经过50多年的发展, 地球观测实现了大约几千兆字节数据传输。在21世纪的今天, 正在经历数据洪流的我们, 不久将需要百亿亿字节量级的数据处理和储存能力。

如此量级的数据有利于实现更准确的长期气候预测, 帮助政府、产业和公众获取关于气候变化风险的信息。

然而, 对所有这些数据进行储存、处理以及质量保证是一个巨大的挑战。不久前升空的欧洲新型卫星哨兵2a号, 未来一年中将为公众免费传输超过600千兆字节的地球气候数据。再加上其他上百个正在运转的卫星, 数据问题的严峻性不言而喻。

随着卫星数据的数量和用途增加, 对其准确度的需求也随之增加。英国物理研究院 (NPL) 碳测量中心的核心任务是降低供应链上所有气候数据的不确定度;通过对卫星进行发射前校准, 保证传输至终端用户的信息质量。

太空对于科学研究而言是一个严酷的环境。它近乎真空, 没有臭氧层阻隔宇宙射线的辐射。因此, 即便是最完美的地面校准卫星装置的准确度也会发生漂移, 导致数据不确定度过高, 无法准确地探测长期气候变化。

为了克服这一难题, NPL碳测量中心与地球观测卫星委员会合作, 建立了一个特征化良好的地面参考地点网络, 能够跟其上方的卫星测量结果进行比对。

尽管这些发射后的修正可以起到帮助作用, 但它们总是需要对其修正中的大气和地面因素影响进行假设, 这也降低了其有效性。为了解决这一问题, 碳测量中心联合若干合作伙伴, 设计并主导一个卫星研究项目, 名为TRUTHS (可溯源辐射学支持的陆地与日光研究) 。该项目启动后, 能在太空中进行自动模拟实验室校准方法, 预计达到比目前状况更精准10倍的准确度, 同时也能提高其他卫星的准确度。

TRUTHS的成功在于它能够通过观察常规对象并比较两种测量结果, 从而了解相关准确度的偏差量, 将校准传递给其他卫星。这为升级整个光学地球观测系统的准确度提供了一个绝佳的机会, 仅用一个卫星就创造了一个“太空标准实验室”。这有利于将大量数据流捆绑并形成绝对校准, 使大数据的应用更简单和稳健。

随着“大数据”时代的发展, 对百亿亿字节量级的数据储存和处理需求日益成为现实, 对准确测量和精确校准过的数据需求也将随之增长。我们的总体目标是实现更准确的地球观测和气候数据, 使生成的数据能够应用于全球任何地方与任何人, 达到在无可比拟的细节中帮助我们进一步了解我们生存的环境。

摘自英国物理研究院 (NPL) 出版刊物《洞察力》 (Insights)