跨越地理空间界限:Amazon Redshift、CARTO 与 H3
文章重点
在这篇文章中,我们将探讨如何利用 Amazon Redshift 的 H3 空间索引功能,快速在大规模下查询地理空间数据。地理数据的复杂性和庞大体量不断增长,传统工具面临挑战,因此许多组织开始采用 H3 等新颖的空间数据处理方式;同时,Amazon Redshift 现已支持 H3 空间分析功能,开启了新的可能性。
本篇文章由 Javier de la TorreCARTO共同撰写。
我们将讨论如何使用 Amazon Redshift 的 H3 空间索引功能,这是一种六边形的层级地理空间索引系统,可以有效地代表空间数据并实现快速查询。随著科技的进步,地理数据的重要性日益突出,数量与复杂性以惊人的速度增长。从支持 GPS 的智能手机到遥感卫星,地理信息的来源不断增加,成为了一个庞大的位置数据金矿。
然而,可视化和分析大规模地理空间数据存在著挑战,因为资料体量巨大且复杂,使得传统的可视化工具往往无法应对。此外,为了在保持即时互动的同时平衡细节与背景,还可能面临扩展性和渲染复杂度的问题。
因此,许多组织越来越倾向于运用新颖方法处理地理数据,比如使用 H3 空间索引。

什么是空间索引?
空间索引是一种具有多种解析度的全球网格系统。那么,它们有何特别之处呢?传统上,空间数据通常通过地理或几何形式表示,每个特征的坐标需要一长串信息来描述;而空间索引则借由短 ID 字串来进行地理参考。因此,它们的存储占用更小且处理速度更加迅速!这也是为何许多组织开始利用这些索引来聚合数据,优化储存和分析的原因。
以下表格展示了一些使用空间索引可能的效益:
优势传统几何空间索引存储空间大量存储用于描述坐标使用短 ID 字串表示位置处理速度处理速度较慢处理速度快复杂度随数据量增大优化的数据组织若欲了解更多其优势,请参考 空间索引入门。
H3 的优势
H3 是一种标志性的空间索引,它的六边形结构比传统的方形网格更能准确地描绘复杂的地理特征,如河流和公路,并能精确表现非垂直的形状。此外,它优化了空间变迁的捕捉,且其中心点与相临中心点之间的距离一致,有效避免了异常值。因此,H3 在所有方向上都能保证强健的数据表示。想了解有关六边形在位置智能中应用的更多资讯,请参阅 六边形位置智能。
H3 现已在 Amazon Redshift 中可用
考量到 H3 在空间分析中的巨大优势,我们非常高兴地宣布 H3 现已在 Amazon Redshift 中可用。通过 Amazon Redshift 的强大基础架构,H3 解锁了可视化、分析以及从地理数据中获取洞察的新领域。
Amazon Redshift 对 H3 的支持提供了一种简易方法,可以将空间坐标索引到六边形网格,解析度达到每平方米。索引数据可以快速在不同数据集之间联结并在不同精度层次上进行汇总。H3 支持根据六边形网格进行多种空间算法和优化,例如最近邻、最短路径、梯度平滑等。H3 索引指的是可以是六边形或五边形的单元。该空间层级划分结构自上而下进行,并设有不同解析度。H3 支持从 0 到 15 的 16 个解析度,其中 0 为最粗,15 为最精细。H3 编码及相关 H3 空间功能现在在 Amazon Redshift 空间分析中均可使用。
H3 索引相关的三个新空间函数 H3FromLongLat、H3FromPoint 和 H3PolyFill 现已在所有商业 AWS 区域中可用。若想了解更多,或开始使用 Amazon Redshift 空间分析,请参考 查询空间数据的文档、空间函数 及 空间教学。
Amazon Redshift 中 H3 函数的示例:
要创建或访问六边形瓦片的索引值,可以使用 Amazon Redshift 提供的三个 H3 索引函数之一,以适合要索引的特定空间几何对象为基础,例如多边形由一系列的 Cartesian XY 点形成的封闭二维物体、点单一的 Cartesian XY 值或经纬度值。例如,若您已有一个空间多边形,可以使用 H3PolyFill 函数来获得覆盖该多边形顶点的六边形瓦片的索引值。假设您有一个多边形,其 Cartesian (X Y) 坐标如下:
(0 0 0 1 1 1 1 0 0 0),这实际上是 1 x 1 单位的正方形。然后,您将调用 H3PolyFill() 函数,将 Cartesian 坐标的文本值转换为 GEOMETRY 数据类型,并使用 POLYGON() 函数将这些坐标转换为 GEOMETRY 数据类型的多边形对象。您的调用将如下所示:
sqlSELECT H3Polyfill(STGeomFromText(POLYGON((0 0 0 1 1 1 1 0 0 0))) 4)
此函数的返回值为覆盖该 1 x 1 正方形的六边形瓦片的实际索引值。当然,您可以通过封闭二维多边形的顶点来定义任意形状的多边形。前一个示例中返回的 H3 瓦片索引值将作为 Amazon Redshift 的 SUPER 数据类型数组:
plaintexth3polyfill
[596538848238895103596538805289222143596538856828829695596538813879156735596537920525959167596538685030137855596538693620072447596538839648960511]
在使用解析度 4 时,共产生了八个六边形瓦片。
同样,以下 SQL 查询会返回解析度 10 下,经度为 0,纬度为 0 时的 H3 单元 ID:
sqlSELECT H3FromLongLat(0 0 10)
返回值为:
plaintexth3fromlonglat
623560421467684863
至于这个 SQL,则会返回解析度 10 下,00 点的 H3 单元 ID:
sqlSELECT H3FromPoint(STGeomFromText(POINT(0 0)) 10)
返回值为:
plaintexth3frompoint
623560421467684863
H3 和 CARTO 让数据可视化和分析更简单
为了展示 H3 的实际应用,我们来看看 CARTO。作为 AWS 伙伴,CARTO 提供了一个软体解决方案,整合独特的空间可视化、分析和应用开发能力,直接嵌入 AWS 数据仓储环境。CARTO 的一项主要优势是利用数据仓储进行查询优化,并通过使用用户定义函数 (UDF) 在 Amazon Redshift 中执行分析任务。
Amazon Redshift 配备多种预设的空间函数,而 CARTO 则进一步为其 Amazon Redshift 的分析工具箱 提供额外的空间函数,进一步扩展了分析的可能性。现在让我们深入探讨一个使用范例,看看这将如何解决一个具体的空间分析问题。
揭示 H3 空间索引在物流中的应用
物流行业特别是在最后一公里配送中,利用 H3 空间索引进行操作分析具有显著的优势。此框架已革新了地理空间分析,尤其在高效管理庞大数据集方面。
H3 将地球表面分为不同大小的六边形,精确地表示不同的地理区域,并支持多层次的层级。此精确度使得在不同尺度的分析中能够提供详尽的地点表示,为分析与优化提供灵活性从微观到宏观,涵盖社区到城市,能够高效管理大数据集。
基于 H3 的分析使得能够处理和了解配送数据模式,如高峰时段、热门目的地和高需求区域。这些洞察帮助预测未来需求,并促进与操作相关的决策。H3 也可以帮助创建基于位置的分析特征,用于预测机器学习 (ML) 模型,像是风险缓解模型等。其他使用案例可能包括调整库存、策略性安置永久或临时配送中心,甚至优化定价策略以提高效率和适应性。
一元免费机场H3 的一致可扩展性和尺寸一致性使其成为组织数据的理想结构,并有效取代日常操作中的传统邮政编码。
总的来看,从 H3 基础分析中获得的洞察使企业能够做出明智的决策,迅速适应市场变化,并通过高效配送提升客户满意度。
这一功能受到 Amazon Redshift 和 CARTO 客户的热切期待。Aramex 的数据科学团队表示:利用 H3 的先进空间能力,并在 Amazon Redshift 坚固的框架中进行分析,让我们对可以解锁的新洞察及效率感到兴奋。这一合作实际上与我们对更智能、数据驱动的决策的愿景不谋而合。
讨论您的使用案例
您可以通过 今天向 CARTO 申请演示 亲身体验地理智能的未来。了解 H3 的六边形空间索引如何与 Amazon Redshift 无缝集成,帮助您的组织高效处理大规模地理数据。
关于 Amazon Redshift
数以千计的客户依靠 Amazon Redshift 分析从 TB 到 PB 区间的数据,并执行复杂的分析查询。
通过 Amazon Redshift,您可以迅速获得实时洞察和预测分析,涵盖您的操作数据库、数据湖、数据仓库和第三方数据集。根据性价比,Amazon Redshift 提供的性能是其他云数据仓库的三倍,帮助您保持成本可预测。
Amazon Redshift 提供了 Amazon Redshift 空间分析、Amazon Redshift 流式分析、Amazon Redshift ML 和 Amazon Redshift Serverless 的功能,让应用程序构建变得更简单、快捷,并为独立软体供应商 (ISV) 嵌入丰富的数据分析能力提供便利。
通过 Amazon Redshift Serverless,ISV 可以快速运行和扩展分析,无需设置和管理数据仓库基础设施。开发者、数据分析师、商业专业人士和数据科学家可快速从数据中获取洞察,只需在数据仓库中加载和查询数据即可。
如需请求 Amazon Redshift 的演示,请访问 Amazon Redshift 免费试用 或开始您的 Amazon Redshift 入门指南。
关于 CARTO
从智能手机到连接汽车,位置数据正在改变我们的生活和商业运作方式。一切皆在某个位置发生,但可视化数据以了解事情发生的地点并不等同于理解它们为何会发生在那里。CARTO 是全球领先的云端位置智能平台,使组织能够利用空间数据和分析来提高配送路径的效率、改善行为行销、策略性地开设门店等。
数据科学家、开发者和分析师使用 CARTO 来优化
宣布在 AWS 欧洲主权云中提供的初始服务,依托于 AWS 的全部实力 安全博客
AWS欧洲主权云首批服务发布重点提要AWS正在投资78亿欧元开发AWS欧洲主权云,计划于2025年底推出。AWS欧洲主权云将为公共部门和高度监管行业的客户提供更多选择,以满足其独特的数字主权需求。初始...
构建安全优先的思维模式:AWS reInvent 2023 的三个关键主题 安全博客
AWS欧洲主权云首批服务发布重点提要AWS正在投资78亿欧元开发AWS欧洲主权云,计划于2025年底推出。AWS欧洲主权云将为公共部门和高度监管行业的客户提供更多选择,以满足其独特的数字主权需求。初始...