Cómo dividir conjuntos de datos geográficos de gran volumen

GEOGRAMA - Cómo dividir conjuntos de datos geográficos de gran volumen

Si sueles trabajar con información geográfica y con herramientas orientadas a su aprovechamiento, sabrás lo importante que es que los archivos que la contienen tengan un peso adecuado para su manejo. En muchas ocasiones esto no es así, teniendo que recurrir a alternativas para su división en unidades más pequeñas. ¿Qué opciones tienes para ello y cuál es el proceso a seguir? Te lo describimos todo.

En varios de los proyectos en los que participamos, generamos conjuntos de datos de gran volumen, a la vez que los transformamos para cumplir los requisitos concretos de los clientes.

Una vez creados y modificados, en ocasiones es necesario segmentarlos de alguna forma en unidades más pequeñas. Por ejemplo, para facilitar su envío a través de internet o su carga en herramientas simples de escritorio.

En un caso concreto, se nos requirió generar ficheros en formato GeoPackage de 5GB o menos para que los usuarios pudieran utilizar los datos sin tener problema de manejabilidad, ya que en algunos casos, como por ejemplo para los edificios de un país como Francia, el fichero era demasiado grande para que los usuarios lo pudieran gestionar de forma práctica.

A continuación, os contamos como le dimos solución a este reto que se nos planteó.

Cómo hacer la división de grandes datos geográficos

Los métodos más habituales para dividir un gran conjunto de datos geográfico son básicamente dos:

  • División por cuadrícula regular, hojas, grid o malla.
  • División por polígonos irregulares.

La cuadrícula regular y sus limitaciones

En el caso de cuadrícula regular, hojas, grid, o malla, tiene los siguientes inconvenientes:

  • Es necesario un plano guía para que el usuario sepa qué cuadrícula debe descargarse. Puede ser adecuado cuando la cuadrícula es sobradamente conocida y reutilizada en una institución determinada y cuando los datos se han generado de esta forma, como por ejemplo las hojas cartográficas.
  • Los elementos lineales y poligonales han de recortarse por los límites de la cuadrícula, para facilitar el uso de los ficheros. Cuando se trabaja con varias cuadrículas, estos elementos deben unirse.

GEOGRAMA - Dividir conjuntos de datos geográficos de gran volumen

El potencial de los polígonos irregulares

La división por polígonos irregulares permite la elección de polígonos y zonificación más adecuada para el caso concreto. Por ejemplo, volviendo a los edificios de Francia, si los polígonos irregulares se corresponden con un nivel determinado de divisiones administrativas, se consigue una división coherente y cuyo conocimiento está suficientemente documentado y no requiere de planos guía o de información adicional de ningún usuario.

En el caso de Francia, el país está dividido en 22 regiones que contienen 100 departamentos. Aquí, los edificios se dividieron en 22 regiones. Si alguna de las regiones superara los 5GB de límite requeridos, se subdividiría en departamentos. Si algún país no completo no superase los 5GB, no sería necesario dividirlo.

De esta forma, los usuarios trabajan con unidades manejables y conocidas, de país, región o subregión, según el tamaño necesario.

GEOGRAMA - Proceso ETL para la división del conjunto de datos por límites administrativos

Proceso ETL para la división del conjunto de datos por límites administrativos

Procedimiento para la división de grandes datos geográficos

Teniendo como datos de entrada el nivel correspondiente de división política y las geometrías cargadas de la base de datos, lo primero que se hace es realizar un proceso de superposición de ambos datos, asignando a cada geometría los atributos de nombre, país, región y subregión en la que se sitúa.

En el caso de las geometrías que no se encuentran situadas dentro de ninguna división (debido habitualmente a aspectos de precisión), se calcula cuál es el polígono más cercano y se le asigna los dos atributos mencionados del mismo.

Una vez asignados estos atributos, es fácil filtrar el conjunto de datos global para ir exportando a formato GeoPackage asignándole el nombre de la división administrativa correspondiente.

Contando con los recursos necesarios, los archivos geográficos de gran formato dejarán de ser un quebradero de cabeza para ti y tu equipo. En Geograma contamos con las soluciones GIS clave para ello, así como con el know-how que cada escenario exige. ¿Analizamos el tuyo?

Geograma

Comments are closed.