1. Allgemeines

Die Daten (SRTM3) liegen in 1°x1° großen Kacheln mit einer Auflösung von 90m (am Äquator) vor und erreichen eine Abdeckung von 56 °S – 60°N. Im Bereich der USA liegt die Auflösung bei ca. 30m.

Der Namen der Kacheln (z.B.:N01E120.hgt) setzt sich dabei wie folgt zusammen:

• N bzw. S Ausdehnung, bei der die Kachel beginnt. N01 bedeutet, dass die Kachel eine Ausdehnung von 01°-02 °N hat.
• W bzw. O Ausdehnung, bei der die Kachel beginnt. Ausdehnung analog wie beim vorherigen Punkt.
• „*.hgt“: Dies ist kein eigenes Format, sondern stellt lediglich die Abkürzung für „height“ dar. Die Daten liegen als rohe 16-bit signed integers vor.

2. Notwendige Software

• ArcGIS (10.x): https://www.arcgis.com
• python: > Version 2.7 http://www.python.org/download/
• GNU WGET: http://www.gnu.org/software/wget/
• 7ZIP (command line): http://www.7-zip.org/download.html

3. SRTM-Datenquellen

Es gibt verschiedene Seiten im Netz die SRTM-Daten zum Download bereitstellen:

• Eine graphische Übersicht: http://srtm.csi.cgiar.org/SELECTION/inputCoord.asp. Ausreichend, wenn du nur eine überschaubare Anzahl an Kacheln herunterladen willst.
• Server des U.S. Geological Survey: http://dds.cr.usgs.gov/srtm/version2_1/SRTM3/. Diese Quelle sollte bevorzugt werden, wenn du größere Datenmengen benötigst.

4. Relevante SRTM-Kacheln identifizieren

In meinem Projekt benötigte ich alle Kacheln der weltweiten Küstengebiete. Eine Möglichkeit wäre es, alle vorhandenen Kacheln herunterzuladen. Dies würde aber die anschließende Prozessierungszeit unnötig erhöhen. Daher sollten im GIS zuerst die Gebiete identifiziert werden, für welche die SRTM-Daten benötigt werden. Mit Hilfe von ArcGIS kann dafür wie folgt vorgegangen werden:

• Öffne ein neues „*.mxd“-Dokument und stelle die Projektion des Datenrahmen auf „WGS 1984 Web Mercator (Auxiliary-Sphere)“.
• Mit Hilfe des Tools „Netz erstellen“ (Create Fishnet) muss anschließend ein quadratisches Netz über die gesamte Welt gespannt werden. Die Größe des Netzes muss dabei 1° betragen.
• Füge nun ein neues Feld vom Typ „text“ zur Attributtabelle hinzu und nenne es „srtm_name“.
• Im nächsten Schritt müssen alle Kacheln identifiziert werden, für die du die SRTM-Daten herunterladen willst (z.B. „Select by Location“ mit Hilfe eines entsprechenden Referenz-Shapefiles). In meinem Fall war es ein Shapefile der globalen Küstenlinie.
• Nun zum wichtigsten Schritt: Für alle identifizierten Kacheln des Netzes muss lediglich aus der ID des Netzes der SRTM-Kachelname generiert werden. Hierfür habe ich ein kleines python Skript geschrieben. Um es auszuführen öffne die Attributtabelle des Netz-Shapefiles und anschließend den Field-Calculator für die Spalte „srtm_name“. Wechsel den Parser auf „python“ und setze bei „Codeblock anzeigen“ einen Haken. Kopiere nun folgenden Code in das Feld „Pre-Logic Script Code“:

def idToLatLon(Id):

  lat = 90 - Id/ 360

  filename_sn  = ""

  if lat >0:
    filename_sn = "S"
    filename_sn += str(lat).rjust(2, "0")
  else:
    filename_sn  = "N"
    filename_sn += str((lat) *-1).rjust(2, "0")

  lon =  180 - (Id % 360)

  filename_we = ""

  if lon >0:
    filename_we = "W"
    filename_we +=str(lon).rjust(3, "0")
  else:
    filename_we = "E"
    filename_we += str((lon)*(-1)).rjust(3, "0")
  lat_lon = filename_sn +filename_we
  return lat_lon

Im unteren Bereich kopiere idToLatLon( !Id! ) in das Feld „srtm_name“ um die obige Funktion auszuführen. Alternativ kannst du auch diesen Field-Calculator Ausdruck laden. Jetzt sollte für jede Zeile in der Attributtabelle in der Spalte „srtm_name“ ein Name für die SRTM-Kachel in dieser Form (N01E120) enthalten sein.

5. Download der SRTM-Kacheln

Nachdem die Namen generiert wurden, müssen die Daten heruntergeladen werden. In meinem Fall waren dies mehr als 4000 verschiedene 1° große Kacheln, unmöglich also dies manuell durchzuführen.

• Exportiere nun alle Namen aus dem Netz in eine dBase-Tabelle und öffne diese in OpenOffice Calc (oder Excel). Anschließend müssen alle Namen zu einer URL verkettet werden (mehr dazu hier), die aus folgenden drei Parametern aufgebaut sein muss:
  • http://dds.cr.usgs.gov/srtm/version2_1/SRTM3/Eurasia/
  • Name der Kachel
  • .hgt.zip

Folgende URL zeigt dies beispielhaft: http://dds.cr.usgs.gov/srtm/version2_1/SRTM3/Eurasia/N01E120.hgt.zip

• Kopiere die URLS für jedes Subverzeichnis (jeder Kontinent) in eine jeweils neue Textdatei, worin in jeder Zeile nur eine URL stehen darf. Benenne diese nun z.B. in „srtm_list.txt“ um.
• Mit Hilfe der Textdatei und wget können jetzt alle Kacheln mit folgenden Befehl über die Kommandozeile heruntergeladen werden:

"DEIN_PFAD_ZU_WGET\wget.exe" -i srtm_list.txt -P "DEIN_DOWNLOAD_ORDNER"

Dies muss für jeden Unter-Ordner der Webseite durchgeführt (Africa, Australia, Eurasia, Islands, North_America und South_America), wobei stets die URL in der Text-Datei angepasst werden muss.

6. Daten entpacken:

Nach ihrem Download müssen die SRTM-Kacheln entpackt werden. Hierfür eignet sich die Kommandozeilen-Version von 7zip mit folgendem Befehl:

"DEIN_PFAD_ZU_7ZIP\7z.exe" -e DEIN_DOWNLOAD_ORDNER -o DEIN_SPEICHER_ORDNER

7. Weitere Bearbeitung & Analyse der Daten:

Am besten lassen sich die Daten nun mit dem „Con“-Tool des Spatial Analyst-Toolsets und arcpy prozessieren. Die weitere Bearbeitung der Daten mit Hilfe von python beschreibe ich demnächst in einem weiteren Blogpost.

Viel Spaß!

Visualisierung der OpenStreetMap Daten-Historie für Heidelberg

Zuerst musst du eine neue Spalte vom Typ “Short Integer” mit einem beliebigen Namen in der Attributtabelle erstellen. Anschließend im Felberechner (Field Calculator) den Parser auf python umstellen und ein Haken bei “Codeblock anzeigen” setzen.

Im Bereich “Pre-Logic Script Code:” muss folgender Codeblock eingegeben werden. Dabei musst du beachten die Einrückungen genau so auch zu übernehmen:

uniqueList = []

def istDuplikat(inValue):

 if inValue in uniqueList:

 return 1

 else:

 uniqueList.append(inValue)

 return 0 

Im Unteren Block diese Zeile einfügen und zwischen die beiden “!” den Namen deiner Spalte mit den Duplikaten eingeben

istDuplikat( !DEINE SPALTE MIT DEN DUPLIKATEN! )

1. Problematik

Das Tool kann jedoch nicht beliebig große Datensätze verarbeiten. Ein Update für größere Netzwerke ist erst in unbestimmter Zeit geplant. Über einen kleinen Zwischenschritt kannst du die Größe deines Gebietes trotzdem erweitern. Mit der Hilfe von osmosis, dem Allzweck-Tool für die Bearbeitung von OSM-Daten, entfernst du einfach im Vorhinein überflüssige Daten aus dem *.osm-File.

Wichtig: Sei dir im Klaren, was du mit deinem Netzwerk rechnen willst und welche Straßentypen du dafür benötigst! Brauchst du ein Fahrradrouting, so können u.a. Autobahnen (highway=motorway), etc. gelöscht werden, wohingegen Waldwege (path) und Fahrradwege (cycleway) wiederum von Interesse sind. Analog gilt das Gleiche für ein Autorouting-Netzwerk: Dieses benötige keine Treppen (steps), Waldwege (path) oder Fußgängerzonen (pedestrian). Anzumerken bleibt, dass osm2nds beim Routing diese Straßen auch nicht beachten würde, da diese bei der Angabe des entsprechenden Parameter-Files „ausgeschlossen“ werden.

Mit diesen Punkten im Hinterkopf kann nun eine entsprechende Abfrage mit osmosis gestartet werden, mit der du ein *.osm-File nach bestimmten Daten filtern und neu schreiben kannst. Hier ein Beispielaufruf (die Pfade müssen noch angepasst werden):

2. Osmosis-Aufruf

DEIN_PFAD_ZU_OSMOSIS\osmosis --read-xml file=" DEIN_PFAD_ZUM_INPUTFILE\heidelberg.osm" --tf accept-ways highway=* --tf reject-ways highway=pedestrian,track,bus_guideway,raceway,path,footway,cycleway,bridleway,steps,proposed,construction --used-node --write-xml file=" DEIN_PFAD_ZUM_OUTPUTFILE\hd_reject.osm"

• –tf accept-ways: Nimm alle Objekte die den key „highway” besitzen.
• –tf reject-ways: Ergänzt „–tf accept-ways” und gibt an, welche Straßen NICHT ausgewählt werden sollen. In diesem Fall werden alle Straßen ausgeschlossen, die für ein Routing mit dem Auto nicht sinnvoll sind und damit auch im Datensatz nicht benötigt werden. Hilfreich für die Auswahl der Tags ist die Auflistung aller gebräuchlichen key-value-pairs, den Map Features, im OSM-Wiki.
• –used-node: Bedeutet, dass alle Nodes beibehalten werden sollen, die mit den ausgewählten Straßen in Verbindung stehen

3. Zahlen

Das Filtern der Tags mit osmosis dauerte 32943 Milisekunden

Die Größe des Input-OSM-Files betrug 184MB. Nach der Selektion der Daten mit osmosis hatte ich ein File von 40MB.

Analog dazu sollten also für die Erstellung eines Netzwerks Input-OSM-Files von der 4,5-fachen Größe der zuvor eigentlich maximalen Größe möglich sein. Dies wären in meinem Fall dann Files von ca. 830 MB, was im Gegensatz zu den 184MB doch ein beträchtlicher Zuwachs bedeutet.

4. Quellen

http://52north.org/communities/geoprocessing/osm2nds/index.html

http://geospatialview.de/routing-mit-osm2networkdataset-osm2nds-in-arcgis/

http://wiki.openstreetmap.org/wiki/DE:Map_Features

http://wiki.openstreetmap.org/wiki/Osmosis/Detailed_Usage_0.39#–tag-filter_.28–tf.29

Hier einige Screenshots der „staleness“ von ausgewählten Bereichen vom 15.07.2012 in und um Heidelberg (dunkelgrün: <6 Monate; hellgrün: 6-12 Monate; hell-violett: 12-24 Monate; violett: >24 Monate). Die Visualisierung wurde auf Basis dieses wirklich guten Tutorials von mvexel erstellt.

Hier eine Übersicht über Mannheim und Heidelberg, wo bereits deutliche Unterschiede zu erkennen sind:

Mannheim und Heidelberg

In Mannheim an sich, und hier vor allem im Innenstadtbereich, wird rezent viel bearbeitet. Anders sieht es hingegen im Bereich der kleineren Gemeinden zwischen Mannheim und Heidelberg aus, die deutlich weniger grüne Bereiche aufweisen.

Mannheim

Von den vielen violetten Bereichen in und um Heidelberg bin ich jedoch ein wenig überrascht. Man muss aber auch dazu sagen, dass ways die ein building-Tag beinhalten, aus der Analyse ausgeschlossen wurden. Interessant ist auch das unterschiedliche Alter der letzten Edits in den Waldgebieten nördlich (Heiligenberg) und südlich (kleiner Odenwald mit Königstuhl) des Neckars, die doch recht unterschiedlich ausfallen:

Heidelberg

Es können aber auch OpenLayers, und Google-maps verwendet werden. Fertige Beispiele gibt es unter http://openweathermap.org/example

Ziehe den gelb umrandeten Link per “Drag & Drop” in deine Lesezeichenleiste. Anschließend besuchst du maps.google.de und gibst deine gewünschte Route ein. Wurde diese erfolgreich berechnet musst du auf das Bookmarklet klicken um die Route im *.gpx Format anzuzeigen. Diese kopierst du anschließend in einen Texteditor und speicherst sie mit der Endung “.gpx” ab. Das war’s!

Achtung: Ich benötigte die Route für mein Garmin eTrex Vista HCx. Um keine Probleme beim Import mit MapSource und der anschließenden Anzeige auf dem GPS zu bekommen, musste ich die Datei unter UTF-8 abspeichern.

Die Daten werden als GeoJSON zum Download angeboten. Diese wiederum können bequem per “drag and drop”  in QuantumGIS geöffnet und dort beispielsweise als shapefile abgespeichert werden.

Noch ein nützlicher Hinweis bei der eigenen Verwendung: In meiner Karte nutze ich die google-maps API V3. Diese benötigt, im Gegensatz zu ihren Vorgängerversionen, keinen API-Schlüssel mehr. Nachlesen kannst du dies in der Dokumentation.

Die Daten unterliegen der OpenDatabaseLicence. Dies bedeutet, dass du die Daten teilen, verändern und zu deinem Zweck nutzen darfst.