ubuntuusers.de

Sorry, das Patchen hatte ich dann übersehen, aber da hakt es auch (bei mir).

Ich habe eine Kopie von geoinfo.py nach ~/bin/geoinfo_devel/a/ kopiert und ~/bin/geoinfo_devel/b/ existiert.

Wie patche ich, damit die Datei in b geschrieben wird? Bereits "git diff" bringt eine Fehlermeldung bzw. man git erleuchtet mich auch nicht.

Ok, dann gehe ich mal davon aus, dass du noch nie einen Patch im unified diff Format gesehen hast. Git brauchst du dafür nicht (das habe ich nur genutzt, um den Patch zu erzeugen), Patches kann man mit dem Tool patch anwenden - aber so tief musst du gar nicht einsteigen.

Effektiv musst du nur die Zeichenkette "shapely=True, " aus Zeile 409 der Datei entfernen - das dürfte mit einem Texteditor am schnellsten gehen - mit sed kann man das z.B. so erledigen, wenn man sich nicht die Mühe machen will die Datei zu öffnen und die richtige Stelle zu suchen:

sed -i 's/shapely=True, //' /pfad/zur/geoinfo.py 

Danke, das mit sed ist für mich klarer 😉

Ich habe jetzt auch ein Ergebnis, aber wie ich den Wrapper in mein Bash-Script einbinde ist mir noch nicht klar, bzw. wie ich die vielen Stellen in meinem Script (halb)automatisch ersetze.

In meinem Bash-Script gibt es zB so was.

MYGEOINFO="/usr/local/bin/geoinfo.py.sh"
GPSINFO_LOC=`python3 $MYGEOINFO -a "$GOOGLEAPI" -u "$GEONAMESUSER" -g "$GEOCODER" --timedelta "$TIMEDELTA" --override-elevation $ELE_TOL -l"$OSM_LANG"

Das Wrapper-Script:

#!/bin/bash
geoinfo_venv='/home/ab/geoinfo_python'
source "${geoinfo_venv}/bin/activate"
exec /usr/local/bin/geoinfo.py "$@"

Das "python3 " vor "$MYGEOINFO" muss halt noch raus - z.B. mit sed:

sed 's/python3 $MYGEOINFO/bash $MYGEOINFO/g' /pfad/zum/Skript | less 

Wenn das Ergebnis für dich ok aussieht, kannst du sed den zusätzlichen Schalter "-i" mitgeben und die Pipe zu less weglassen, um die Datei tatsächlich zu ändern.

Danke, hätte ich auch selber merken können, dass ich nicht mehr Python 3 verwende. So weit funktioniert alles.

Muss der Cache jetzt neu berechnet werden? Hatte schon einige Male die Situation, dass ein vorhandener Cache neu berechnet wurde.

Dann muss eigentlich zwischen den Läufen die Datei geändert worden sein oder der Hash wurde mit einer früheren Programmversion erstellt.

tzwhere soll laut Changelog jetzt bessere Ergebnisse für Koordinaten an Zeitzonengrenzen liefern, daher könnte es sich lohnen die Caches neu berechnen zu lassen.

seahawk1986 schrieb:

tzwhere soll laut Changelog jetzt bessere Ergebnisse für Koordinaten an Zeitzonengrenzen liefern, daher könnte es sich lohnen die Caches neu berechnen zu lassen.

Hmmh, in Kroatien steigt es am Festland aus, zB Makarska, Autobahn.

Ich muss mir was für folgendes Problem einfallen lassen:

Traceback (most recent call last):
  File "/home/ab/geoinfo_python/lib/python3.5/site-packages/geopy/geocoders/base.py", line 143, in _call_geocoder
    page = requester(req, timeout=(timeout or self.timeout), **kwargs)
  File "/usr/lib/python3.5/urllib/request.py", line 163, in urlopen
    return opener.open(url, data, timeout)
  File "/usr/lib/python3.5/urllib/request.py", line 472, in open
    response = meth(req, response)
  File "/usr/lib/python3.5/urllib/request.py", line 582, in http_response
    'http', request, response, code, msg, hdrs)
  File "/usr/lib/python3.5/urllib/request.py", line 510, in error
    return self._call_chain(*args)
  File "/usr/lib/python3.5/urllib/request.py", line 444, in _call_chain
    result = func(*args)
  File "/usr/lib/python3.5/urllib/request.py", line 590, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 503: Service Unavailable

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/local/bin/geoinfo.py", line 922, in <module>
    main()
  File "/usr/local/bin/geoinfo.py", line 918, in main
    args.imagefiles)
  File "/usr/local/bin/geoinfo.py", line 246, in compare_gpx_with_images
    geocoder=self.args.geocoder)
  File "/usr/local/bin/geoinfo.py", line 798, in get_geoinfo
    language=language)
  File "/home/ab/geoinfo_python/lib/python3.5/site-packages/geopy/geocoders/osm.py", line 248, in reverse
    self._call_geocoder(url, timeout=timeout), exactly_one
  File "/home/ab/geoinfo_python/lib/python3.5/site-packages/geopy/geocoders/base.py", line 158, in _call_geocoder
    raise ERROR_CODE_MAP[code](message)
geopy.exc.GeocoderTimedOut: HTTP Error 503: Service Unavailable

Ist da Geonames oder Google zu stark beansprucht? Es scheint so, dass 1 Foto nicht einer Abfrage entspricht. Vgl. https://developers.google.com/maps/documentation/geocoding/usage-limits 2,500 free requests per day, calculated as the sum of client-side and server-side queries.

Wenn ich ein Script starte, das die Fotos in einem Jahr sucht und dann für das jeweilige Album die Berechnungen durchführt, komme ich irgendwann an ein Limit. Ich schätze 500-1000 Fotos gerechnet zu haben, vielleicht auch weniger und bin rausgeflogen.

find /fotos/digitalfotos/2017* -maxdepth 1 -user `whoami` -type d | cut -f1-5 -d"/" | sort -u | while read -r FOLDER; do
	fotos.sh "$FOLDER"
done

Ich müsste da irgendwie das Bash-Script fotos.sh stoppen oder pausieren, falls es da Probleme mit den Credits gibt. Könnte man da was in das Wrapper-Scriot einbauen?

glaskugel schrieb:

Ist da Geonames oder Google zu stark beansprucht?

Das ist der OSM-Geocoder.

Es scheint so, dass 1 Foto nicht einer Abfrage entspricht.

Die OSM-Nominatim-API wird ja noch für andere Sachen genutzt - die Nutzungsbeschränkungen sind klar genannt: https://operations.osmfoundation.org/policies/nominatim/

Wenn ich ein Script starte, das die Fotos in einem Jahr sucht und dann für das jeweilige Album die Berechnungen durchführt, komme ich irgendwann an ein Limit. Ich schätze 500-1000 Fotos gerechnet zu haben, vielleicht auch weniger und bin rausgeflogen.

find /fotos/digitalfotos/2017* -maxdepth 1 -user `whoami` -type d | cut -f1-5 -d"/" | sort -u | while read -r FOLDER; do
	fotos.sh "$FOLDER"
done

Ich müsste da irgendwie das Bash-Script fotos.sh stoppen oder pausieren, falls es da Probleme mit den Credits gibt. Könnte man da was in das Wrapper-Scriot einbauen?

Ich würde das eher in das Skript (dürfte die fotos.sh sein) packen, das die Bilder in dem Ordner verarbeitet - einfach auf den Exit-Code des Aufrufs für das Wrapper-Skript schauen und wenn der etwas anderes als 0 ist, den Fehler protokollieren und eine sinnvolle Zeitspanne warten, und es dann noch mal für die Datei probieren.

1
2
3
4
5
6

retries=5
while [ $retries -gt 0 ] ; do
    call_geoinfo.py.sh_with_options && break
    sleep $(( 300/$retries ))
    (( retries-- ))
done

Edit: Runterzählen von retries korrigiert

Falls du da regelmäßig ans Limit stößt, wäre eine eigene Nominatim-Instanz auf deinem Server eine Möglichkeit, die kannst du beliebig drangsalieren (dann müsste ich die geoinfo.py nur so erweitern, dass man die URL für den Nominatim-Server frei angeben kann): http://nominatim.org/release-docs/latest/Installation

Ich fliege leider immer wieder raus, ganz klar ist mir nicht bei welchem Service und manchmal ist es gar nicht nachvollziehbar, vermutlich sind es aber wiederholte Abfragen hintereinander. Ein wenig werden ja doppelte Abfragen toleriert. Ich weiß nur nicht wie ich das in der Praxis effizient vermeiden kann. Es gibt zB folgende Situation: Man befindet sich an einem Aussichtspunkt und macht mehrere Fotos am gleichen Ort in unterschiedliche Richtungen und unterschiedlichen Objektiven, oder man macht eine Sonnenuntergangsserie und bewegt sich nicht.

Meine Frage ist daher, ob man eine Abfrage nicht lokal speichern könnte, zB in dem Ordner wo sich die cache-Datei befindet und die unterhalb eines Ordners local (o.ä.). Bei der Abfrage wird zuerst überprüft, ob eine lokale Abfrage existiert und erst wenn nicht, wird online abgefragt. Eventuell auch als mögliche Option. Dateiname könnten zB die Koordinaten mit Ort sein oder was immer.

Problem ist ja auch, wenn man Fotos nachbearbeitet und diese dann ein 2. Mal korrigiert. Mein Script arbeitet einen Ordner (Album) ab und wenn ich nach dem 1. Durchlauf Kleinigkeiten korrigiere sind das sowieso die meisten Fotos und ich berechne wieder das komplette Album und da eben auch die Online-Koordinaten-Abfragen.

sucessfully loaded cache file
initializing tzwhere...
created tzwhere object
creating cache file...
successfully created cache file ...2009-08_flug_ueber_saloniki_nach_rhodos.cache
no elevation data
Traceback (most recent call last):
  File "/usr/local/bin/geoinfo.py", line 922, in <module>
    main()
  File "/usr/local/bin/geoinfo.py", line 918, in main
    args.imagefiles)
  File "/usr/local/bin/geoinfo.py", line 240, in compare_gpx_with_images
    mtd = min(timedeltas)
ValueError: min() arg is an empty sequence

Ist das ein Bug oder blockt da ein Server wegen zu vieler Abfragen? Eigentlich dürfte nicht blockiert werden, ich habe ca. 30h gewartet, nachdem ich die Meldung hatte. Cache wurde auch neu erstellt. AFAIR lief dieses Album schon mal durch.

Vermutlich funktioniert da noch einem Update vom Python(?) das Skript nicht mehr. Vor ein paar Tagen hatte ich noch keine Probleme. Ich habe mal ganz minimalistisch zum Testen angefangen:

# als User

$ geoinfo.py
Traceback (most recent call last):
  File "/usr/local/bin/geoinfo.py", line 6, in <module>
    import googlemaps
ImportError: No module named 'googlemaps'

bzw.

/usr/local/bin/geoinfo.py -h
Traceback (most recent call last):
  File "/usr/local/bin/geoinfo.py", line 6, in <module>
    import googlemaps
ImportError: No module named 'googlemaps'

Das sollte eigentlich installiert sein.

# als root

# pip3 install googlemaps
Collecting googlemaps
  Using cached googlemaps-2.5.1.tar.gz
    Complete output from command python setup.py egg_info:
    warning: no files found matching 'NOTICE'
    
    Installed /tmp/pip-build-b5kza8mx/googlemaps/.eggs/requests-2.18.4-py3.5.egg
    Searching for certifi>=2017.4.17
    Reading https://pypi.python.org/simple/certifi/
    Best match: certifi 2018.1.18
    Downloading https://pypi.python.org/packages/15/d4/2f888fc463d516ff7bf2379a4e9a552fef7f22a94147655d9b1097108248/certifi-2018.1.18.tar.gz#md5=068fd5c3c690ae47504b3e0bf4e56c4c
    Processing certifi-2018.1.18.tar.gz
    Writing /tmp/easy_install-3u3nbujj/certifi-2018.1.18/setup.cfg
    Running certifi-2018.1.18/setup.py -q bdist_egg --dist-dir /tmp/easy_install-3u3nbujj/certifi-2018.1.18/egg-dist-tmp-jq1_favb
    creating /tmp/pip-build-b5kza8mx/googlemaps/.eggs/certifi-2018.1.18-py3.5.egg
    Extracting certifi-2018.1.18-py3.5.egg to /tmp/pip-build-b5kza8mx/googlemaps/.eggs
    
    Installed /tmp/pip-build-b5kza8mx/googlemaps/.eggs/certifi-2018.1.18-py3.5.egg
    /usr/lib/python3/dist-packages/setuptools/dist.py:285: UserWarning: Normalizing '2018.01.18' to '2018.1.18'
      normalized_version,
    Traceback (most recent call last):
      File "<string>", line 1, in <module>
      File "/tmp/pip-build-b5kza8mx/googlemaps/setup.py", line 39, in <module>
        'Topic :: Internet',
      File "/usr/lib/python3.5/distutils/core.py", line 108, in setup
        _setup_distribution = dist = klass(attrs)
      File "/usr/lib/python3/dist-packages/setuptools/dist.py", line 269, in __init__
        self.fetch_build_eggs(attrs['setup_requires'])
      File "/usr/lib/python3/dist-packages/setuptools/dist.py", line 313, in fetch_build_eggs
        replace_conflicting=True,
      File "/usr/lib/python3/dist-packages/pkg_resources/__init__.py", line 826, in resolve
        dist = best[req.key] = env.best_match(req, ws, installer)
      File "/usr/lib/python3/dist-packages/pkg_resources/__init__.py", line 1085, in best_match
        dist = working_set.find(req)
      File "/usr/lib/python3/dist-packages/pkg_resources/__init__.py", line 695, in find
        raise VersionConflict(dist, req)
    pkg_resources.VersionConflict: (urllib3 1.13.1 (/usr/lib/python3/dist-packages), Requirement.parse('urllib3<1.23,>=1.21.1'))
    
    ----------------------------------------
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-b5kza8mx/googlemaps/
You are using pip version 8.1.1, however version 9.0.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.

Das Upgrade auf 9.0.1 ging schon einmal kräftig unter 16.04 daneben.

Das python3-urllib3 Paket von Ubuntu 16.04 ist zu alt - da solltest du in einem venv arbeiten, um Konflikten mit Systembibliotheken aus dem Weg zu gehen. Wichtig ist, dass du das venv nachträglich nicht mehr verschieben kannst (sonst stimmen die Pfade nicht mehr).

Für die Installation von googlemaps (die anderen benötigten Python-Bibliotheken müssen darin ebenfalls installiert werden):

venv_dir="geoinfo"
python3 -m venv "$venv_dir"
source "${venv_dir}/bin/activate"  # diesen Befehl jedes mal ausführen, wenn du das venv nutzen willst
pip3 install -U pip  # pip muss im venv auf dem aktuellen Stand sein
pip3 install googlemaps

# Wenn du das venv nicht mehr nutzen willst:
deactivate 

Danke dir, an venv hatte ich nicht mehr gedacht. Da muss mit einem Update was durcheinander gekommen sein. Hat ja lange grundsätzlich funktioniert. Ich habe mal das als User gemacht, was du angegeben hast. Letztlich sollte es systemweit funktionieren.

~/Schreibtisch$ venv_dir="~/geoinfo_python/"

~/Schreibtisch$ python3 -m venv "$venv_dir"

~/Schreibtisch$ source "${venv_dir}/bin/activate"

(geoinfo_python) ~/Schreibtisch$ pip3 install -U pip
Collecting pip
  Downloading pip-9.0.1-py2.py3-none-any.whl (1.3MB)
    100% |████████████████████████████████| 1.3MB 682kB/s 
Installing collected packages: pip
  Found existing installation: pip 8.1.1
    Uninstalling pip-8.1.1:
      Successfully uninstalled pip-8.1.1
Successfully installed pip-9.0.1

(geoinfo_python) ~/Schreibtisch$ pip3 install googlemaps
Collecting googlemaps
  Downloading googlemaps-2.5.1.tar.gz
Collecting requests<3.0,>=2.11.1 (from googlemaps)
  Downloading requests-2.18.4-py2.py3-none-any.whl (88kB)
    100% |████████████████████████████████| 92kB 1.1MB/s 
Collecting urllib3<1.23,>=1.21.1 (from requests<3.0,>=2.11.1->googlemaps)
  Downloading urllib3-1.22-py2.py3-none-any.whl (132kB)
    100% |████████████████████████████████| 133kB 1.3MB/s 
Collecting idna<2.7,>=2.5 (from requests<3.0,>=2.11.1->googlemaps)
  Downloading idna-2.6-py2.py3-none-any.whl (56kB)
    100% |████████████████████████████████| 61kB 1.5MB/s 
Collecting certifi>=2017.4.17 (from requests<3.0,>=2.11.1->googlemaps)
  Downloading certifi-2018.1.18-py2.py3-none-any.whl (151kB)
    100% |████████████████████████████████| 153kB 1.4MB/s 
Collecting chardet<3.1.0,>=3.0.2 (from requests<3.0,>=2.11.1->googlemaps)
  Downloading chardet-3.0.4-py2.py3-none-any.whl (133kB)
    100% |████████████████████████████████| 143kB 1.5MB/s 
Installing collected packages: urllib3, idna, certifi, chardet, requests, googlemaps
  Running setup.py install for googlemaps ... done
Successfully installed certifi-2018.1.18 chardet-3.0.4 googlemaps-2.5.1 idna-2.6 requests-2.18.4 urllib3-1.22

(geoinfo_python) ~/Schreibtisch$ /usr/local/bin/geoinfo.py.sh -g osm "45.1 14.1"
Traceback (most recent call last):
  File "/home/ab/geoinfo_python/lib/python3.5/site-packages/geopy/geocoders/base.py", line 143, in _call_geocoder
    page = requester(req, timeout=(timeout or self.timeout), **kwargs)
  File "/usr/lib/python3.5/urllib/request.py", line 163, in urlopen
    return opener.open(url, data, timeout)
  File "/usr/lib/python3.5/urllib/request.py", line 472, in open
    response = meth(req, response)
  File "/usr/lib/python3.5/urllib/request.py", line 582, in http_response
    'http', request, response, code, msg, hdrs)
  File "/usr/lib/python3.5/urllib/request.py", line 510, in error
    return self._call_chain(*args)
  File "/usr/lib/python3.5/urllib/request.py", line 444, in _call_chain
    result = func(*args)
  File "/usr/lib/python3.5/urllib/request.py", line 590, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/local/bin/geoinfo.py", line 922, in <module>
    main()
  File "/usr/local/bin/geoinfo.py", line 907, in main
    geoinfo.check_coordinates(coordinate_string)
  File "/usr/local/bin/geoinfo.py", line 224, in check_coordinates
    geocoder=self.args.geocoder)
  File "/usr/local/bin/geoinfo.py", line 798, in get_geoinfo
    language=language)
  File "/home/ab/geoinfo_python/lib/python3.5/site-packages/geopy/geocoders/osm.py", line 248, in reverse
    self._call_geocoder(url, timeout=timeout), exactly_one
  File "/home/ab/geoinfo_python/lib/python3.5/site-packages/geopy/geocoders/base.py", line 158, in _call_geocoder
    raise ERROR_CODE_MAP[code](message)
geopy.exc.GeocoderInsufficientPrivileges: HTTP Error 403: Forbidden

Kleines Feedback zu 18.04, damit funktioniert es nun bei mir wieder (Test via ssh). Mehr muss ich mir aber erst später anschauen.

geoinfo.py -g osm "45.1 14.1"
coordinates=45.1, 14.1
no alpha2 country code
### POINT START ###
name=manual
latitude=45.1
longitude=14.1
elevation=
elevation_source=None
time=
timezone_name=
licence=Data © OpenStreetMap contributors, ODbL 1.0. https://osm.org/copyright
location=Stari Grad, Markulini, Grad Labin, Istarska županija, 52230, Hrvatska
country_code=hr
country_code3=
country=Hrvatska
state=
state_district=
county=Istarska županija
postcode=52230
city=
town=
postal_town=
village=
suburb=Stari Grad
city_district=
neighbourhood=
road=
route=
pedestrian=
address29=
path=
house_number=
townhall=
ruins=
attraction=
place_of_worship=
hotel=
bus_stop=
country_part=Istarska županija
loc_name=Stari Grad
street_name=
### POINT END ###
unused attributes: hamlet

hamlet=Markulini

Mit den Änderungen unter 19.10 bekomme ich diese Meldungen. Es wäre denkbar, dass ich irgendwas nicht installiert habe, mir fällt aber nichts ein.

Als root:

pip3 install geopy
pip3 install gpxpy
pip3 install exifread
pip3 install tzwhere
pip3 install pycountry
pip3 install googlemaps

das ergibt dann folgende Meldungen:

/usr/local/bin/geoinfo.py:279: DeprecationWarning: Using Nominatim with the default "geopy/1.20.0" `user_agent` is strongly discouraged, as it violates Nominatim's ToS https://operations.osmfoundation.org/policies/nominatim/ and may possibly cause 403 and 429 HTTP errors. Please specify a custom `user_agent` with `Nominatim(user_agent="my-application")` or by overriding the default `user_agent`: `geopy.geocoders.options.default_user_agent = "my-application"`. In geopy 2.0 this will become an exception.
  return Nominatim(timeout=60)
trying to open /fotos/original_digitalfotos/ec/2017-10_test_digicam/2017-10_test.cache...
initializing tzwhere...
created tzwhere object
creating cache file...
successfully created cache file /fotos/original_digitalfotos/ec/2017-10_test_digicam/2017-10_test.cache
Traceback (most recent call last):
  File "/usr/local/bin/geoinfo.py", line 922, in <module>
    main()
  File "/usr/local/bin/geoinfo.py", line 915, in main
    tz_corrected_data = geoinfo.tz_corrected_trackpoints(calculated_data)
  File "/usr/local/bin/geoinfo.py", line 644, in tz_corrected_trackpoints
    points))
  File "/usr/local/bin/geoinfo.py", line 873, in yield_point_with_tz_corrected_timestamp
    orig_tz_ts = self.orig_tz.localize(point.time)
  File "/usr/lib/python3/dist-packages/pytz/__init__.py", line 238, in localize
    raise ValueError('Not naive datetime (tzinfo is already set)')
ValueError: Not naive datetime (tzinfo is already set)
/usr/local/bin/geoinfo.py:279: DeprecationWarning: Using Nominatim with the default "geopy/1.20.0" `user_agent` is strongly discouraged, as it violates Nominatim's ToS https://operations.osmfoundation.org/policies/nominatim/ and may possibly cause 403 and 429 HTTP errors. Please specify a custom `user_agent` with `Nominatim(user_agent="my-application")` or by overriding the default `user_agent`: `geopy.geocoders.options.default_user_agent = "my-application"`. In geopy 2.0 this will become an exception.
  return Nominatim(timeout=60)
trying to open /fotos/original_digitalfotos/ec/2017-10_test_digicam/2017-10_test.cache...
sucessfully loaded cache file
Traceback (most recent call last):
  File "/usr/local/bin/geoinfo.py", line 922, in <module>
    main()
  File "/usr/local/bin/geoinfo.py", line 915, in main
    tz_corrected_data = geoinfo.tz_corrected_trackpoints(calculated_data)
  File "/usr/local/bin/geoinfo.py", line 644, in tz_corrected_trackpoints
    points))
  File "/usr/local/bin/geoinfo.py", line 873, in yield_point_with_tz_corrected_timestamp
    orig_tz_ts = self.orig_tz.localize(point.time)
  File "/usr/lib/python3/dist-packages/pytz/__init__.py", line 238, in localize
    raise ValueError('Not naive datetime (tzinfo is already set)')
ValueError: Not naive datetime (tzinfo is already set)