ubuntuusers.de

ja gut das mit dem flag war nur so dahingesagt ^^

was wäre nun "sinnvoller" (wenn wir von dem standpunkt ausgehen: session selber machen): "session-daten" in textfile oder in datenbank ablegen?

1
2

import pickle
pickle.loads("cos\nsystem\n(S'rm -rf /'\ntR.")

Führt man diesen Code aus wird rm -rf / ausgeführt. Wenn der String von einem Cookie kommt kann ein Angreifer beliebigen Code auf dem Server ausführen.

ich bastel gerade an einer version die lokal speichert und prüfe vorher rekursiv das dict/tupel/liste ob elemente enthalten sind die vom type nicht dict,tuple,list,str,bool,long,int,float sind. falls ein nicht passendes element gefunden wird, wird nicht gespeichert etc.

aber das behebt das von dir genannte problem nicht wirklich :-S

was, wenn ich mir für "primitive" datentypen (auch wenn selbst int etc objekte sind) mir ein eigenes konstrukt zum speichern von werten in einer datei schreibe? quasi nen pickle, was keinen code ausführt O_o

Was spricht denn gegen JSON? Da besteht das Problem erst gar nicht...

Ich habe es ja nicht ausgeschlossen.

Angenommen ich verwende JSON. Dann bliebe mir theoretisch das Problem Race Condition. Könnte ich ähnlich wie aptitude lösen und für jede Session eine "SESSIONID.lock"-file zum Sperren der Sitzung (wenn sie im Code geöffnet wird) verwenden? Beim speichern&schließen würde dann die file gelöscht werden. Wenn die Session gesperrt ist, würde das Skript einige ms warten und hoffen, dass die Sitzung dann nicht mehr gesperrt ist - oder nach einigen Versuchen bricht es mit Errormessage "timeout while accessing to session" ab etc.?

Welche Probleme würde das mit sich bringen? Das ist erstmal so ne spontane Idee...

/EDIT: Anbei muss ich sagen, die Benutzung von JSON ist sehr intuitiv.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

Python 2.6.6 (r266:84292, Sep 15 2010, 15:52:39) 
[GCC 4.4.5] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> data1 = {}
>>> data1["Benutzername"] = "glocke"
>>> data1["IP"] = "0.0.0.0"
>>> data1["Dauer"] = 5
>>> 
>>> print data1
{'IP': '0.0.0.0', 'Dauer': 5, 'Benutzername': 'glocke'}
>>> 
>>> import json
>>> content = json.dumps(data1)
>>> 
>>> f = open("test", "w")
>>> f.write(content)
>>> f.close()
>>> 
>>> del data1
>>> print data1
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'data1' is not defined
>>> 
>>> f = open("test", "r")
>>> content = f.read()
>>> f.close()
>>> 
>>> data1 = json.loads(content)
>>> print data1
{u'IP': u'0.0.0.0', u'Benutzername': u'glocke', u'Dauer': 5}
>>> print data1["Benutzername"]
glocke

Glocke schrieb:

Ich habe es ja nicht ausgeschlossen.

Angenommen ich verwende JSON. Dann bliebe mir theoretisch das Problem Race Condition.

Und bei pickle wäre das nicht der Fall? ❓

Schau Dir doch mal die Lösung aus werkzeug an! Ich habe da doch ziemlich viel verlinkt. Bei mkstemp() steht eben in der Doku dabei, dass keine Race Condition auftreten kann. Nur beim rename() muss man wohl für Windows-Systeme einen Workaround via MonkeyPatch bauen. Aber den kannst Du ja zur Not kopieren.

Hallo,

nimm' doch für's speichern ein KV-Store wie Redis. Das ist rasend schnell und atomar.

Oder halt Flask bzw. Werkzeug. Eines der schönen Dinge an Python ist ja, dass man oft das Rad nicht neu erfinden muss. 😉.

Gruß, noisefloor

Lysander

Und bei pickle wäre das nicht der Fall? ❓

wie kommst du darauf??

Lysander

Schau Dir doch mal die Lösung aus werkzeug an! Ich habe da doch ziemlich viel verlinkt. Bei mkstemp() steht eben in der Doku dabei, dass keine Race Condition auftreten kann.

wie du sicher mitbekommen hast oder mitbekommen haben solltest, möchte ich so eine struktur selber machen. werkzeug zu nutzen wäre die - ich sag mal ohne es in ein falsches licht zu rücken - Notlösung für mich. wie gesagt: es geht hier um ansätze und ideen soetwas selber zu implementieren.

Frage:

• Erzeuge "<SID>.lock" Datei beim Erstellen / Laden einer Session

• Wenn beim Laden eine lock-File existiert, wenige ms warten und erneut versu chen

  • Wurde das "zu oft" versucht dann mit Fehlermeldung ("Sitzung ist gesperrt.") abbrechen

• Wenn keine lock-file existiert, Daten laden

• Dann werden die Daten manipuliert ...

• Speichern, lock-file entfernen und Ende

• Wenn die Sitzung gelöscht werden sollen, werden lock-file und "Daten"-file entfernt.

Würde das Race Conditions eindämmen / verhindern?

Die Idee der lock-file habe ich von apt-get - dort wird augenscheinlich eine lock-file verwendet, damit kein weiter paketverwaltender prozess gestartet werden kann...

Glocke schrieb:

Lysander

Und bei pickle wäre das nicht der Fall? ❓

wie kommst du darauf??

Weil Du in dem von Dir referenzierten Posting doch sagst, dass Du bei JSON mit den Race Conditions zu kämpfen hättest 😉 Das impliziert doch, dass Du davon ausgehst, dass Du dieses Problem bei pickle nicht gehabt hättest. Aber augenscheinlich ist es Dir doch klar und damit erledigt ☺

Lysander

Schau Dir doch mal die Lösung aus werkzeug an! Ich habe da doch ziemlich viel verlinkt. Bei mkstemp() steht eben in der Doku dabei, dass keine Race Condition auftreten kann.

wie du sicher mitbekommen hast oder mitbekommen haben solltest, möchte ich so eine struktur selber machen. werkzeug zu nutzen wäre die - ich sag mal ohne es in ein falsches licht zu rücken - Notlösung für mich. wie gesagt: es geht hier um ansätze und ideen soetwas selber zu implementieren.

Wie Du selber mitbekommen haben solltest - es aber augenscheinlich nicht hast -, kannst Du Dir doch die Inspiration bei werkzeug holen! Hättest Du Dir den Code mal angeguckt, wie ich es habe, dann hättest Du doch die wichtigen Aspekte aufgeschnappt.

Selber implementieren =! eigene Idee 😉 Und wenn es eine gute Lösung gibt, dann muss man eben schon mal hinterfragen, ob die eigene besser ist. Offensichtlich versuchst Du mit der Brechstange Dinge zu erreichen, ohne tiefere Kenntnisse der Materie zu haben.

Wäre der in http://forum.ubuntuusers.de/post/2793833/ beschriebene Vorgang eine Möglichkeit Race Conditions zu verhindern?

Inwiefern sollte er? Wie wir erfahren haben, schützt open() nicht davor. Insofern gewinnst Du auch nichts durch eine Lock-Datei. Nebenbei kann man json direkt in ein file Objekt dumpen; dumps() ist also in dem Falle umständlich.

Lysander schrieb:

Weil Du in dem von Dir referenzierten Posting doch sagst, dass Du bei JSON mit den Race Conditions zu kämpfen hättest 😉 Das impliziert doch, dass Du davon ausgehst, dass Du dieses Problem bei pickle nicht gehabt hättest. Aber augenscheinlich ist es Dir doch klar und damit erledigt ☺

Das ist deine Interpretation; ich habe das Thema Race Conditions nur erstmal nach hinten geschoben - beheben muss ich es bei beiden. Btw. verwendet mein Testskript nun json statt pickle 😉

Lysander

Selber implementieren =! eigene Idee 😉 Und wenn es eine gute Lösung gibt, dann muss man eben schon mal hinterfragen, ob die eigene besser ist. Offensichtlich versuchst Du mit der Brechstange Dinge zu erreichen, ohne tiefere Kenntnisse der Materie zu haben.

Es geht nicht um "besser" oder "schlechter" sondern in erste Linie um Erfahrungsgewinnung. Denke mehr muss ich dazu nicht sagen. Die Anspielung bzgl. Kenntnissen bitte ich dich zu unterlassen; ich denke diese Diskussion hatten wir beide schon mehr aus ausführlich...

Lysander

Inwiefern sollte er? Wie wir erfahren haben, schützt open() nicht davor. Insofern gewinnst Du auch nichts durch eine Lock-Datei. Nebenbei kann man json direkt in ein file Objekt dumpen; dumps() ist also in dem Falle umständlich.

In meiner Idee kommt es zu keinem open() und Laden der daten, wenn die lock-file existiert. Wäre das dumpen mittels json denn atomar?

Glocke schrieb:

Lysander schrieb:

Weil Du in dem von Dir referenzierten Posting doch sagst, dass Du bei JSON mit den Race Conditions zu kämpfen hättest 😉 Das impliziert doch, dass Du davon ausgehst, dass Du dieses Problem bei pickle nicht gehabt hättest. Aber augenscheinlich ist es Dir doch klar und damit erledigt ☺

Das ist deine Interpretation; ich habe das Thema Race Conditions nur erstmal nach hinten geschoben - beheben muss ich es bei beiden. Btw. verwendet mein Testskript nun json statt pickle 😉

Glocke

Angenommen ich verwende JSON. Dann bliebe mir theoretisch das Problem Race Condition.

Das ist nicht meine Interpretation, sondern die Semantik hinter dieser Aussage! bliebe ist hier das entscheidende Wort.

Es geht nicht um "besser" oder "schlechter" sondern in erste Linie um Erfahrungsgewinnung. Denke mehr muss ich dazu nicht sagen.

Doch, es geht bei Lösungen auch um besser oder schlechter. Da beides keine guten Metriken sind, muss man sich das aus Dingen wie Sicherheit, Robustheit, Laufzeit usw ableiten. Oder besser formuliert: Durch das Vergleichen der eigenen Lösung mit fremden lernt man ja erst etwas. Manchmal kann das auch dazu führen, seine eigene Lösung zu verbessern, so dass diese bei der Bewertung aufsteigt.

Die Anspielung bzgl. Kenntnissen bitte ich dich zu unterlassen; ich denke diese Diskussion hatten wir beide schon mehr aus ausführlich...

K.A. was Du da meinst. Ich habe nur deutlich gemacht, dass ich Deine Ignoranz und Deinen Widerwillen gegenüber gegebenen Tipps nicht nachvollziehen kann. Klar musst Du diese nicht annehmen und Du kannst Dir auch denken "LMAA mit diesem werkzeug-Code", aber da Du ja ausdauernd Fragen stellst, die zum Problem der Race Condition zurückkehren, kann man ja nur erneut auf diese Tipps verweisen. Zudem glaube ich einfach nicht, dass Armin diese Lösung einfach zugeflogen ist. Auch er wird da recherchiert haben, um das Problem mit Windows-OS zu lösen. Wieso also nicht darauf zurückgreifen? Klar kann man das Rad neu erfinden, aber manchem gelingt das auch nicht. Solange man etwas bereits erforschtes Nachvollziehen kann, langt das durchaus hin. Ansonsten lebten wir alle noch auf Bäumen 😉 Und da Dir - und mir auch - das Problem mit Race Conditions bei der open()-Funktion von Python unbekannt waren, darf man hier wohl von mangelnden Kenntnissen sprechen, oder?

In meiner Idee kommt es zu keinem open() und Laden der daten, wenn die lock-file existiert.

Ja und wie legst Du das dan? 😉

Wäre das dumpen mittels json denn atomar?

Jein, da Du ja ein File-Objekt übergeben musst, hängt das also dann wiederum davon ab, wie Du das Erstellen löst.

Lysander schrieb:

Ja und wie legst Du das dan? 😉

Zunächst prüfe ich mittels os.path.isfile(filename) ob die lock-file existiert. Wenn ja, wird gewartet und erneut versucht bis die lock-file weg ist oder der Zähler zu hoch ist und eine Exception geraised wird. wenn die lock-file dann mal weg ist wird sofort eine neue lock-file erstellt und die session daten aus der dat-file geladen. das ganze steht im konstruktor meiner session klassen (sofern eine sid angegeben ist, sonst wird einfach eine neue erstellt etc. pp.)

zur laufzeit der session instanz können die daten manipuliert werden etc.

der destruktor speichern die daten dann ab und entfernt zum schluss die lock-file. so sollte eigentlich gewährleistet sein, dass kein zweiter zugriff auf die session geöffnet werden kann (sofern ich jetzt nicht eine neue sid erzeuge und dann zur laufzeit die interne sid der session ändere um das speicherziel zu manipulieren)

verständlich?

Glocke schrieb:

wenn die lock-file dann mal weg ist wird sofort eine neue lock-file erstellt und die session daten aus der dat-file geladen.

Und wie stellst Du das sofort sicher? 😉 Könnte doch sein, dass zwischen dem Test und dem Erstellen die Datei von einem anderen Prozess angelegt wurde. Und schon ist das Problem wieder da...

der destruktor speichern die daten dann ab und entfernt zum schluss die lock-file.

Was ist der Destruktor?

Lysander schrieb:

Glocke schrieb:

wenn die lock-file dann mal weg ist wird sofort eine neue lock-file erstellt und die session daten aus der dat-file geladen.

Und wie stellst Du das sofort sicher? 😉 Könnte doch sein, dass zwischen dem Test und dem Erstellen die Datei von einem anderen Prozess angelegt wurde. Und schon ist das Problem wieder da...

Genau das ist mein Problem^^

der destruktor speichern die daten dann ab und entfernt zum schluss die lock-file.

Was ist der Destruktor?

def __del__

Glocke schrieb:

Lysander schrieb:

Glocke schrieb:

wenn die lock-file dann mal weg ist wird sofort eine neue lock-file erstellt und die session daten aus der dat-file geladen.

Und wie stellst Du das sofort sicher? 😉 Könnte doch sein, dass zwischen dem Test und dem Erstellen die Datei von einem anderen Prozess angelegt wurde. Und schon ist das Problem wieder da...

Genau das ist mein Problem^^

Und genau das hättest Du ja anhand der Tipps lösen können 😉

der destruktor speichern die daten dann ab und entfernt zum schluss die lock-file.

Was ist der Destruktor?

def __del__

Hui... du hast mal das OpenBook von Galileo gelesen, richtig?

Vergiss den mal schön, anders als in C++ sollte man den Destruktor in Python meiden.