Priusfreunde.de

Hallo,

angeregt durch andere Beiträge habe ich mal angefangen, die mit HybridAssitant aufgezeichneten Daten über den HybridReporter zu exportieren und in Excel einzulesen.

Das klappt mit ein paar wenigen kleinen Einschränkungen auch ganz gut. Ich habe also bisher das Einlesen, eine Korrektur der Zahlen, da in der Textdatei die amerikanische Schreibweise verwendet wird, und ein paar Formeln, um aus Datum und Uhrzeit eine Spalte zu generieren (für Fahrten, die die Tagesgrenze überschreiten). Weiterhin habe ich eine Tabellenblatt mit den Geschwindigkeiten für OBD und GPS, gleich auch mit einem Diagramm.

An was ich jetzt noch im ersten Schritt arbeite: es werden ja relativ viele Daten eingelesen und mit Formeln ist das dann so eine Sache, denn pro Stunde habe ich ca. 12.000 Datensätze. Wenn da jemand mehrere Stunden aufzeichnet, wird es bei Excel irgendwann eng werden.

Ich weiß, dass HA mit einer SQLite-Datenbank arbeitet. Die Alternative wäre dann, die Daten irgendwie direkt auszulesen, aber zum einen braucht man ein Plugin, mit welchem man die Verbindung zu SQLite hinbekommt, auf der anderen Seite gewinnt man letztlich wenig, da man zur weiteren Verarbeitung die Daten in Excel in einem Blatt benötigt.

Wenn ich also flexibel mit Formeln bleiben möchte, muss ich also ein Maximum an Daten einstellen, nur ob die Formeln und Funktionen wie Diagramme flexibel genug sind, weiß ich noch nicht. Ich habe zwar die Anzahl der Datensätze, aber ob ich diesen Wert in einem Diagramm nutzen kann, weiß ich noch nicht.

Ich schreibe noch ein paar Zeilen Code und dokumentiere, was ich habe, dann werde ich hier mal die erste Version veröffentlichen.

Gruß
Nils

Hallo Nils,

wie Du schon selbst angemerkt hast, wird es mit Excel sehr schnell eng werden. Ich gehe davon aus, dass an einem zweistufigen Herangehen kein Weg vorbeiführt. Die Daten müsse erst in einer Datenbank erfasst und konsolidiert werden. Um dann die Ergebnisse der Datenbankabfragen zu visualisieren ist Excel wiederum ein geeignetes Tool.

Mein frommer Wunsch wäre wenn sich eine Übertragung der txt in einer Datenbank -Projektgruppe bildet und Du dich mit dem Excel Know-How in die Visualisierung einbringst.

Von daher - nur meine Meinung - sollte man dein Thema mit Übertragung der txt in einer Datenbank zusammenlaufen lassen. Ist aber nur meine Meinung. Was meinst Du?

Viele Grüße, yarison

Hallo yarison,

ja, bei mir ist es aktuell einfach etwas wie eine Studie.
Welche Daten man wie konsolidiert, müsste geklärt werden und evtl. konfigurierbar sein. Nehmen wir z.B. mal die Geschwindigkeit: Mit 12.000 Daten pro Stunde sind das ca. 3,33 pro Sekunde. Wenn man hier bei einer langen Fahrt die Werte für eine Minute zusammenfassen möchte, kann man entweder die Durchschnittsgeschwindigkeit in einem Zeitraum nutzen oder auch den Maximalwert. Beide hätten ihre Berechtigung, denn in einer Minute kann man schon mal von 120km/h auf 180km/h zum Überholen beschleunigen. Ganz klar, für Verbrauchswerte ist das dann auch wieder nichts.

Letztlich geht oder ging es mir darum, welche Daten man in HA / HR zur Verfügung hat. Welche Auswertungen man damit machen kann, ist ein anderer Punkt.

Am Besten wäre es natürlich, wenn man sinnvolle Diagramme zusammengestellt hat, dass diese in die App HybridReporter integriert werden. Denn die Entwickler kennen die Daten besser als wir, weiterhin haben wir Nutzer keinen echten Einfluß auf das Datenformat, sprich, wenn heute zwei weitere Spalten eingebunden werden, muss man das Excel anpassen, ebenso das Datenbanksystem. Ebenso ist immer der Umweg über einen Export der Daten und ein Kopieren auf einen Rechner notwendig, in der HR-App kann auf dem SmartPhone oder Tablett direkt auf die Rohdaten zugegriffen werden.

Ganz klar, die Entwickler der Apps machen einen guten Job, wenngleich sie ihren Code nicht öffentlich verfügbar machen - und das ist auch völlig legitim. Wie sie auf Anfragen reagieren, hängt natürlich von der Anzahl der Anfragen und auch dem Ton ab, wie diese gestellt sind, denke ich.

Für meinen Teil, ich kann hier gerne das Makro für den Import zur Verfügung stellen, mit Excel direkt wird man aber nur kurze Fahrten gut auswerten können. Denn ein paar Tabellenblätter mit konsolidierten Daten über Formeln zwingt viele Rechner in die Knie.

Ein unschöner Punkt im Datenexport ist die Zeitschiene, wenn man mit dieser Arbeiten möchte: Datum und Uhrzeit sind in zwei Spalten abgelegt, hier muss man nach dem Import entweder per Formeln oder per Script die Werte in eine Spalte verrechnen - oder man geht von relativ gleichbleibenden Abständen zwischen zwei Meßwerten aus, dann braucht man Datum und Uhrzeit nicht wirklich.

Wie gesagt, machbar ist es, der Sinn ist aber offen.

Wer aber Fragen hat, kann sich hier gerne melden.

Gruß
Nils

derniwi schrieb:
Welche Daten man wie konsolidiert, müsste geklärt werden und evtl. konfigurierbar sein. Nehmen wir z.B. mal die Geschwindigkeit: Mit 12.000 Daten pro Stunde sind das ca. 3,33 pro Sekunde. Wenn man hier bei einer langen Fahrt die Werte für eine Minute zusammenfassen möchte, kann man entweder die Durchschnittsgeschwindigkeit in einem Zeitraum nutzen oder auch den Maximalwert. Beide hätten ihre Berechtigung, denn in einer Minute kann man schon mal von 120km/h auf 180km/h zum Überholen beschleunigen. Ganz klar, für Verbrauchswerte ist das dann auch wieder nichts.
Dafür gibt es ja geeignete Kompressionsalgorythmen wie z. B. Box Car Back Slope. Das würde den Festplattenplatzverbrauch deutlich reduzieren und die Daten wären immernoch genau genug.

Grüße,
j.

Die Daten in der DB sind nicht das Problem, eher die Anzahl Zeilen bei längeren Fahrten in Excel.
Wenn man da einigermaßen flexibel arbeitet und Blätter mit Formeln nutzt, dann merkt man relativ schnell, wenn da 12.000 Zeilen mit fünf Spalten mit Formeln gefüllt sind.

Die Daten verdichten, ja klar, da gibt es viele Möglichkeiten, die Prioritäten muss man halt festlegen. Nicht alles geht über den Durchschnitt, der absolute Verbrauch zwischen zwei Messungen z.B. muss aufaddiert werden.

Die andere Möglichkeit wäre, alles per Scripting zu lösen und nach dem Import eine neue Datei mit den den entsprechenden Daten zu füllen und dann die Diagramme zu erstellen. Das macht es aber für andere evtl. schwieriger, weitere Auswertungen zu konstruieren. Also, kurz, in der eigentlichen Excel-Datei wird per Script eine Fahrt importiert, abhängig von der Anzahl der Importzeilen, werden dann immer n verdichtet (wie gesagt, je nach Wert). Die neuen Zeilen werden dann in eine neue Datei geschrieben. Alle weiteren Dinge geschehen dann in dieser neue Datei.

derniwi schrieb:
Die Daten in der DB sind nicht das Problem, eher die Anzahl Zeilen bei längeren Fahrten in Excel.
Das Box Car Back Slope Verfahren macht ja genau das: kein großes Delta in den Daten --> wenig Datenzeilen, viele Deltas --> viele Datenzeilen. Viele Werte die HA abgreift und die geloggt werden benötigt man eigentlich gar nicht in dieser Auflösung (z. B. Geschwindigkeit bei Tempomat), führen aber zu sehr vielen unnötigen Zeilen in der Excel-Tabelle.

Diese Verfahren kenne ich nicht.
Ich gebe aber zu bedenken, dass man ja z.B. die Geschwindigkeit immer in Beziehung zu mindestens einem anderen Zahlenraum auswerten will. Will ich Leistung als Funktion der Geschwindigkeit darstellen, möchte ich aus meiner Tabelle die Sequenzen herausfiltern, die über eine längere Strecke mit konstantem Tempo gefahren wurden (nur so als Beispiel). Könnte mir vorstellen, dass (nicht nur) da jede Kompression kontraproduktiv wäre.

Entscheidend ist dabei jedoch, dass die Zeitstempel der Daten im Punkt bspw. Geschwindigkeit/Leistung identisch sind.

Es ist ohnehin schwierig, da die Datenpukte in HA zeitlich nicht äquidistant geloggt sind, da müssten eigentlich künstliche Mittelwerte über einen bestimmten Zeitbereich gebildet werden für eine solche Auswertung.

So ist es.
Ich habe für meinen PHV eine Gegenüberstellung der kW von Batterie und E-Motor gemacht, bei der ich dasselbe Problem zu lösen hatte, da ich für geringe Leistung viele, für höhere Leistung wenige Datenpunkte zur Verfügung hatte. Darüber hinaus habe ich für Leistungen im oberen Bereich interpoliert, weil viele Werte fehlten. Deshalb ist mein Diagramm auch weder fertig noch repräsentativ, ich zeige es hier nur als Beispiel.

Ja, manchmal ist ein Punktdiagramm evtl. hilfreicher.

Das Interpolieren bzw. Verrechnen kann helfen, Daten zu reduzieren. Aber wie gesagt, der Mittelwert ist nicht bei allen Werten sinnvoll. Der Benzinverbrauch müsste (ich habe es nicht geprüft, was da jetzt steht) dann aufaddiert werden.

Mal schauen, ob ich die aktuelle Version hier anhängen kann:

So, ich habe noch einen anderen Weg des Importes gefunden. Hierzu wird HybridReporter nicht benötigt, da direkt die SQLite-Datenbank verwendet wird.

Hierzu muss aber ein ODBC-Treiber installiert werden, der hier zu finden ist:
www.ch-werner.de/sqliteodbc/
Man benötigt entweder die 32-Bit oder die 64-Bit-Version, abhängig vom verwendeten Excel.

Weiterhin muss man die "hybridassistant.db" auf den Windows-Rechner übertragen. Im Explorer hatte ich mit meinem kleinen Android ein paar mal das Problem, dass die Datei nicht komplett kopiert wurde, der Windows-Explorer hat hier immer mal wieder ein paar MB zu wenig angezeigt und dementsprechend nicht vollständig übertragen. Über Bluetooth hat es dann funktioniert, aber etwas gedauert.

Es gibt hier nur ein Tabellenblatt, in welchem auch die Konfiguration gespeichert wird. Über die Schaltfläche "Import" wird die komplette Datenbank übertragen - sofern möglich. Bei mir sind noch nicht so viele Einträge vorhanden, daher weiß ich nicht, ab wann Probleme auftreten. Excel soll ab Version 2007 ca. eine Million Zeilen pro Tabellenblatt verwenden können.

Der Dateiname wird im Dokument gespeichert, damit beim nächsten Öffnen der alte Pfad verwendet werden kann. Es gibt insgesamt 13 Tabellen, die in der Datenbank aktuell vorhanden sind. Hinter den Tabellen gibt es unter "Import" die Möglichkeit, Tabellen auszulassen. Dann einfach ein "No" eintragen. Die restlichen Daten sollten nicht manuell geändert werden.

Ich habe mich von Smoothie inspirieren lassen und durch den Import wird eine neue Excel-Datei erzeugt. Somit muss dort kein Makro hinterlegt sein.

Was jetzt noch offen ist:
- Fehlerbehandlung
- Auswertung der Tabelle "TRIPS", um die einzelnen Fahrten auswählen zu können, damit könnte der Import kleiner ausfallen
- ein paar Auswertungen wie z.B. die Ermittlung des Fahrzeugtyps ("1" scheint der "Prius 2" zu sein, es gibt aber wohl über 40 Typen, die nicht dokumentiert sind)

Ich denke, ich werde hier an dieser Stelle mit der Entwicklung aufhören, da ich keinen großen Mehrwert gegenüber HybridReporter sehe.