Priusfreunde.de

Guten Tag liebes Forum,

Ich fahre selbst kein Hybrid, aber ich bin darauf aufmerksam geworden das der Import der txt Dateien sehr umständlich ist.

Ich arbeite gerade an einer Python Lösung, die alle Txt Dateien in einem Ordner findet, in einer Liste läd und dann nach und nach auf die Datenbank lädt, alles vollautomatisch.

(Von der Datenbank aus kann man per SQL oder PHP abfragen machen oder in andere Programme exportieren, das muss man händisch machen.)

Eine Validierung der Daten erfolgt dann auch, manchmal liefen die Sensoren falsche Werte und muss man rausfiltern, sonst kommen fehlerhafte Abfragen raus.

Ich mache gerade eine Ausbildung und dieses Projekt läuft nebenbei. Ich bitte dies zu entschuldigen

Wenn das Projekt fertig ist werde ich es gerne hier ins Forum Posten, Betatester habe ich bereits. Im Programm sind leider noch ein paar Fehler drin. Ich weiß wo und warum, kam aber noch nicht zum abzuändern.

Falls sich noch Wünsche ergeben bitte ich dies Darunter zu kommentieren und man bespricht dann wie es gelöst wird.

Aktuell hab ich

Import -fehlerhaft
--mysql
--automatisch txt Dateien finden
--nach Abschluss in Archiv ordner verschieben

GUI - geht
--Startknopf für Vali und import
--processbar


Geplant ist, andere DB Systeme auszuwählen(ODBC-Treiber), einzuladende txt Dateien anzuzeigen, schönere GUI


Validierung - noch in Planung
--alle vergleichbaren Werte aus DB zu holen und abzugleichen
-last Data anzulegen um dann nur die neuen Werte zu überprüfen

Für das Forum muss ich dann noch wert auf relative Pfade wert legen und Einfachheit zum Bedienen und Installieren.

Habt ihr noch Wünsche und Ideen?

Hallo Lukas,
zuerst mal herzlich willkommen im Forum!

Ist das so etwas wie HybridSpirit im Beitrag #522659 - Projekt HybridAssistant vorgestellt hat? Wenn ja, vielleicht kannst du dich mit HybridSpirit, JSH etc. zusammentun um das Projekt weiter zu treiben. Ich denke, dass einige hier an so etwas interessiert sind.

Ansonsten würde ich mir mal ansehen, wie und was andere Hersteller in Langzeitauswertungen darstellen (BMW ConnectedDrive, Mercdes me connect, Telekom CarConnect, VW CarNet...).

Von CarNet kann ich dir bei Bedarf Screenshots und sonstige Infos liefern.





Grüße, yarison

Lukaskraemer schrieb:
Ich arbeite gerade an einer Python Lösung, die alle Txt Dateien in einem Ordner findet, in einer Liste läd und dann nach und nach auf die Datenbank lädt, alles vollautomatisch.Du weißt aber schon, dass auf dem Smartphone alle Daten aller HA-.txt Dateien in einer einzigen Tabelle einer SQLite-Datenbank vorliegen?

@Smoothie
Nein, die Datenbank enthält insgesamt 13 Tabellen... aber auch das sollte nicht das Problem sein.

Für eine optisch schöne Auswertung z.B. mit Excel muss man aber trotzdem etwas basteln, weil Excel mit SQLite direkt nicht umgehen kann. Da braucht man entweder noch ein Plugin oder muss den Umweg über den Export und einen Import gehen.

Also ich gehe jetzt mal auf alle Punkte bis jetzt ein

Ich weiß zwar das auf dem Handy eine DB liegt, aber mir ist keine angenehme Lösung bekannt das in Excel/Access zur Verarbeitet zu Exportiere

Ich bin leider auch sehr eng zeitlich eingebunden. Deswegen liegt des bissle Code auf meiner Festplatte und staubt ein.

Ich möchte die ganzen txt dateien in eine Datenbank einladen, aktuell läd er es in die MariaDB. Die "Treiber" lassen sich aber auch abändern so das man es in jede andere DB einladen kann, was schon von Vorteil ist. Aber akutell ist es noch die eine DB

Außerdem bin ich seperat dabei die komplette DB nach Fehlen werten zu überprüfen, z.b. der KM- Zähler geht niemals Rückwärts und zeigt nie 0 an.

Wie ihr es dann Auswertet und was ihr auswertet ist dann eure Entscheiung, es geht nur darum euch die Möglichkeit zu schaffen.


Den jede txt einzuladen dauert, wenn man jeden tag zur Arbeit fährt sind es, 2x330 Tage sind 660 Dateien ohne die extra Fahrten und des frisst halt einfach zeit. Ich möchte ein Klick und alle Dateien im Ordner werden eingeladen und dann in ein Archivordner gesetzt

so bisschen verstanden was ich vor habe?

wenn mir jmd zur Seite stehen möchte der auch nur wenig Zeit hat und das gerne macht wenn er 30min Zeit hat, den kann ich in die Github repo als Mitarbeiter eintragen. Ich habe mir Dev wenig am Hut und mache ständig anfänger Fehler.

Bei HybridAssistant liegen die Daten in einer SQLite-Datenbank. HybridReporter kann zwar schön die Daten auswerten und auch Dateien erzeugen, aber das muss man für jede Fahrt manuell machen. Das ist also auch nicht Deine ideale Lösung.

Man kann natürlich mit dem SQLite-Browser die entsprechenden Tabellen direkt als CSV exportieren, das geht schnell. Und in Excel oder einer Datenbank hast Du die Daten dann auch leicht.

Ach ja, und Arbeitstage sind es im Jahr i.d.R. um die 220, also bei Hin- und Rückfahrt ca. 440. Aber klar, man fährt ja auch sonst privat noch einige Touren.

Du musst also eher einen Weg finden, die Datenbank auf dem Handy anzuzapfen, so dass das auch jeder Benutzer einfach machen kann.

derniwi schrieb:
@Smoothie
Nein, die Datenbank enthält insgesamt 13 Tabellen...
Da hast du mich falsch verstanden. Ich meinte, dass man nur eine einzige Tabelle der DB auswerten muss, da sie alle Daten für die .txt- Dateien enthält. Alle im selben Format, ausgenommen Datum und Uhrzeit, die als Timestamp (Sekunde) vorliegen.
Wenn man die .txt in Excel einlesen will, könnte man das mit dem Makro machen, das ich hier bereitgestellt habe. Ist aber nicht einmal ignoriert worden.

Lukaskraemer schrieb:
Ich möchte ein Klick und alle Dateien im Ordner werden eingeladen und dann in ein Archivordner gesetzt
Du könntest in der Windows-"Eingabeaufforderung" im entsprechenden Ordner mit dem Befehl
copy *.txt Trip.txt alle Textdateien zu einer einzigen zusammenkopieren.

Hallo Smoothie,

Smoothie schrieb:
Da hast du mich falsch verstanden. Ich meinte, dass man nur eine einzige Tabelle der DB auswerten muss, da sie alle Daten für die .txt- Dateien enthält. Alle im selben Format, ausgenommen Datum und Uhrzeit, die als Timestamp (Sekunde) vorliegen.
Wenn man die .txt in Excel einlesen will, könnte man das mit dem Makro machen, das ich hier bereitgestellt habe. Ist aber nicht einmal ignoriert worden.[/quote]

Das Skript habe ich gesehen, das ist zum Einstieg soweit ok.

Die Daten aus einer Textdatei in Excel zu bekommen, ist beim passenden Format kein Problem. Nur eben der Export der entsprechenden Tabelle (FASTLOG?) muss irgendwie durchgeführt werden. Das ist für viele Nutzer dann schon schwieriger. Also bleibt aktuell nur der Weg über den HybridReporter und dann die Dateien an einen Windows-Rechner über Bluetooth senden - oder etwas vergleichbares.

Letztlich sind das einige Schritte, bis man die Daten mehrerer Fahrten dann auf dem Rechner in Excel hat. Eine App auf dem Smartphone, welches die SQLite-DB aufruft, die Daten als Text-Datei (CSV) exportiert und per BT teilt, würde da schon helfen. Evtl. könnte man beim Export dann auch monatsweise oder das aktuelle Jahr exportieren, um die Datenmenge einzugrenzen. Aber wie gesagt, dieser Schritt fehlt. Ohne diesen oder ohne den Zugriff von Windows direkt auf das Smartphone ist das nicht anwenderfreundlich - aus meiner Sicht.

Bitte verstehe mich nicht falsch, ich will Dich nicht angreifen oder entmutigen, das liegt mir fern. Ich habe mich ja auch mal mit dem Export / Import beschäftigt, daher denke ich, ich kann hier ein wenig beurteilen, wie man die Daten bekommt und nutzen kann.

Gruß
Nils

derniwi schrieb:
Bitte verstehe mich nicht falsch,Keineswegs, ich denke, du hast nur die besten Absichten.

ich will Dich nicht angreifenKeine Sorge, ich halte schon was aus.

oder entmutigen, das liegt mir fern.Ich bin ja auch kein kleiner Junge mehr, Immerhin liegt mein Uni-Abschluss in Informatik schon über 40 Jahre zurück und ich muss nichts mehr erreichen oder beweisen.

Ich habe mich ja auch mal mit dem Export / Import beschäftigtJa, ich weiß. Ich habe dein Makro gelesen, verstanden und ausprobiert.

daher denke ich, ich kann hier ein wenig beurteilen, wie man die Daten bekommt und nutzen kann.Ja, das kannst du, das spricht dir hier niemand ab.

Was du jedoch nicht kannst: meinen Skript richtig beurteilen.
Denn offensichtlich hast du ihn nicht getestet. Sonst wüßtest du, dass damit (die ersten 10 Zeilen) genau wie in deinem Makro, eine aus dem HA exportierte Textdatei (es geht hier nicht um die Datenbank) importiert und dabei richtig formatiert wird.

Soweit ich weiss, enthält die Datenbank fuer eine gegebene Fahrt mehr als das, was als Trip Daten in die txt Datei geschrieben wird. Anhand der txt Datei ist es, soweit ich die Datei verstehe, etwa nicht möglich, den Stromverbrauch der allgemeinen Verbraucher zu ermitteln. Es gibt zwar den Strom in bzw. aus der Traktionsbatterie und dessen Spannung. Daraus kann man zwar die Leistung in bzw. aus der Batterie berechnen, aber ich habe nicht gefunden, wie das in allgemeine Verbraucher und Antriebsleistung unterschieden werden kann. Soweit ich mich erinnere, gibt es in der DB neben hv_a und hv_v auch noch einen Eintrag fuer die HV-Power.

Ich beschäftige mich auch damit, mehr aus den HA Daten herauszuholen. Unter Anderem interessiert mich, wie nahe ich mit meinem Fahrstil, unter Berücksichtigung der Wetterbedingungen und der Höhendifferenz, dem theoretisch möglichen Energieeinsatz komme. Bei neueren Fahrzeugen (seit Einführung des WLTP Verbrauchs) findet man die erforderlichen Zahlen zur Masse und den Fahrwiderständen in den COC-Papieren. Dann braucht man nur noch die Höhendaten (openelevationservice API) und die Wetterdaten (Windgeschwindigkeit, -richtung Luftdruck ggf. Temperatur etwa von openweathermap API fuer aktuell bzw. api.meteostat fuer historische Daten. Temperatur wird aber auch vom HA aufgezeichnet.) und kann anhand der Strecke den theoretischen Energiebedarf berechnen. Aus dem Vergleich mit dem tatsachlichen Energiebedarf könnte man einen ECO-Score berechnen. Das ist fuer die Einzelfahrt nur eine Näherung, da etwa der Einfluss von Windböen nicht berücksichtigt werden kann. Bisher habe ich dafür nur ein einfaches perl-Script geschrieben, das anhand einer txt Datei und momentan noch der Eingabe von Hand der Windgeschwindigkeit, -richtung, Höhendifferenz und allgemeine Verbraucher. Die Anbindung der APIs habe ich noch nicht dabei und die DB nutze ich auch noch nicht.

Ideal waere es natürlich die Infos schon während der Fahrt zu haben. Momentan ist fuer mich die wichtigste Zahl während der Fahrt im HA die verrichtete Arbeit in kWh/100 km, weiss dann aber nicht, was etwa der Beitrag etwa vom Wind ist.

Hier einmal zwei Beispiele an einem windigen/böigen Tag:
Das Programm verfolgt anhand der Strecke die Fahrt und berechnet dann fuer jede Sekunde der Fahrt aus der Richtung des Fahrzeugs zum Wind den Einfluss des Winds auf den Luftwiderstand, wobei Temperatur und Luftdruck auch berücksichtigt werden. Zusammen mit den CoC-Daten kann dann der theoretische Energiebedarf berechnet werden. Das Programm ist momentan noch nicht benutzerfreundlich.

Ein wenig Programmiererfahrung (knapp 50 Jahre) habe ich. In den letzten Jahren ist auch etwas App-Programmierung (Android/Java) in Rahmen von Kunstprojekten hinzugekommen. Bei Bedarf könnte ich mir vorstellen, etwas Zeit in ein Projekt rundum HA/HR mit anderen zu investieren.

Smoothie schrieb:

Was du jedoch nicht kannst: meinen Skript richtig beurteilen.
Denn offensichtlich hast du ihn nicht getestet. Sonst wüßtest du, dass damit (die ersten 10 Zeilen) genau wie in deinem Makro, eine aus dem HA exportierte Textdatei (es geht hier nicht um die Datenbank) importiert und dabei richtig formatiert wird.
Das stimmt teilweise, getestet habe ich Dein Skript nicht. Verstanden, denke ich schon. Dass die Formatierung durch den Import korrigiert wird, habe ich auch gelesen. Und das nur eine Export-Datei von HR eingelesen wird, ist auch klar.

Der Ersteller dieses Threads möchte die Daten aller Fahrten flexibel verarbeiten können. Das beißt sich meiner Meinung nach mit manuellen Exporten. Das ist zwar machbar, aber nicht benutzerfreundlich und relativ aufwendig.

Ich musste aus meiner Version in den Blättern CalculatedData und Speed jeweils 10.000 Zeilen löschen, damit die Datei klein genug fürs Forum war.

Hallo Smoothie,

jetzt habe ich Dein Script getestet, es arbeitet ja ähnlich wie meines... naja, mir hat der Makro-Rekorder geholfen, ein paar Befehle im Groben zu erfassen, dann kam Feintuning.

Die Idee, eine Excel-Datei zum Lesen der Daten und Exportieren in eine neue Datei, ist gut, habe ich auch schon ein paar mal gemacht. Das hat den Vorteil, dass Du hier Dein Skript noch erweitern kannst, um Formatierungen oder Berechnungen einzufügen. Z.B. eine Spalte, in der Datum und Uhrzeit kombiniert sind, was die spätere Auswertung erleichtert bzw. erleichtern kann. Oder auch schon ein paar Auswertungen und Standard-Diagramme. Damit verbiegst Du Deine Start-Datei nicht und evtl. kommt die zweite Datei dann nur mit Formeln aus und kann als .xlsx gespeichert werden (anstatt .xlsm).

Gruß
Nils

Ja, das war der Sinn der Übung.
Abgesehen von Formeln in der xlsx Datei kannst du sie mit einer gleichzeitig geöffneten xlsm Datei verarbeiten und hast so eine Trennung der Programme von den Daten.

Viele Wege führen nach Rom.

Ich habe jetzt noch einen anderen Weg angeschaut, muss da aber noch etwas programmieren. Dann wird die Geschichte vielleicht viel einfacher. Denn alle Daten in Excel zu laden könnte den Rahmen sprengen, da Execl max. ca. eine Million Zeilen pro Tabellenblatt verwenden kann.

Evtl. kann Lukas dann damit auch etwas anfangen. Ich werde aber in meinem Beitrag darüber berichten.