Priusfreunde.de

Willkommen, Besucher
Bitte anmelden oder registrieren.    Passwort vergessen?

Hybrid App -Übertragung der txt in einer Datenbank
(3 Leser) TF104, YarisGerd, (1) Besucher
Hier dreht sich alles um die Überwachung und Protokollierung von Fahrzeugdaten über die OBD-Schnittstelle. Stichworte: Hybrid Assistant, Torque, Scangauge etc.
Zum Ende gehenSeite: 12
THEMA: Hybrid App -Übertragung der txt in einer Datenbank
#560814
Aw: Hybrid App -Übertragung der txt in einer Datenbank 12.10.2019 14:51 - vor 7 Monaten, 3 Wochen  
MarieCurie schrieb:
Soweit ich weiss, enthält die Datenbank fuer eine gegebene Fahrt mehr als das, was als Trip Daten in die txt Datei geschrieben wird.
Die Datenbank des HA enthält genau 1 Tabelle (FASTLOG) für die zeitlich zugeordneten Werte. Die vom Reporter exportierte .txt-Datei enthält genau diese Daten, nur der Timestamp wird aufgelöst in Datum und Uhrzeit, und beim SOC werden ein paar Nachkommastellen weggelassen. Darüber hinaus gibt es eben keine zeitlich zuordenbare Daten in der Datenbank.

Folgende Tabellen enthalten Trip-bezogene Daten:

TRIPS: Timestamp (Trip-Anfang), Timestamp (Trip-Ende), Anzahl der Datensätze, Streckenlänge

TRIPINFO: Timestamp (Trip-Ende), Auto (Modell-Code, VIN), HA-Version, Anzahl der Datensätze, OBD-Adapter (Verbindungsart-Code, MAC-Adresse, Bezeichnung, Hersteller), HV-Batterie (kWh+, kWh-), ICE (kWh), Anzahl (Übermäßige EV-Ereignisse, Bremsungen, davon schlechte, gemixte), Rekuperation (kWh gesamt), Nervosität am Gaspedal, Anzahl(Zündungen, davon ineffizient), SOC% zurückgewonnen (Bremsen, Segeln, ICE geladen), OBD (Firmware, Disconnections, Corrupted Frames, Total Frames), GlideType

Beide Tabellen enthalten jeweils 1 Datensatz je Trip.
Mehrere Zeilen je Trip enthalten die folgenden 3 Tabellen, die vermutlich Zwischenergebnisse für die Reports enthalten:

AVERAGED (=gemittelt, 1 Zeile je ID und KEY): Timestamp (Trip-Ende), ID, Key, Value, Samples
STAT ( =? Statistik, 1 Zeile je Stat): Timestamp (Trip-Ende), Stat, Start, End, Min, Max, Avg, Variance
STATE ( =? Status, 1 Zeile je State): Timestamp (Trip-Ende), State, Maxlength, Percent

Ferner gibt es noch die Tabellen PREFERENCE für die HA-Einstellungen, PALETTE für Farb-Codes sowie Tabellen, die in meiner DB noch keine Einträge haben: NOTES, BATTLOG, HVCHECK, HVCHECKCELL, HVCHECKTEMPERATURE. Also insgesammt 13 Tabellen.

Meiner Meinung nach enthält die DB keine zusätzlichen Informationen zur .txt-Datei, die für Auswertungen, die nicht schon der HR liefert, nützlich wären.
Was die Einbeziehung der Höhen-Daten in eine Fahrer-Auswertung betrifft, hätte ich Bedenken bezüglich der Genauigkeit der GPS-Angaben während der Fahrt. Und den Wind berücksichtigen? Sehr ambitioniert. Ich wünsche dir viel Erfolg bei deinen Vorhaben.
Smoothie
Beiträge: 911
Benutzer offline Hier klicken, um das Profil dieses Benutzers zu sehen
Letzte Änderung: 12.10.2019 22:10 von Smoothie.
P4 PHV --- --- Keep calm and drive smooth! ---
Kein öffentlicher Schreibzugriff erlaubt, bitte erst registrieren!
 
#560821
Aw: Hybrid App -Übertragung der txt in einer Datenbank 12.10.2019 16:17 - vor 7 Monaten, 3 Wochen  
Zum Einfluß des Windes auf die Fahrt: sicherlich gibt es relevanten Rücken- wie auch Gegenwind. Aber diesen wird man nicht ermitteln können, wenn nicht an der ganzen Strecke auf Fahrzeughöhe gemessen wird. Der Wind kann in verschiedenen Höhen sehr unterschiedlich sein, sein es von der Richtung wie auch von der Stärke. Insofern halte ich die Einbeziehung irgendwelcher Wetterdaten aus dem Internet für wenig hilfreich, vielleicht sogar eher mit negativem Effekt.
derniwi
Beiträge: 383
Benutzer offline Hier klicken, um das Profil dieses Benutzers zu sehen
Kein öffentlicher Schreibzugriff erlaubt, bitte erst registrieren!
 
#561354
Aw: Hybrid App -Übertragung der txt in einer Datenbank 15.10.2019 09:08 - vor 7 Monaten, 3 Wochen  
So Skript läuft

Bis jetzt findet er alle TXT Dateien die im gleichen Ordner sind und lädt sie vollautomatisch auf einen MySQL Server.

Falls es bedarf gibt lukas.kraemer.4.8.2000@gmail.com
bitte einmal melden. Es ist aber noch in der Beta
Lukaskraemer
Beiträge: 10
Benutzer offline Hier klicken, um das Profil dieses Benutzers zu sehen
Kein öffentlicher Schreibzugriff erlaubt, bitte erst registrieren!
 
#561655
Aw: Hybrid App -Übertragung der txt in einer Datenbank 16.10.2019 13:09 - vor 7 Monaten, 3 Wochen  
Ich arbeite noch an der Dokumentation bzw Installationsanleitung.

Man muss halt relativ viel vorladen.

Habe dann schon Ideen das zu lösen aber es ist halt angenehmer ein konfigurierbares Skript zu haben und dann einfach in der Bedienung.

Falls jmd Interesse an der vorab Version hat bitte melden.

Wenn es dann die finale Version ist kommt die kostenfrei auf github, es ist kostenlos
Lukaskraemer
Beiträge: 10
Benutzer offline Hier klicken, um das Profil dieses Benutzers zu sehen
Kein öffentlicher Schreibzugriff erlaubt, bitte erst registrieren!
 
#564278
Aw: Hybrid App -Übertragung der txt in einer Datenbank 29.10.2019 21:15 - vor 7 Monaten, 1 Woche  
Alles ist fertig und getestet, danke an alle Beta-Tester

Habe es gestern Nacht um 4 Uhr fertig gestellt und heute wurde es abgenommen und kann veröffentlicht werden

github.com/LukasKraemer/Public/blob/mast...rsion_1_0_public.zip

In der Zip Datei ist das "Programm", des SQL Befehl um die DB zu erstellen und eine Ream me. Die Read me enthält den Link zum YT Video.

Ich wünsche viel Spaß, je nach Ressonanz werden weitere Funktionen hinzugefügt. Habe noch einige halbfertige Sachen auf meinem PC. Bis jetzt nimmt er nur Daten und läd sie auf eine Lokale Datenbank, von der man dann weiter mit Excel oder ähnlichem Auswertungen machen kann.

Ich wünsche viel Spaß
Lukaskraemer
Beiträge: 10
Benutzer offline Hier klicken, um das Profil dieses Benutzers zu sehen
Kein öffentlicher Schreibzugriff erlaubt, bitte erst registrieren!
 
#564283
Fertig - HA App- Trip_data to Database 29.10.2019 21:39 - vor 7 Monaten, 1 Woche  
Hallo Forum,

wie in einem bereits von mir erstellten Beitrag angesprochen, habe ich ein kleines Programm das die Daten auf eine "richtige" Datenbank lädt. Somit kann man per ODBC mit fast jedem Programm auf diese Werte zugreifen um sie zu verarbeiten oder grafisch darzustellen.

Das Programm liest alle TXT Dateien mit dem Namen: Trip*.txt ein, lädt sie in eine Tabelle in der DB. Von der DB aus kann man in Excel, Access oder jedem ähnlichem Programm Auswertungen machen.

Das Projekt liegt auf GitHub, einfach die Zip Datei unterladen, die Datei enthält:

Das "Programm", das mit Python Programmiert wurde und Quellcode offen ist

Ein SQL Befehl, zum Erstellen der formatierten Tabelle mit allen 48 Spalten.

Eine Read me- in der meine E-Mail Adresse liegt, ein Link zum minimalistisches Erklärvideo und alle Links die benötigt werden.

Das klingt jetzt erstmal viel, ich habe alles in 10min installiert und eingerichtet. Somit sollten die 15min eine Sinnvolle Investition sein.

Als kleiner Benchmark, er hat 300.00 Zeilen in zirka 2 min hochgeladen, jeder Händische Input dauert länger.

Man legt alle Text Dateien in ein Ordner, startet das Programm und drückt auf Start. Das wars

PS: Ich lege kein Wert auf Rechtschreibung und das ist beabsichtigt, das Entwickeln der Lösung dauerte schon unverhältnismäßig lange und damit hatte ich wenig Interesse Grammatikalisch Richtigen Kommentaren und Forenbeiträge zum Schreiben.

Komplette Arbeitsdauert schätzungsweise 100 Stunden weil,

- ich viele Lösungsansätze hatte um es Nutzerfreundlich zu machen
- ich eine gute Performance haben wollte
- ich mit fremden Datenbankvorlagen angefangen habe
- selbst kein Hybrid fahre

Für Kritik und Verbesserungsvorschläge könnt ihr mir gerne eine Nachricht schreiben.

Bei Rückfragen stehe ich Ihnen gerne zur Verfügung

Euch einen schönen Tag
Lukaskraemer
Beiträge: 10
Benutzer offline Hier klicken, um das Profil dieses Benutzers zu sehen
Kein öffentlicher Schreibzugriff erlaubt, bitte erst registrieren!
 
#602008
Datenerfassung der HA App 30.05.2020 00:00 - vor 6 Tagen, 5 Stunden  
Hallo Forum,

werde bei der HA-APP bei allen Autos die gleichen Werte erfasst?

könnte jmd mir sagen welche Werte von welchem Auto nicht erfasst werden?

Ich habe vor zirka einem halben Jahr schon ein stumpfes Tool veröffentlicht, es lädt Daten auf eine Datenbank von einer Textdatei.

Jetzt ist dieses Freizeitprojekt etwas größer und es geht um die Validierung der Daten.

- Es hat eine schönere Gui
- Loginwerte können in der GUI eingeben werden
- Spritkosten upload von Spritmonitor.de (bis jetzt nur als txt Datei)
- generieren eine Übersichtstabelle
- Berechnungen werden auf mehreren Prozessen durchgeführt, bessere Performance

Ich möchte falsche oder fehlende Werte abfangen, um es an die Community zu übergeben

Die bereits verrechneten Werte sollen in ein Übersichtsdiagramm fließen, dass hoffentlich dynamisch und sehr variable ist.

das ganze soll mit PHP, MYSQL und Ajax realisiert werden.

Ich habe zufälligerweise keine 10 Autos in meiner Einfahrt, also eine kurze Übersicht über fehlende Werte oder falsche Werte.

Ich weiß, dass im April ein paar weitere Werte hinzukamen
ich weiß, dass es etwas dauert bis er den Akkustand abfangen kann
ich weiß, dass manche Fahrten keine Fahrten sind (Zündung anmachen um z.B. das Fenster zu schließen kann auch schon als Fahrt zählen)

Was hattet ihr für Eigenheiten bei euch?

Danke im Vorraus
Lukaskraemer
Beiträge: 10
Benutzer offline Hier klicken, um das Profil dieses Benutzers zu sehen
Kein öffentlicher Schreibzugriff erlaubt, bitte erst registrieren!
 
#602162
Aw: Hybrid App -Übertragung der txt in einer Datenbank 30.05.2020 19:41 - vor 5 Tagen, 9 Stunden  
Hallo Lukas,

der von Dir geteilte github-Link funktioniert zwischenzeitlich nicht mehr.

Kannst Du ein paar Screenshot des GUIs und Entwurf des Übersichtsdiagramms etc. hier einstellen, damit man sich den Funktionsumfang ungefähr vorstellen kann?

Das Projekt hört sich sehr interessant an.

Viele Grüße, yarison
yarison
Moderator
Beiträge: 5704
Benutzer offline Hier klicken, um das Profil dieses Benutzers zu sehen
YHSD 2016
Kein öffentlicher Schreibzugriff erlaubt, bitte erst registrieren!
 
#602201
Aw: Hybrid App -Übertragung der txt in einer Datenbank 30.05.2020 22:24 - vor 5 Tagen, 7 Stunden  
die Repo von Github wurde auf privat gestellt,

es traten mir persönlich zu viele Fehler auf und es war noch nicht sehr individuell.

Ich gab mein Projekt an einen Nutzer, der von sehr vielen Fehlern berichtete.

Die Probleme waren er Umgebung geschuldet, ich nutze zum Entwicklern Linux und habe es ihm dann als .exe zur Verfügung geben, dies machte einige Probleme.

Wenn Sie möchten, kann ich es gerne wieder online stellen, es ist aber nicht mal in der Beta Phase und alles noch Spagetti Bolognese.

Von einem Finalen Release sind wir noch einige Tage entwerft.

Das Upload und Verrechnungstool ist im Grundgerüst fertig

An der Auswertung wurde mal testweise gearbeitet.

Gedacht ist, alle vorgerechneten Werte in ein Diagramm zu hauen.

Es soll Responsiv sein, also auf allen Geräten gut lesbar
Die Zeiträume sollen variable sein (also Start und Endpunkt)
Die Spalten sollen variable ansteuerbar sein
es sollen 5-6 Diagrammtypen zur auswahl stehen

Das wird anhand von einer Formulareingabe erlöst, die Diagramme sind eine JS Bibliothek

das Upload Tool erklärt sich hoffentlich alleine- erst Rohdaten von der app(txt) hochladen, dann die Spritkosten als txt datei hochladen, des ganze dann Verrechnen lassen.

Ich finde es die bequemste Lösung, einmal anmelden, alles in einen Ordner kopieren und 3 Knöpfchen drücken - dann kann man es auf einer Webseite auf allen Geräten anschauen(vorausgesetzt man hat eine Domaine/Server)

Es kann dauern mal schnell mehrere Millionen Datensätze zu verrechen, wenn man es auf mehreren Prozessen auslegt - kein Problem mehr. Di Anzahl der prozessen kann eingestellt werden (1-2-3-4-6-8-12-16) stehen zur Auswahl
Lukaskraemer
Beiträge: 10
Benutzer offline Hier klicken, um das Profil dieses Benutzers zu sehen
Letzte Änderung: 30.05.2020 22:25 von Lukaskraemer.Grund: Prozessanzahl vergessen
Kein öffentlicher Schreibzugriff erlaubt, bitte erst registrieren!
 
#602224
Aw: Hybrid App -Übertragung der txt in einer Datenbank 31.05.2020 01:10 - vor 5 Tagen, 4 Stunden  
Hallo Forum,

ich habe es auf Github wieder öffentlich gestellt, ich denke es erklärt sich alles, wenn ich - einfach melden.

github.com/LukasKraemer/HA_Tool

Die Sache ist einfach, wenn Ihr Python installiert habt und alle Bibliotheken. Ich werde bestimmt nach und nach auch eine exe anbieten, aber heute nicht mehr. Ich muss des ausgibt testen, wie sich des verhält.

Ein paare weitere Funktionen sind auch noch angedacht, wenn euch was einfällt, unter dieser Nachricht ist genug Platz für Probleme, Fehler und Vorschläge

Ich habe es nur als Skript angeboten, da muss man sich etwas zurechtfinden.

Für die CLI verrückten, ne leider nein - alles GUI.Bei Bedarf kann ich aber auch des für Cli schreiben

Je nach Interresse kann man da bestimmt noch viel machen und des ist nur der Uploader.

Für die Auswertung habe ich noch alte Bilder gefunden, aber die sind sehr abtrakt und alt, ich habe das zeug gerade nicht auf meinem DEV-PC, sonst hätte ich es gezeigt.

Es zeigt aber eine Richtung

Lukaskraemer
Beiträge: 10
Benutzer offline Hier klicken, um das Profil dieses Benutzers zu sehen
Letzte Änderung: 31.05.2020 01:20 von Lukaskraemer.Grund: link vergessen
Kein öffentlicher Schreibzugriff erlaubt, bitte erst registrieren!
 
#603312
Aw: Hybrid App -Übertragung der txt in einer Datenbank 04.06.2020 23:42 - vor 5 Stunden, 51 Minuten  
kleines und wahrscheinlich eines der letzten Updates von mir hier im Forum

Das Tool ist ab jetzt verwendbar, im Normalbetrieb traten bei diversen Tests mit Linux und Win10 keine Fehler auf. In beiden Fällen wurde für den Uploader die neuste Python Version verwendet mit allen aktuellen Bibliotheken. Die Datenbank lag in Linux auf einer Mariadb und in Windows auf einer MySql Datenbank(version 8.xx). Als Webserver wurde in Linux der neuste Apache Webserver mit php 7.4.6 verwendet und in Windows das aktuellste XAMPP Paket, die DB hat nur Probleme gemacht.

Das Skript kann inzwischen
bei den Trips:
- doppelten Upload verhindern
- doppelte Dateien in einen anderen Ordner verschieben
- hochgeladene Dateien ins Archiv kopieren
- die Fahrten mit dem Trip_counter eindeutig festlegen

Spritkosten Uplaoder:
noch nichts, gedacht war eine Kostenanalyse zu erstellen - alles in Plannung

Übersicht:
- mehrere Prozesse gehen jede Fahrt durch und errechnet min/max/Durchschnittswerte und einige weitere Werte
-Werte unter einer gewissen Länge werden ignoriert und nicht berechnet

Die Gui zeigt den Fortschritt des Uploads an, das Terminal zeigt den Fortschritt der Berechnungen der Übersicht an. Ziel ist es, dass die Gui alle Fortschritte anzeigt.

Das ganze Tool läuft in Linux und Windows ohne mir bekannte Fehler, DAU Test fehlt noch.

---------------------------

Die Auswertung als einiges Tool

kann mit nur 2 Änderungen zu einer Universalen Darstellung unterschiedlicher Werte verwendet werden.

kann mit den aktuellen Einstellungen die Übersichtswerte gefiltert nach Datum und Spalten anzeigen lassen.

die Achsen passen sich automatisch an

beim drüberfahren mit der Maus wird der genaue Wert angezeigt

Hintergrundfarben, schattenfarben und alles weitere ist frei einstellbar. Einfach bei der Doku von www.chartjs.org/ nachschauen

weitere Funktionen sind auch dort zu entnehmen, bei Bedarf

bekannte Probleme:
-am Handy viel zu kleine Darstellung
- Handy bringt nicht die Nötige Rechenleistung, laden dauert bis zu 30sek

geplante Funktionen:
- weitere Filter(z.b. Fahrlängen Filtern, Uhrzeiten)
- Langzeitauswertung mit Wochen und Monatsübersicht

Ein Bild wie es gerade mit exemplarischen werte aussehen kann ist im Anhang

ich update die beiden Tools in sehr unregelmäßigen Abständen - einfach mal auf Github vorbei schreiben.

Bei Fragen stehe ich jederzeit zur Verfügung, private Nachricht oder hier im Beitrag.

Wer kurz mal Zeit hat und meine Tools benutzt, einfach mal gerne hier ein Feedback da lassen, das ich mich und das Programm verbessern kann.

PS: ich weiß Rechtschreibung und Grammatik ist nicht mein Fall um diese Uhrzeit, dieser Beitrag hier ist die letzte Tätigkeit für heute. Ich bin der Entwickler der Sache und wenn ich mich unverständlich ausdrücke einfach melden. Ich vergesse gerne, dass Ihr den Programmcode, den Aufbau und die Funktionen nicht kennt.
Lukaskraemer
Beiträge: 10
Benutzer offline Hier klicken, um das Profil dieses Benutzers zu sehen
Letzte Änderung: 04.06.2020 23:48 von Lukaskraemer.
Kein öffentlicher Schreibzugriff erlaubt, bitte erst registrieren!
 
Zum Anfang gehenSeite: 12
Moderation: KSR1, Timico, Shar, yarison, Knuddel1987