Beiträge von Bouni

Hallo zusammen,

ihr habt vielleicht schon bemerkt das ich nicht mehr so oft hier bin um zu helfen wie auch schon, die Zeit ist einfach zu knapp :-/

Tut mir bitte einen Gefallen und stellt eure Frage hier im Thread und nicht als PN, ich will ungern die selben Fragen immer wieder als PMN beantworten.

Wenn ich das hier im Thread tue haben später andere auch was davon

FwSonnenstein_Jac alarmparser [alarmparser.py:41 - decode()] ERROR - <class 'str'> Das deutet drauf hin das erwartet wird das der Input als z.B. UTF-8 codierter Text daherkommt und mittels decode() dekodiert werden soll, dies aber weil entweder das encoding falsch ist oder der Text schon ein String ist nicht dekodiert werden kann. E-Mails die nicht reine Textmails sind sind mega Sch*** zu behandeln weil es dutzende encodings gibt ...

FFBuxZug1

einfach eine weitere Zeile im yaml einfügen:

  - var: NeueBezeichnung
    regex: 'NeueBezeichnung (.*)\n'

im Code dann:

 {"key": "NeueBezeichnung", "value": data.get("NeueBezeichnung")},

Das sollte eigentlich funktionieren (Keine Gewähr ;-))

FW Westerstede Pack mal alle Python und yaml Dateien in ein Zip und schick sie mir per DM dann schau ich mal ob ich was feststellen kann.

Morgen allerseits,

Zitat

Nach etwas suchen hab ich dann entdeckt, dass die Leitstelle das chartset von us=ascii auf utf-8 geändert hat. Kann das einen Einfluss haben?

Das ist schon mal Löblich von der LST, ASCII ist zwar OK, kann aber keien Umlaute, ISO-8859-1 ist so esotherischer Windows Mist, will man nicht haben, UTF-8 ist der Goldstandard.

Das was dein Problem auslöst kann davon allerdings nicht verursacht werden, das kann lediglich dazu fügren das aus einem ä ein ä wird oder so, aber nicht so gravierend das gar nichst mehr lesbar ist.

Moin,

Änder mal in alarmparser.py die Zeile 8 das sie so aussieht:

formatter = logging.Formatter('%(asctime)s.%(msecs)03d - %(name)s [%(filename)s:%(lineno)s - %(funcName)20s()] %(levelname)s - %(message)s')

in __main__.py die Zeile 17:

format = "%(asctime)s.%(msecs)03d - %(name)s [%(filename)s:%(lineno)s - %(funcName)20s()] %(levelname)s - %(message)s"

ebenfalls in __main__.py die Zeile 24:

formatter = logging.Formatter('%(asctime)s.%(msecs)03d - %(name)s [%(filename)s:%(lineno)s - %(funcName)20s()] %(levelname)s - %(message)s')

Änder die Zeile 22 in alarmparser.py:

LOGGER.error(msg)

Füg nach Zeile 26 in alarmparser.py diese Zeile ein:

except UnicodeDecodeError as e:
    LOGGER.error(e)
    pass

Damit gibts besseren debug output und wir kommen der Sache hoffentlich auf die Spur

FFBerka

Auf was für einer Platform läuft das Script (RaspberryPi!?)

Was für eine Python Version ist installiert?

Kannst du auch alarmparser.py posten, dort kommt der Fehler nämlich her, dann schau ich mir das mal an ...

Das hier ist auf jeden Fall das Problem: 2021-06-21 16:49:08,469.469 - alarmparser - ERROR - <class 'str'>

Dummerweise sieht man so halt nicht wo der Fehler auftritt

Kann ich nicht sagen, hab ich nie probiert. Kannst du mir die genaue Fehlermeldung mal posten?

aluecken

Weisst du ob die Leitstelle dafür irgenwas "tun" musste euch das XML zur verfügung zu stellen oder kommt das zusätzlich per Mail?

Unsere LST steubt sich nach Kräften auch nur das kleinste bisschen zusätzlich zu tun um uns das leben einfacher zu gestalten

Poste den code bitte nochmal und verwende dafür den code tag, sonst ist das komplett fürn A***

Nein, im Grunde definierst du eine variable in die das Ergebnis des entsprechenden Regex gespeichert wird.

Hier ein Besipiel

- var: start
  regex: 'Einsatzzeit (.*)\n'

die Variable heisst hier start , der dazugehörige Regex ist Einsatzzeit (.*)\n

Dieser Regex sucht nach dem Wort Einsatzzeit, gefolgt von einem Leerzeichen und packt alles danach bis zum Zeilenumbruch (\n) in die variable start.

An deinem Beispiel Alarm von weiter Oben würdest du z.B. die Strasse haben wollen.

- var: street
  regex: 'Straße (.*)\n'

Das würde die variable street mit "Teststraße" befüllen.

Und zu einem Screenshot, überall wo None steht, konnte kein Wert gefunden werden.

Das was bei start steht ist glaube ich ein Überbleibsel von Pyrokevin112

Der muss in seinen Mails Datum und Zeit gesondert parsen und zusammenfrickeln.

Poste vielleicht auch mal noch dein python code, dann schau ich mir das mal an

Wahrscheinlich passen die Regex nicht zu deiner Mail Struktur.

poste mal deine config

Ok, sehr schön das du ne Lösung gefunden hast!

EssalG

Ich habe bei uns eine Version laufen die PDFs auswertet, allerdings müssen die daten als Text im PDF stehen (so das du sie z.B. beim öffnen mit Acrobat Reader markieren kannst).

Das war allerdings ein mittelschwerer Schmerz im A*** bis das sauber lief.

Ich verwende dazu pdfminer

Den code will ich so wie er jetzt ist allerdings nicht veröffentlichen weil da viele edge cases abgefangen sind die nur uns betreffen und ich die nicht für jede Feuerwehr anpassen will (die meisen Leute haben keine Programmiererfahrung und ich nicht die Zeit das für alle zu tun :-/).

Im Grunde ist das der kern der Geschichte:

#!/usr/bin/env python3
# -*- coding: utf-8 -*-


import json
import logging
import re
import sys
from datetime import datetime as dt
from io import BytesIO

import pdfminer.high_level
import pdfminer.layout
import pdfminer.settings

LOGGER = logging.getLogger()
logging.getLogger("pdfminer").setLevel(logging.WARNING)


class Parser:
    """ Parser for Cobra4 PDF data """

    def __init__(self):
        self.filename = None
        self.raw_text = None
        self.data = {}

    def convert(self, pdfpath):
        """ Converts the PDF into text """
        LOGGER.debug("Convert PDF file %s", pdfpath)
        self.filename = pdfpath
        buffer = BytesIO()
        pdfminer.settings.STRICT = False
        pdffp = open(pdfpath, "rb")
        laparams = pdfminer.layout.LAParams(char_margin=20)
        pdfminer.high_level.extract_text_to_fp(pdffp, buffer, laparams=laparams)
        buffer.seek(0)
        pdffp.close()
        self.raw_text = buffer.read().decode("utf-8").strip()


if __name__ == "__main__":
    p = Parser()
    p.convert("./alarm.pdf")
    print(p.raw_text)

raw_text enthält dann den Text den das PDF enthielt. Allerdings ist der manchmal ein wenig durcheinander gewürfelt und ich hab noch keine Variante der laparms gefunden die das behebt.

Vielleicht hilf dir das ja weiter

Zitat von FFW31

Also in den git-Ordner kann ich nicht hinzufügen, aber wenn Bouni damit einverstanden ist, dann lade ich hier nur die relevanten 4 Dateien hoch.

Nur zu, brachst für nichts meine Erlaubnis

Morgen,

Sven das könntest du schön mit Marker Clustern lösen, wie z.B. hier: https://github.com/Leaflet/Leaflet.markercluster

Auf jeden fall wäre so ne Karte mit allen Einsätzen ne Super Sache!

Morgen allerseits,

wir starten jede Nacht die Windows 10 Maschine neu auf der unser EM läuft.

Beim Neustart sucht der EM auch brav nach Updates.

Heute Nacht konnte er die URL zum Updateserver aus irgendwelchen Gründen nicht auflösen (unser Provider wurde aufgekauft und da ist grade alles im umbruch, vlt. deswegen)

Das hat er auch durch eine Fehlermeldung angezeigt:

In den Details ist auch gut nachvollziehbar was schief gelaufen ist:

Allerdings finde ich es sehr ungünstig den EM wegen solch eines Problems nicht zu starten!

Sven Wärs möglich das ihr das in einem der nächsten Updates so ändert das der Fehler irgenwo geloggt wird, aber der EM trotzdem hoch kommt?

Danke schon mal vorweg!

Kein Thema, kenne ich nur zu gut

Klappt's denn nun wie gewünscht?

ff-sgh Hier ist das gut beschrieben: https://www.raspberrypi.org/documentation/…ig-txt/video.md

Such nach overscan_left

Zitat

Ich habe bisher nicht weitergemacht und werde zum Wochende versuchen es mit deiner neuen Anleitung einzurichten, bisher ist das Bild zu klein und nicht ausfüllend..

Das solltest du mit den 4 Overscan Parametern im /boot/config.txt behoben kriegen!

Morgen ff-sgh,

sorry für die späte Antwort. Kannst du mal ein Foto posten wie sich das Problem aktuell grade zeigt?

Wie hast du den dein Pi installiert und konfiguriert, von Hand?

Ich hab vor kurzem ein Ansible Playbook geschrieben und bei uns getestet, damit lässt sich alles quais automatisch installieren und ist dann auch richtig konfiguriert. Du kannst darüber auch den overscan einstellen, damit lassen sich schwarze Ränder beheben.

https://github.com/Bouni/VNC-CEC-remote-screen

Passt denn aktuell das Bild einigermassen?