backup maken lukt niet

[Thuurke]

Hallo,

Ik gebruik een pi3
Ik heb de example docker-compose gebruikt
Ik heb de docker-compose.yml in /home/pi staan en dus wordt er een map dsmreader aangemaakt met de submappen db en backups. Rechten op dsmrreader map en op de backups map is:
Group = root[0]
Owner = root[0]
octal = 0755
Op de db map is het:
Group = root[0]
Owner = 999[999]
octal = 0700
Uitlezen van wifi p1-lezer op x.x.x.x met poort 23 lukt.
Backup geeft melding: Backup creation failed, please check the dsmr_backend logfile.

version: '3'
services:
  db-dsmr:
    image: postgres
    container_name: db-dsmr
    volumes:
      - ./dsmrreader/db:/var/lib/postgresql/data
    restart: unless-stopped
    environment:
      - POSTGRES_USER=dsmrreader
      - POSTGRES_PASSWORD=dsmrreader
      - POSTGRES_DB=dsmrreader
    networks:
      - net-dsmr

  dsmr:
    container_name: dsmr
    image: ualex73/dsmr-reader-docker
    container_name: dsmr
    restart: unless-stopped
    volumes:
      - ./dsmrreader/backups:/home/dsmr/app/backups
      - /dev:/dev
    environment:
      - DB_HOST=db-dsmr
      - DSMR_USER=admin
      - DSMR_EMAIL=root@localhost
      - DSMR_PASSWORD=admin
      - VIRTUAL_HOST=localhost
      - DSMRREADER_ADMIN_USER=admin
      - DSMRREADER_ADMIN_PASSWORD=password
    ports:
      - 8888:80
#    devices:
 #     - /dev/ttyUSB0:/dev/ttyUSB0
    networks:
      - net-dsmr

networks:
  net-dsmr:
    driver: bridge

[ualex73]

Dat is apart, want de DSMR software draait onder "root" in de container. Docker start de DSMR ook onder "root" op, dus dat betekent dat de DSMR processes eigenlijk altijd in de volumes kunnen schrijven (er zijn geen user permissies restricties).

Ik ga er vanuit dat in de GUI je de juiste grafieken ziet (dus met huidige waarden en week/maand/etc).

Als je de logfile wilt bekijken, moet je de container ingaan door bv:

$ docker exec -it dsmr /bin/bash
bash-5.0# cd /tmp/
bash-5.0# ls -ltr backend
-rw------- 1 root root 144 Jan 30 13:04 dsmr_backend-stdout---supervisor-75o8qptj.log
-rw------- 1 root root 76 Jan 31 14:00 dsmr_backend-stderr---supervisor-l7vdmdv9.log

Dan kan je in die logfiles kijken.

[devano1701]

Ik heb dezelfde fout. De metingen en de website werken goed.
Ik krijg wekelijks dezelfde foutmelding.

De rechten zijn:
drwxr-xr-x 2 root root 4096 Sep 17 19:48 dsmr_backups
drwx------ 19 999 root 4096 Sep 17 19:48 dsmrdb

Ik gebruik een iets gewijzigde (volgens mij de huidige) versie van de yaml file.

De laatste regel van dsmr_backend-stderr---supervisor-lai0toad.log
(feitelijk alleen deze regels iedere 30 seconden) luidt:

could not find a "pg_dump" to execute
pg_dump: error: server version: 13.4 (Debian 13.4-1.pgdg100+1); pg_dump version: 12.8
pg_dump: error: aborting because of server version mismatch
2021-10-22 16:33:20,201 ERROR schedule execute_scheduled_processes 37 | (AttributeError) dsmr_backup.services.backup.run errored: 'NoneType' object has no attribute 'read'

Enig idee waar ik moet zoeken?

[ualex73]

@devano1701 Het lijkt erop dat de pg_dump die je gebruikt, een andere versie dan de server. Ik gok dat je PostgreSQL 13.x gebruikt en geen 12.x ... De alpine image die ik dus gebruikt, lijkt 12.x mee te leveren. Ik zal is kijken of ik deze kan upgraden naar een andere latere versie (dit duurt wel 1-2-3 weken).

[ualex73]

BTW ... Welke image gebruik je? amd64? armv6? armv7? arm64? etc

[devano1701]

Ik gebruik inderdaad de laatste PostgreSQL en dat is volgens mij 13.
Ik neem aan dat je de image van raspios bedoeld: dat is raspios-buster-armhf armv7l.

[ualex73]

@devano1701 ik heb van de week de images ge-update naar de laatste alpine image, dus die ondersteunen tot en met PostgreSQL 14. Nu Rasbpian Debian 11 ondersteunt, zijn er geen issues met de timestamps meer :-)

[devano1701]

Enkele weken geleden heb ik de nieuwe image geïnstalleerd. Door de eerdere fout met pg_dump heb ik mijn data niet kunnen redden. Ik krijg nu geen notificaties met foutmeldingen meer, maar er gaat volgens mij nog steeds iets mis.
In de log-file (dsmr_backend-stderr---supervisor-xx.log) staat steeds: could not find a "pg_dump" to execute
En wanneer ik een back-up probeer te maken zoals dat in de beschrijving staat, lees ik in de back-up file: pg_dumpall: error: connection to server on socket "/var/run/postgresql/.s.PGSQL.5432" failed: FATAL: role "postgres" does not exist
Het lijkt erop dat de image niet compleet is. Of ik doe iets verkeerds, maar wat?

[ualex73]

Welke image draai je?

[devano1701]

version: '3'

services:
dsmrdb:
image: postgres
container_name: dsmrdb
volumes:
- dsmrdb:/var/lib/postgresql/data
- dsmrdb_backups:/home/dsmr/app/backups
restart: always
environment:
- POSTGRES_USER=dsmrreader
- POSTGRES_PASSWORD=dsmrreader
- POSTGRES_DB=dsmrreader
networks:
- backend

dsmr:
build: .
image: ualex73/dsmr-reader-docker
container_name: dsmr
restart: always
environment:
- DB_HOST=dsmrdb
- DSMR_USER=admin
- DSMR_EMAIL=root@localhost
- DSMR_PASSWORD=admin
- VIRTUAL_HOST=localhost
ports:
- 8888:80
- 8889:443
devices:
- /dev/ttyUSB0:/dev/ttyUSB0
networks:
- backend

volumes:
dsmrdb:
dsmrdb_backups:

networks:
backend:
driver: bridge

[ualex73]

Ok, ik kijk in de laatste image voor armv7 en ik zie daar de pg_dump wel instaan:
/usr/bin/pg_dump

Kan je met het volgende commando in jouw docker container kijken of die pg_dump daar ook is?:
docker exec -it dsmr /bin/bash

[ualex73]

die melding 'failed: FATAL: role "postgres" does not exist' lijkt iets anders te zijn (komt mij niet bekend voor).

Maar er wordt is gezegd over aanmaken in de volgende link:
https://stackoverflow.com/questions/7863770/rails-and-postgresql-role-postgres-does-not-exist

[devano1701]

pg_dump staat bij mij wel in /usr/bin/

[devano1701]

Dat suggereert dat de user postgres niet zou bestaan. Maar als ik in de docker image naar /etc/passwd kijk dan staat deze gebruiker erin: postgres:x:70:70:PostgreSQL user:/var/lib/postgresql:/bin/sh

Ik begrijp dus ook niet wat hier gebeurt.

[devano1701]

Ik heb nog even wat verder gekeken.

De data is wel aanwezig in dsmrdb:
root@823371dfa2d6:/var/lib/postgresql/data# ls
base pg_commit_ts pg_hba.conf pg_logical pg_notify pg_serial pg_stat pg_subtrans pg_twophase pg_wal postgresql.auto.conf postmaster.opts
global pg_dynshmem pg_ident.conf pg_multixact pg_replslot pg_snapshots pg_stat_tmp pg_tblspc PG_VERSION pg_xact postgresql.conf postmaster.pid

Maar de back-up is leeg:
root@823371dfa2d6:/home/dsmr/app/backups# ls -al
total 8
drwxr-xr-x 2 root root 4096 Dec 29 21:43 .
drwxr-xr-x 3 root root 4096 Dec 29 21:50 ..

Hoewel ik nu geen foutmelding meer krijg (zoals eerder), wordt er kennelijk geen back-up gemaakt.

De web-interface van de DSMR reader werkt (de data is er immers).

En de images zijn aanwezig:
~ $ docker-compose -f docker-compose-dsmr.yml images
Container Repository Tag Image Id Size

dsmr ualex73/dsmr-reader-docker latest 8fcae70de0ad 175.3 MB
dsmrdb postgres latest 2099d625b795 310.7 MB

Ik gebruik een Pi 3B met het laatste os:
~ $ cat /etc/os-release
PRETTY_NAME="Raspbian GNU/Linux 11 (bullseye)"
NAME="Raspbian GNU/Linux"
VERSION_ID="11"
VERSION="11 (bullseye)"
VERSION_CODENAME=bullseye
ID=raspbian
ID_LIKE=debian
HOME_URL="http://www.raspbian.org/"
SUPPORT_URL="http://www.raspbian.org/RaspbianForums"
BUG_REPORT_URL="http://www.raspbian.org/RaspbianBugs"

Wat gaat er mis ?

[ualex73]

Apart, ik draai dezelfde images die je hierboven hebt aangegeven op een andere Pi4. Hier zie ik ook de melding over pg_dump, maar de backup wordt gewoon gemaakt. Morgen zal ik proberen om een handmatige backup te maken.