Inkonsistenzen der Rückgabe bei gleicher URL #2
Description
Die Rückgabe der Inhalte auf den URLs des Bundestages unter https://www.bundestag.de/apps/plenar/plenar/conferenceweekDetail.form?year=${year}&week=${week} variiert.
So wird in diesem Beispiel unter der URL von KW 5/201 die Tagesordnung von KW 36/2014 zurückgegeben.
Da die Datensätze immer den nächsten referenzieren und es keine Übersicht über alle Kalenderwochen mit Bundestag-Sitzungen gibt, führt das zu einer unabschätzbaren Laufzeit, da es zu Schleifen im Abrufen der Daten kommt.
Zur Zeit liegt die durchschnittliche Laufzeit des Scrape-Prozesses bei ~5min, kann aber mindestens auf ~2min verkürzt werden, wenn dieses Problem behoben werden sollte. Auch die Anzahl der Abfragen kann dadurch deutlich reduziert werden.
Travis mit Loops: https://travis-ci.org/demokratie-live/scapacra-bt/jobs/595035531
Min. benötigte Abfragen: 118 (100%) ~85s
Getätigte Abfragen in diesem Scrape: 743 (630%) 532.54s
Eine Auffälligkeit in diesem Verhalten ist, dass die Loops in der Regel zwischen KW1 und 16 auftreten und auf die letzen Kalenderwochen des vorherigen Jahren verlinken (KW37 bis KW50).
Ein Loop hat dabei eine Länge zwischen 8 und 15 Abfragen.
Es ist zu vermuten das hier ein Fehler Seitens des Bundestages vorliegt.