PostgreSQL La base de donnees la plus sophistiquee au monde.

Forums PostgreSQL.fr

Le forum officiel de la communauté francophone de PostgreSQL

Vous n'êtes pas identifié(e).

#1 24/10/2019 14:48:02

dverite
Membre

Problème de flux (bug?) sur planete.postgresql.fr

Il y a certains blogs qui apparemment ne sont plus agrégés ni sur https://planete.postgresql.fr (la page) ni dans https://planete.postgresql.fr/atom.xml, à vue d'oeil à peu près la moitié.

Dans la liste à droite de la page, titrée "Membres de la planète PGFR", ça a l'air de correspondre aux membres dont le titre des liens est "internal server error" (qu'on voit en passant le pointeur souris dessus) alors que les URLs ont l'air valides.

Est-ce qu'il n'y aurait pas un problème avec la collecte des flux RSS individuels?

Dernière modification par dverite (24/10/2019 14:48:26)

Hors ligne

#2 24/10/2019 18:40:42

rjuju
Administrateur

Re : Problème de flux (bug?) sur planete.postgresql.fr

À priori il s'agit de tous les sites référencés en https.

Hors ligne

#3 24/10/2019 19:31:51

dverite
Membre

Re : Problème de flux (bug?) sur planete.postgresql.fr

Pour le https ton site https://rjuju.github.io/ serait un contre-exemple, parce qu'il est bien pris en compte.

Peut-être que ce sont les sites qui ont un certificat gratuit LetsEncrypt, si la base des autorités de certification du côté de l'agrégateur n'a pas été mise à jour depuis un moment .

Ou peut-être une incompatibilité de version TLS entre l'agrégateur et les serveurs https des blogs.

Hors ligne

#4 24/10/2019 19:59:41

rjuju
Administrateur

Re : Problème de flux (bug?) sur planete.postgresql.fr

Les liens fournis par mon feed pointent bien vers du https, mais le lien vers le feed original a apparemment été enregistré en http:

<a href="http://rjuju.github.io/postgresqlfr/feed.xml" title="subscribe">

Je penche vraiment pour une soucis de compatibilité général avec le https côté aggrégateur.

Hors ligne

#5 25/10/2019 12:17:55

jpargudo
Administrateur

Re : Problème de flux (bug?) sur planete.postgresql.fr

Bonjour par ici,

Je suis sur le truc du coup. Mais mauvaise nouvelle: l'aggregateur planet utilisé est très (très) vieux, peut-être même pas maintenu..

Même l'auto test renvoie des erreurs :-/ (cf ci-dessous).

J'ai testé en changeant http// en https// pour certains, car avec letsencrypt etc, il y a désormais des redir automatiques du genre http->https.. mais ça n'est pas ça le problème.

Bref, je regarde ça en détails, et surtout, comment faire autrement, avec un soft un peu plus récent hmm

PS: si vous avez des idées je prends :-)... juste j'attaque :-)

# ./runtests.py
.....................................................................................FF.ERROR:planet:Error 500 while updating feed <planet/tests/data/before.atom>
FERROR:planet:Error 500 while updating feed <planet/tests/data/before.atom>
ERROR:planet:Error 500 while updating feed <planet/tests/data/after.atom> (formerly <planet/tests/data/before.atom>)
FERROR:planet:Error 500 while updating feed <planet/tests/data/before.rss>
E
======================================================================
ERROR: test_update_with_no_date (planet.tests.test_sub.SubTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/var/www/planete.postgresql.fr/planet/tests/test_sub.py", line 63, in test_update_with_no_date
    item=channel._items.values()[0]
IndexError: list index out of range

======================================================================
FAIL: test_82 (planet.tests.test_sanitize.SanitizeTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/var/www/planete.postgresql.fr/planet/tests/test_sanitize.py", line 15, in <lambda>
    func = lambda self: self.assertEqual(sanitize.HTML(a), b)
AssertionError: '<a title=""">quote</a>' != '<a title="&#34;">quote</a>'

======================================================================
FAIL: test_83 (planet.tests.test_sanitize.SanitizeTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/var/www/planete.postgresql.fr/planet/tests/test_sanitize.py", line 15, in <lambda>
    func = lambda self: self.assertEqual(sanitize.HTML(a), b)
AssertionError: '<a title="\'">quote</a>' != '<a title="&#39;">quote</a>'

======================================================================
FAIL: test_fetch (planet.tests.test_sub.SubTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/var/www/planete.postgresql.fr/planet/tests/test_sub.py", line 32, in test_fetch
    self.assertEqual(len(items_list), 1)
AssertionError: 0 != 1

======================================================================
FAIL: test_update_with_new_date (planet.tests.test_sub.SubTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/var/www/planete.postgresql.fr/planet/tests/test_sub.py", line 51, in test_update_with_new_date
    self.assertEqual(len(items_list), 1)
AssertionError: 0 != 1

----------------------------------------------------------------------
Ran 91 tests in 0.097s

FAILED (failures=4, errors=1)

Hors ligne

#6 25/10/2019 13:58:40

dverite
Membre

Re : Problème de flux (bug?) sur planete.postgresql.fr

Apparemment planet.postgresql.org utilise la même base de code (UniversalFeedParser) mais dans une version plus récente.
Peut-être que ça peut inspirer une solution, sachant que le code est publié sur https://git.postgresql.org/gitweb/?p=hamn.git
On voit dans ce code que dans hamnadmin/hamnadmin/util/aggregate.py il fait "import feedparser", qui doit se référer à https://pypi.org/project/feedparser/ qui lui est maintenu.

Hors ligne

#7 25/10/2019 18:56:52

jpargudo
Administrateur

Re : Problème de flux (bug?) sur planete.postgresql.fr

Ok,

Je regarde ça, merci pour la piste Daniel !

Comme tu vois j'essaie de me dégager un peu de temps pour (re)faire un peu d'admin de PG.fr histoire d'aider une équipe qui en a bien besoin, et aussi parce que ça me fait plaisir :-)

Je vous tiens au courant...Par contre, ma bande passante est limitée, d'une part, et d'autre part, je vais en référer à l'équipe, pour que j 'en sois officiellement chargé ! smile

A+

Hors ligne

Pied de page des forums