supprimer les simus de scratch
Salut, j'ai un peu abusé sur datarmor, et Mickael me demande gentiment de limiter a 2 jobs a la fois et de supprimer les simus au fur et a mesure. Il y a en effet une limite mécanique aux nombre de fichiers sur scratch (128millions, j en etais a 90million...oups). Cette derniere tache de suppression est tres chronophage et m empeche de relancer des jobs dès la fin des precedents. Comment proceder vous ? combien de simus en meme temps gardez vous sur scratch ? Y a t il un moyen d accelerer la suppression des fichiers ? Merci ! -- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238) https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
On a été soumis au meme pb... Simu 2 jobs supression lente de scratch. Je laisse Antoine te dire combien il a laissé de simus car moi j'ai tout nettoyé. Est-ce que tu pourrais faire un pbs de plusieurs pbs, par ex en ajoutant une boucle espece dans ton code R ? Steph Le 14/03/2024 à 09:13, Sigrid LEHUTA a écrit :
Salut,
j'ai un peu abusé sur datarmor, et Mickael me demande gentiment de limiter a 2 jobs a la fois et de supprimer les simus au fur et a mesure. Il y a en effet une limite mécanique aux nombre de fichiers sur scratch (128millions, j en etais a 90million...oups). Cette derniere tache de suppression est tres chronophage et m empeche de relancer des jobs dès la fin des precedents.
Comment proceder vous ? combien de simus en meme temps gardez vous sur scratch ? Y a t il un moyen d accelerer la suppression des fichiers ?
Merci !
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/ Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
je suis en train de tester autre chose : j appelle les simus de la meme maniere, comme ca les nouvelles ecrasent les anciennes, pas besoin de supprimer... j ai pas compris la proposition de boucle, tu veux dire pour qu'un seul job gere plusieurs especes (ou annees dans mon cas) ? Le 14/03/2024 à 09:51, Stephanie MAHEVAS a écrit :
On a été soumis au meme pb...
Simu 2 jobs
supression lente de scratch. Je laisse Antoine te dire combien il a laissé de simus car moi j'ai tout nettoyé.
Est-ce que tu pourrais faire un pbs de plusieurs pbs, par ex en ajoutant une boucle espece dans ton code R ?
Steph
Le 14/03/2024 à 09:13, Sigrid LEHUTA a écrit :
Salut,
j'ai un peu abusé sur datarmor, et Mickael me demande gentiment de limiter a 2 jobs a la fois et de supprimer les simus au fur et a mesure. Il y a en effet une limite mécanique aux nombre de fichiers sur scratch (128millions, j en etais a 90million...oups). Cette derniere tache de suppression est tres chronophage et m empeche de relancer des jobs dès la fin des precedents.
Comment proceder vous ? combien de simus en meme temps gardez vous sur scratch ? Y a t il un moyen d accelerer la suppression des fichiers ?
Merci !
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users Archives et moteur de recherche: http://list.isis-fish.org/pipermail/isis-fish-users/
-- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238) https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
Le 14/03/2024 à 09:57, Sigrid LEHUTA a écrit :
je suis en train de tester autre chose :
j appelle les simus de la meme maniere, comme ca les nouvelles ecrasent les anciennes, pas besoin de supprimer... pas con. Pour etre sure que ce tu as à la fin est bien le resultat de la nouvelle, tu pourrais faire une suppression de ce qu'il y a dans le repertoire unlink(simu_1) dans ton script R
j ai pas compris la proposition de boucle, tu veux dire pour qu'un seul job gere plusieurs especes (ou annees dans mon cas) ? oui.
Le 14/03/2024 à 09:51, Stephanie MAHEVAS a écrit :
On a été soumis au meme pb...
Simu 2 jobs
supression lente de scratch. Je laisse Antoine te dire combien il a laissé de simus car moi j'ai tout nettoyé.
Est-ce que tu pourrais faire un pbs de plusieurs pbs, par ex en ajoutant une boucle espece dans ton code R ?
Steph
Le 14/03/2024 à 09:13, Sigrid LEHUTA a écrit :
Salut,
j'ai un peu abusé sur datarmor, et Mickael me demande gentiment de limiter a 2 jobs a la fois et de supprimer les simus au fur et a mesure. Il y a en effet une limite mécanique aux nombre de fichiers sur scratch (128millions, j en etais a 90million...oups). Cette derniere tache de suppression est tres chronophage et m empeche de relancer des jobs dès la fin des precedents.
Comment proceder vous ? combien de simus en meme temps gardez vous sur scratch ? Y a t il un moyen d accelerer la suppression des fichiers ?
Merci !
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users Archives et moteur de recherche: http://list.isis-fish.org/pipermail/isis-fish-users/
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/ Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
ca m'interesse ton unlink ... tu peux me faire un exemple ? ou m envoyer ton script R que je vois comment bien l utiliser ? Merci ! je vais aussi cocher "supprimer les resultats apres les exports", c etait bete de ne pas le faire !! @ecric : y a t il d autres fichiers qu on peut supprimer pour alleger au max les simus ? Le 14/03/2024 à 10:26, Stephanie MAHEVAS a écrit :
Le 14/03/2024 à 09:57, Sigrid LEHUTA a écrit :
je suis en train de tester autre chose :
j appelle les simus de la meme maniere, comme ca les nouvelles ecrasent les anciennes, pas besoin de supprimer... pas con. Pour etre sure que ce tu as à la fin est bien le resultat de la nouvelle, tu pourrais faire une suppression de ce qu'il y a dans le repertoire unlink(simu_1) dans ton script R
j ai pas compris la proposition de boucle, tu veux dire pour qu'un seul job gere plusieurs especes (ou annees dans mon cas) ? oui.
Le 14/03/2024 à 09:51, Stephanie MAHEVAS a écrit :
On a été soumis au meme pb...
Simu 2 jobs
supression lente de scratch. Je laisse Antoine te dire combien il a laissé de simus car moi j'ai tout nettoyé.
Est-ce que tu pourrais faire un pbs de plusieurs pbs, par ex en ajoutant une boucle espece dans ton code R ?
Steph
Le 14/03/2024 à 09:13, Sigrid LEHUTA a écrit :
Salut,
j'ai un peu abusé sur datarmor, et Mickael me demande gentiment de limiter a 2 jobs a la fois et de supprimer les simus au fur et a mesure. Il y a en effet une limite mécanique aux nombre de fichiers sur scratch (128millions, j en etais a 90million...oups). Cette derniere tache de suppression est tres chronophage et m empeche de relancer des jobs dès la fin des precedents.
Comment proceder vous ? combien de simus en meme temps gardez vous sur scratch ? Y a t il un moyen d accelerer la suppression des fichiers ?
Merci !
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users Archives et moteur de recherche: http://list.isis-fish.org/pipermail/isis-fish-users/
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users Archives et moteur de recherche: http://list.isis-fish.org/pipermail/isis-fish-users/
-- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238) https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
Le 14/03/2024 à 11:06, Sigrid LEHUTA a écrit :
ca m'interesse ton unlink ...
tu peux me faire un exemple ? ou m envoyer ton script R que je vois comment bien l utiliser ? Merci ! j'ai jamais testé, juste cherché sur internet https://www.rdocumentation.org/packages/base/versions/3.6.2/topics/unlink
je vais aussi cocher "supprimer les resultats apres les exports", c etait bete de ne pas le faire !! effectivement
@ecric : y a t il d autres fichiers qu on peut supprimer pour alleger au max les simus ?
Le 14/03/2024 à 10:26, Stephanie MAHEVAS a écrit :
Le 14/03/2024 à 09:57, Sigrid LEHUTA a écrit :
je suis en train de tester autre chose :
j appelle les simus de la meme maniere, comme ca les nouvelles ecrasent les anciennes, pas besoin de supprimer... pas con. Pour etre sure que ce tu as à la fin est bien le resultat de la nouvelle, tu pourrais faire une suppression de ce qu'il y a dans le repertoire unlink(simu_1) dans ton script R
j ai pas compris la proposition de boucle, tu veux dire pour qu'un seul job gere plusieurs especes (ou annees dans mon cas) ? oui.
Le 14/03/2024 à 09:51, Stephanie MAHEVAS a écrit :
On a été soumis au meme pb...
Simu 2 jobs
supression lente de scratch. Je laisse Antoine te dire combien il a laissé de simus car moi j'ai tout nettoyé.
Est-ce que tu pourrais faire un pbs de plusieurs pbs, par ex en ajoutant une boucle espece dans ton code R ?
Steph
Le 14/03/2024 à 09:13, Sigrid LEHUTA a écrit :
Salut,
j'ai un peu abusé sur datarmor, et Mickael me demande gentiment de limiter a 2 jobs a la fois et de supprimer les simus au fur et a mesure. Il y a en effet une limite mécanique aux nombre de fichiers sur scratch (128millions, j en etais a 90million...oups). Cette derniere tache de suppression est tres chronophage et m empeche de relancer des jobs dès la fin des precedents.
Comment proceder vous ? combien de simus en meme temps gardez vous sur scratch ? Y a t il un moyen d accelerer la suppression des fichiers ?
Merci !
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users Archives et moteur de recherche: http://list.isis-fish.org/pipermail/isis-fish-users/
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users Archives et moteur de recherche: http://list.isis-fish.org/pipermail/isis-fish-users/
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/ Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
Le 14/03/2024 à 11:06, Sigrid LEHUTA a écrit :
ca m'interesse ton unlink ...
tu peux me faire un exemple ? ou m envoyer ton script R que je vois comment bien l utiliser ? Merci !
je vais aussi cocher "supprimer les resultats apres les exports", c etait bete de ne pas le faire !!
@ecric : y a t il d autres fichiers qu on peut supprimer pour alleger au max les simus ?
J'ai l'impression que le nombre de fichiers des simulations est relativement fixe (~150) au delta pret des exports qui prennent un fichier par export/pas de temps/pop. Par contre, sur les grosses bases genre defipel, il y a maintenant le cache des equations qui est embarqués dans chaque simulation (~ 5000 fichiers) Il est possible de supprimer ce cache une fois la simulation terminées (dossier "formules" dans la simulation). -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Salut, J'avoue que je n'ai pas trop contrôlé le nombre de fichiers enregistrés sur scratch. J'avais fait un grand nettoyage il y a quelques semaines car j'avais moi-aussi atteint les limites. Effectivement, il est préférable d'écraser les anciennes simulations au fur et à mesure si c'est possible. Quant à la question des deux jobs à la fois, c'est la règle que nous pratiquons depuis un petit moment suite à la demande de Mickaël. Bien-sûr ça ne fait pas gagner du temps, mais il vaut mieux ça que de détruire complétement le scratch ! Le 2024-03-14 09:57, Sigrid LEHUTA a écrit :
je suis en train de tester autre chose :
j appelle les simus de la meme maniere, comme ca les nouvelles ecrasent les anciennes, pas besoin de supprimer...
j ai pas compris la proposition de boucle, tu veux dire pour qu'un seul job gere plusieurs especes (ou annees dans mon cas) ?
Le 14/03/2024 à 09:51, Stephanie MAHEVAS a écrit :
On a été soumis au meme pb...
Simu 2 jobs
supression lente de scratch. Je laisse Antoine te dire combien il a laissé de simus car moi j'ai tout nettoyé.
Est-ce que tu pourrais faire un pbs de plusieurs pbs, par ex en ajoutant une boucle espece dans ton code R ?
Steph
Le 14/03/2024 à 09:13, Sigrid LEHUTA a écrit :
Salut,
j'ai un peu abusé sur datarmor, et Mickael me demande gentiment de limiter a 2 jobs a la fois et de supprimer les simus au fur et a mesure. Il y a en effet une limite mécanique aux nombre de fichiers sur scratch (128millions, j en etais a 90million...oups). Cette derniere tache de suppression est tres chronophage et m empeche de relancer des jobs dès la fin des precedents.
Comment proceder vous ? combien de simus en meme temps gardez vous sur scratch ? Y a t il un moyen d accelerer la suppression des fichiers ?
Merci !
-- ...................................................................... Stephanie MAHEVAS UMR MARBEC - site de Sète IFREMER/HM https://annuaire.ifremer.fr/cv/16343/
Tel: (33) 04 99 57 32 39 (8239) - 06 75 83 59 33
o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
_______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users Archives et moteur de recherche: http://list.isis-fish.org/pipermail/isis-fish-users/
-- Sigrid LEHUTA ~ ><> ~ Fisheries modeller IFREMER unit HALGO, Ecology and modeling for fisheries science lab (EMH) Member of the Mixed Research Unit DECOD: Dynamics and sustainability of ecosystems: from source to sea Member of l'Association Française d'Halieutique
IFREMER, Centre Atlantique Rue de l'Ile d'Yeu - BP 21105 44311 Nantes Cedex 03, France Tél : 02 40 37 42 38 (N° interne : 8238)
https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
_______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org https://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users Archives et moteur de recherche: http://list.isis-fish.org/pipermail/isis-fish-users/
participants (4)
-
aricouar -
Eric Chatellier -
Sigrid LEHUTA -
Stephanie MAHEVAS