Direction du numérique (DN)


Gestion des données

Présentation des différents types d’espaces
Système de sauvegarde
Archivage
Transfert de données entre un poste de travail local et le cluster
Serveur de stockage UPPA

 

Présentation des différents types d’espaces

1. Scratch

Il s'agit d'un espace invisible à l'utilisateur car il est réservé aux programmes de calculs. Il est très rapide et sert uniquement à l'écriture de fichiers temporaires pour les calculs intermédiaires.

 

2. Home

Cet espace contient les répertoires utilisateurs (home directory). Chaque utilisateur peut ainsi occuper jusqu'à 70 Go, ceci afin de permettre de stocker les données de calcul souvent très volumineuses. Le système de stockage du home est un dispositif performant capable de d'accepter des débits de lecture écriture important. Il est également sécurisé par redondance des données (RAID). Cela le rend très honéreux et le prix du Go ne peut être comparé à celui des disques durs du commerce.

 

3. Suivi de l'espace occupé

  • Pour connaître l'espace occupé par ses données : "du -sh ~"  ou "quota -s"
  • Pour connaître l'état d'occupation du /home : "df -h /home"

 

 

Système de sauvegarde

Les données stockées localement sur pyrene.univ-pau.fr sont sauvegardées journalièrement. Un programme tourne toutes les nuits pour dupliquer les données. Elles restent accessibles 2 semaines en cas de perte.

Pour retrouver des données perdues, il suffit d'ouvrir un ticket dans la partie assistance du portail en précisant :
- le chemin d'accès aux données
- le chemin de récupération si vous voulez les récupérer dans un répertoire différent du répertoire d'origine
- la date car nous disposons d'une version par jour sur 15 jours
 

Règles de bonnes pratiques

L'espace de stockage dédié au cluster Pyrene est commun aussi est-il nécessaire de respecter quelques règles de cohabitation entre utilisateurs pour ne pas saturer l'espace disponible :

  • certaines données n'ont pas besoin d'être sauvegardées : il est alors demandé de suffixer le (ou les) répertoire qui les contiennent avec  "-nosave". De cette façon les répertoires concernés seront automatiquement exclus de la sauvegarde quotidienne. (exemple : mydata/ => mydata-nosave/). Cela réduira le temps de sauvegarde et contribuera à un meilleur fonctionnement du système
  • pensez à supprimer ces données lorsqu'elles ne vous sont plus nécessaires : l'espace de stockage du cluster n'a pas vocation a faire de l'archivage
  • seules les données relatives au calcul scientifiques ont vocation à être hébergées sur le cluster

 

 

Archivage

La DN ne propose pas de solution d'archivage. Les chercheurs qui souhaitent acquérir un espace d'archivage peuvent déposer un projet au pôle AS.

 

 

Transfert de données entre un poste de travail local et le cluster

Vous pouvez transférer vos données entre une machine locale (poste de travail) et une machine distante (cluster). Plusieurs possibilités s'offrent à vous suivant l'environnement utilisé et vos besoins.

 

1. À partir d'un environnement Linux

En lignes de commandes

 

  • Ouvrez un terminal

  • Utiliser la commande scp. Deux syntaxes selon le type de donnée

    • Pour un fichier
      scp fichier_origine user@pyrene.univ-pau.fr:repertoire_destination/

    • Pour un répertoire (copie récursive)
      scp -r rep_origine user@pyrene.univ-pau.fr:repertoire_destination
      où user doit être remplacé par votre identifiant

  • Si le système réclame un identifiant/mot de passe, utilisez votre identifiant UPPA.

 

En mode graphique

 

  • Lancez le logiciel gftp.

  • Indiquez les informations demandées :

    • Host=nom de la machine distante (ici le cluster: pyrene.univ-pau.fr)
    • Port= 22
    • user et password= identifiant et mot de passe utilisés pour accéder au portail.
    • choisir comme type de connexion 'SSH2'.

 

 

2. À partir d'un environnement Mac

 

En lignes de commandes

 

  • Ouvrez un terminal

  • Utiliser la commande scp. Deux syntaxes selon le type de donnée

    • Pour un fichier
      scp fichier_origine user@pyrene.univ-pau.fr:repertoire_destination/

    • Pour un répertoire (copie récursive)
      scp -r rep_origine user@pyrene.univ-pau.fr:repertoire_destination
      où user doit être remplacé par votre identifiant

  • Si le système réclame un identifiant/mot de passe, utilisez votre identifiant UPPA.

 

En mode graphique

 

3. À partir d'un environnement Windows

  • Lancez le logiciel 'Filezilla client'.

 

Nom du logiciel
Caractéristiques Documentation
Filezilla
Ce logiciel permet d'établir une connexion sftp en mode graphique.
On peut alors faire glisser répertoires et fichiers d'un côté à l'autre avec la souris.

 

 

Serveur de stockage UPPA

 

L'espace de stockage UPPA est un espace attribué à chacun. Il est possible d'y accéder depuis le portail de l'université, depuis son poste de travail et depuis le cluster. Concernant ce dernir, on peut accéder au serveur de stockage selon deux méthodes

 

1. Via FTP

 

se connecter à l'aide d'un client ftp (en ligne de commande ou graphique) au serveur stockage.univ-pau.fr en utilisant vos login et mot de passe habituels.

 

2. via Samba/CIFS

 

Sous LINUX :

  • avec KDE : dans un explorateur de fichiers, taper dans l'URL smb://stockage.univ-pau.fr/votre_login : vos identifiants sont alors demandés.
  • avec Gnome : dans le menu Places => Connect to server... Une fenêtre apparait alors, utilisez la capture ci-jointe pour savoir quoi mettre (remplacer ycezard par votre login bien évidemment).

 

Sous Mac :

Vouv pouvez afficher le serveur de stockage comme un disque dur partagé:

  • Dans le Finder, taper ⌘K (ou via le menu : Aller > Se connecter au serveur...).
  • Dans la fenêtre "Connexion au serveur", taper l'adresse du serveur ainsi : smb://dupont@stockage.univ-pau.fr puis entrer.
  • Taper son mot de passe et dans la liste des volumes disponibles, choisir celui de son login.
  • Le volume apparaît dans le Finder et l'on peut y glisser des fichiers ou en récupérer comme sur un volume local.