Calcolo scientifico

 

Il servizio di Calcolo scientifico dell' INFN è stato sviluppato negli anni in stretta collaborazione con il Dipartimento di Fisica, che ha contribuito ampiamente e contribuisce tuttora alla sua realizzazione e gestione. Il Servizio si basa su un' infrastruttura virtualizzata su base XEN4, dove l'implementazione base è un cluster Scientific Linux CERN 5.
 
La composizione hardware è la seguente:

  • CPUs:
     
    1. job execution:
      150 core - 64 bit
      30 core - 32 bit
    2. 20 core 64 bit per la gestione dello storage, backup e sviluppo
       
  • Storage:
     
    1. 40 TB su filesystem distribuito dcache e NFS (users e data hosting)
    2. 10 TB backup
    3. 10 TB su filesystem parallelo (sviluppo)
       
  • Links:
     
    Il cluster è interconnesso a 1/10 Gbps, mentre è connesso verso l'esterno a 11 Gbps su loop GARR-x
     
  • Accesso:
     
    Tramite 2 “User Interface”, il cluster risponde alle esigenze dei gruppi di ricerca teorici e sperimentali. È in grado di rispondere a migliaia di richieste eterogenee di esecuzione giornaliere.

farms-pic1   farms-pic2

Il cluster viene utilizzato principalmente per attività di calcolo legate alle esigenze dei gruppi di ricerca locale.
 
L'attività di sviluppo e ricerca, legata alle risorse IT, può essere divisa principalmente in 3 settori:

 

Sviluppo in High Energy Physics

  1. Distributed data analysis tool
     
    Il computing model di LHC è basato su un' architettura multi-tiers, appoggiata sull' infrastruttura GRID (WLCG).
    CMS Remote Analysis Builder (CRAB) è un' applicazione indirizzata ai bisogni della comunità sperimentale CMS; fornisce al fisico un' interfaccia semplice per fare data-analysis ad LHC in GRID.
    CRAB interagisce con l'ambiente locale dell' utente, il Data Management Service e con il middleware GRID, alleggerendo l'utente di tutti i dettagli tecnici necessari all' interazione.
     
  2. farms-pic3   farms-pic4

  3. Workload management e data management
     
    Il Workload Management System (WMS) è un toolkit python. L'utente sottomette il suo workflow di analisi al WMS tramite un Client leggero.
    I task legati all'uso di database sono gestiti tramite MySQL, Oracle e CouchDB.
    L'accesso a GRID è gestito tramite agenti strutturati in componenti.
    Gli output degli utenti sono gestiti tramite l'agente di AsyncStageOut basato su soluzione FTS in gLite.

farms-pic1

 

Farming

  • il cluster è una soluzione mista per servire:
     
    1. le esigenze di diversi gruppi di fisica sperimentale e teorica
    2. diverse esigenze di calcolo (MPI, sequenziali, simulazioni...),
      implementando un' unica soluzione (SL di base + gLite/EMI + ...)
       
  • middleware GRID
     
    1. primo sviluppo di un nodo GRID completamente su rete privata (integrato in gLite)
    2. implementazione di una "transparent-grid" (job locali come grid-job)
       
  • servizi di virtualizzazione
     
    1. sistema completamente virtualizzato su base XEN
    2. soluzioni di managing dinamico delle risorse
       
  • farms-pic2

  • batch system
     
    1. Maui come sistema "Advanced Fair-share" (scalabilità, numero utenti e algoritmica)
    2. uso non convenzionale del tagging finalizzato al monitoring
       
  • monitoring
     
    1. locale (hardware e software via metrix)
    2. GRID (strumenti di Grid - nagios test)
    3. attività in HEP (monitoring per strumenti di data-transfer e data-storage)

farms-pic7
 

Sviluppi futuri

  • Dove siamo ora:
     
    1. filesystem distribuiti (HDFS) con MapReduce in HEP
    2. messaggistica (Apache ActiveMQ)
    3. WNodes (Worker Nodes on Demands Service)
       
  • Andiamo verso una:
     
    1. FARM atomica (unità = nodo + storage)
    2. integrazione con Cloud: EaaS (Everything as a Service) anche attraverso una virtualizzazione completa dei servizi GRID
    3. Alto livello di controllo attraverso:
      • maggior uso combinato di strumenti di monitor avanzato con una gestione dinamica delle risorse
      • maggior feedback continuo da data-mining complesso integrando servizi di messaggistica e DB.