Cómputo
Procesador:10 x Intel Xeon E5-2660v4 y 2 Intel Xeon E5-2680v4 - 168 núcleos físicos - 336 núcleos virtuales
Memoria: 768 GB
Acceso: ssh username@clemente
Aceleradora: NVIDIA GeForce GTX 1080 Ti
Particiones SLURM: debug (2 minutos - 336 núcleos virtuales - Clemente01-06)
batch (3 días - 336 núcleos virtuales - Clemente01-06)
small (6 horas - 56 núcleos virtuales - Clemente06)
gpu (3 días - 56 núcleos virtuales - Clemente06)
Conectividad: Infiniband DDR / Ethernet 1Gbps
Cabecera:
Sistema operativo:
Operating System: CentOS Linux 7 (Core)
Kernel: Linux 3.10.0-514.el7.x86_64
Architecture: x86-64
clemente[01-05]:
Procesador: 28 Cores [56 w/HT] Intel Xeon E5-2660v4
Socket(s): 2 Core(s) per socket: 14
Thread(s) per core: 2
L1d cache: 32K L1i cache: 32K
L2 cache: 256K L3 cache: 35840K
Cpu MHz: 1200
Memoria: 128 GB DDR4
Acceso: ssh username@clemente[01-05]*
Particiones SLURM: debug - batch
clemente06:
Procesador: 28 Cores [56 w/HT] Intel Xeon E5-2680v4
Socket(s): 2
Core(s) per socket: 14 Thread(s) per core: 2
L1 cache 896 KB
L2 cache: 3584 KB L3 cache: 35840 KB
Cpu MHz: 1200
Memoria: 128 GB DDR4
Acceso: ssh username@clemente06
Aceleradora: NVIDIA GeForce GTX 1080 Ti
Particiones SLURM: batch - debug - gpu - small
(*) A los nodos solo se puede acceder cuando hay un trabajo del usuario en ejecución
- Tarea: ejecutar programas utilizando gpu
- Ejecución: sbatch submit_gpu_job.sh
- Partición: gpu
- Tiempo máximo: 3 días
- submit_gpu_job.sh
- #!/bin/bash
- ### Las líneas #SBATCH configuran los recursos de la tarea
- ### (aunque parezcan estar comentadas)
- ### Nombre de la tarea
- #SBATCH --job-name=gpu_job
- ### Cola de trabajos a la cual enviar.
- #SBATCH --partition=gpu
- ### Procesos a largar.
- ### Por defecto, se usa un solo proceso para tareas GPU.
- #SBATCH --ntasks-per-node=1
- ### Tiempo de ejecucion. Formato dias-horas:minutos.
- #SBATCH --time 3-0:00
- ### Script que se ejecuta al arrancar el trabajo
- ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
- ### No tocar
- . /etc/profile
- ### Cargar los módulos para la tarea
- # FALTA: Agregar los módulos necesarios
- module load gcc
- module load cuda
- ### Largar el programa
- # FALTA: Cambiar el nombre del programa
- srun NOMBRE_DEL_PROGRAMA
- Tarea: ejecutar programas utilizando mpi
- Ejecución: sbatch submit_mpi_job.sh
- Partición: batch
- Tiempo máximo: 3 días
- submit_mpi_job.sh
- #!/bin/bash
- ### Las líneas #SBATCH configuran los recursos de la tarea
- ### (aunque parezcan estar comentadas)
- ### Nombre de la tarea
- #SBATCH --job-name=mpi_job
- ### Tiempo de ejecucion. Formato dias-horas:minutos.
- #SBATCH --time 3-0:00
- ### Numero de procesos a ser lanzados.
- #SBATCH --ntasks=112
- #SBATCH --nodes=2
- ### Nombre de partcion
- #SBATCH --partition=batch
- ### Script que se ejecuta al arrancar el trabajo
- ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
- ### No tocar
- . /etc/profile
- ### Cargar los módulos para la tarea
- # FALTA: Agregar los módulos necesarios
- module load gcc
- module load openmpi
- ### Largar el programa con los cores detectados
- ### La cantidad de nodos y cores se detecta automáticamente
- # FALTA: Cambiar el nombre del programa
- srun NOMBRE_DEL_PROGRAMA
- Tarea: ejecutar programas utilizando OPENMP
- Ejecución: sbatch submit_openmp_job.sh
- Partición: batch
- Tiempo máximo: 3 días
- submit_openmp_job.sh
- #!/bin/bash
- ### Las líneas #SBATCH configuran los recursos de la tarea
- ### (aunque parezcan estar comentadas)
- ### Nombre de la tarea
- #SBATCH --job-name=openmp_job
- ### Cola de trabajos a la cual enviar.
- #SBATCH --partition=batch
- ### Procesos a largar.
- ### Es OpenMP, o sea que un proceso en un nodo y muchos hilos.
- #SBATCH --ntasks=1
- ### Hilos por proceso
- ### Poner el mismo valor acá que en OMP_NUM_THREADS/MKL_NUM_THREADS
- #SBATCH --cpus-per-task=56
- ### Tiempo de ejecucion. Formato dias-horas:minutos.
- #SBATCH --time 3-0:00
- ### Script que se ejecuta al arrancar el trabajo
- ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
- ### No tocar
- . /etc/profile
- ### Configurar OpenMP/MKL/etc con la cantidad de cores detectada.
- export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
- export MKL_NUM_THREADS=$SLURM_CPUS_PER_TASK
- ### Cargar los módulos para la tarea
- # FALTA: Agregar los módulos necesarios
- module load gcc
- ### Largar el programa
- # FALTA: Cambiar el nombre del programa
- srun NOMBRE_DEL_PROGRAMA
No está permitido ejecutar trabajos en la cabecera.
En caso de estar ejecutando un trabajo, se puede acceder a través de ssh a los nodos para ver la ejecución del mismo.
Pueden encontrarse ejemplos de script de lanzamiento en /usr/share/doc/clemente.
Clemente posee una partición llamada "gpu" exclusiva para ejecutar tareas de GPGPU.
Clemente posee una partición para trabajos en MPI llamada batch. Tiene un tiempo máximo de 3 días y un total de 336 núcleos con disponibilidad de conexión infiniband
En marcha desde 2021
Son dos nodos independientes de cálculo, accesible sin el manejador de colas.
Cada nodo posee:
Procesador:AMD EPYC 7282 16-Core Processor
Cores: 32 virtuales SMT
Memoria: 64 GB DDR4
Acceso: ssh username@alumnos.oac.uncor.edu
ssh username@alumnos01.oac.uncor.edu
ssh username@alumnos02.oac.uncor.edu
Mulatona está conformada por 7 nodos.
Procesador: Cada nodo tiene 2 procesadores Intel Xeon E5-2683v4 de 16 núcleos
Memoria: Cada procesador tiene 128 GiB de RAM
Acceso: ssh username@mulatona.ccad.unc.edu.ar
Particiones SLURM: batch (7 días - 7 nodos)
Conectividad: Infiniband QDR basada en placas Mellanox ConnectX-3 MT27500/MT27520
Cabecera:
Procesador: 8 Cores Intel Core Processor (Broadwell, IBRS) 1,8 GHz
Memoria: 8GB
Acceso: ssh username@mulatona.ccad.unc.edu.ar
bdw[01-07]:
Procesador: 16 Cores Intel Xeon E5-2683v4
Memoria:
Particiones SLURM: batch - multi
(*) A los nodos solo se puede acceder cuando hay un trabajo del usuario en ejecución
- Tarea: ejemplo de ejecución de Flash
- Ejecución: sbatch submit_flash_job.sh
- Partición: batch
- Tiempo máximo: 7 días
- submit_flash_job.sh
- #!/bin/bash
- ### Las líneas #SBATCH configuran los recursos de la tarea
- ### (aunque parezcan estar comentadas)
- ### Nombre de la tarea
- #SBATCH --job-name=flash
- ### Cola de trabajos a la cual enviar.
- #SBATCH --partition=batch
- ### Procesos a largar.
- ### Es OpenMP.
- #SBATCH --ntasks=32
- #SBATCH --nodes=1
- ### Hilos por proceso
- ### Poner el mismo valor acá que en OMP_NUM_THREADS/MKL_NUM_THREADS
- ### Tiempo de ejecucion. Formato dias-horas:minutos.
- #SBATCH --time 4-0:0
- ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
- ### No tocar
- . /etc/profile
- ### Configurar OpenMP/MKL/etc con la cantidad de cores detectada.
- export OMP_NUM_THREADS=32
- export MKL_NUM_THREADS=32
- ### Cargar los módulos para la tarea
- module load gcc
- module load flash
- ### Corre el programa
- time srun ./flash
- submit_openmp_job.sh
- #!/bin/bash
- ### Las líneas #SBATCH configuran los recursos de la tarea
- ### (aunque parezcan estar comentadas)
- ### Nombre de la tarea
- #SBATCH --job-name=openmp_job
- ### Cola de trabajos a la cual enviar.
- #SBATCH --partition=batch
- ### Procesos a largar.
- #SBATCH --ntasks=1
- ### Hilos por proceso
- ### Poner el mismo valor acá que en OMP_NUM_THREADS/MKL_NUM_THREADS
- #SBATCH --cpus-per-task=32
- ### Tiempo de ejecucion. Formato dias-horas:minutos.
- #SBATCH --time 7-0:0
- ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
- ### No tocar
- . /etc/profile
- ### Configurar OpenMP/MKL/etc con la cantidad de cores detectada.
- export OMP_NUM_THREADS=32
- export MKL_NUM_THREADS=32
- ### Cargar los módulos para la tarea
- module load gcc
- ### Corre el programa
- srun NOMBRE_DEL_PROGRAMA
- submit_mpi_job.sh
- #!/bin/bash
- ### Las líneas #SBATCH configuran los recursos de la tarea
- ### (aunque parezcan estar comentadas)
- ### Nombre de la tarea
- #SBATCH --job-name=mpi_job
- ### Cola de trabajos a la cual enviar.
- #SBATCH --partition=batch
- ### Cantidad de procesos
- #SBATCH --ntasks=64
- ### Cantidad de nodos
- #SBATCH --nodes=2
- ### Tiempo de ejecucion. Formato dias-horas:minutos.
- #SBATCH --time 7-0:0
- ### Cargar el entorno del usuario incluyendo la funcionalidad de modules
- ### No tocar
- . /etc/profile
- ### Cargar los módulos para la tarea
- module load gcc
- module load openmpi
- ### Corre el programa
- srun NOMBRE_DEL_PROGRAMA
En marcha desde 2022
El nodo de cálculo es accesible sin el manejador de colas.
Motherboard: Supermicro H12SSL-NT, 8 DIMMs, PCie 4.0 x16/x8
Procesador: AMD Milan 7713P
- 64 núcleos de CPU
- 128 hilos
- 256 MB Caché L3
Memoria: 256 GB DDR4 ECC RDIMM 3200MHZ (8 x 32GB)
Acceso: ssh username@sersic
En marcha desde 2022
El nodo de cálculo es accesible sin el manejador de colas.
Motherboard: Supermicro H12SSL-NT, 8 DIMMs, PCie 4.0 x16/x8
Procesador: AMD Milan 7713P
- 64 núcleos de CPU
- 128 hilos
- 256 MB Caché L3
Memoria: 256 GB DDR4 ECC RDIMM 3200MHZ (8 x 32GB)
Acceso: ssh username@mirta