report.lyx

#LyX 2.1 created this file. For more info see http://www.lyx.org/
\lyxformat 474
\begin_document
\begin_header
\textclass book
\use_default_options true
\maintain_unincluded_children false
\language english
\language_package default
\inputencoding auto
\fontencoding global
\font_roman default
\font_sans default
\font_typewriter default
\font_math auto
\font_default_family default
\use_non_tex_fonts false
\font_sc false
\font_osf false
\font_sf_scale 100
\font_tt_scale 100
\graphics default
\default_output_format default
\output_sync 0
\bibtex_command default
\index_command default
\paperfontsize default
\spacing single
\use_hyperref false
\papersize default
\use_geometry true
\use_package amsmath 1
\use_package amssymb 1
\use_package cancel 1
\use_package esint 1
\use_package mathdots 1
\use_package mathtools 1
\use_package mhchem 1
\use_package stackrel 1
\use_package stmaryrd 1
\use_package undertilde 1
\cite_engine basic
\cite_engine_type default
\biblio_style plain
\use_bibtopic false
\use_indices false
\paperorientation portrait
\suppress_date false
\justification true
\use_refstyle 1
\index Index
\shortcut idx
\color #008000
\end_index
\secnumdepth 2
\tocdepth 2
\paragraph_separation indent
\paragraph_indentation default
\quotes_language english
\papercolumns 1
\papersides 1
\paperpagestyle default
\tracking_changes false
\output_changes false
\html_math_output 0
\html_css_as_file 0
\html_be_strict false
\end_header

\begin_body

\begin_layout Title
Reporte técnico: Implementación y creación de un sistema de reporteo de
 información de uso utilizando bitácoras del sistema Torque/PBS y Ganglia.
\end_layout

\begin_layout Author
Carlos E.
 López Natarén, J.
 Ismael Fernández Martínez y Alberto Cano Ortiz
\end_layout

\begin_layout Section*
Introducción
\end_layout

\begin_layout Standard
Durante ya poco más de una década, una buena parte de la planta de investigadore
s y estudiantes del instituto de física han utilizado los clusters de alto
 rendimiento, conforme hemos adquirido experiencia en el uso y mantenimiento
 de estos se ha encontrado que es necesario el uso de estadísticas de uso
 para tomar mejores decisiones respecto a áreas de oportunidad y de crecimiento
 de la infraestructura de cómputo del instituto.
 Es por eso que se ha utilizado desde hace un año Ganglia, con esta hemos
 colectado información que nos dan un perfil del uso del cluster durante
 el transcurso de este año, además ya que la gran mayoría de los trabajos
 enviados al cluster es por medio de Torque/PBS (ver http://www.fisica.unam.mx/clus
ters/mingus_manual.php para el manual de cómo enviar trabajos en este cluster)
 hemos decidido hacer una versión 
\begin_inset Quotes eld
\end_inset

in house
\begin_inset Quotes erd
\end_inset

 de una herramienta que nos permita extraer información importante en forma
 de estadísticas, más granulares y complementarias a las que nos proporciona
 el propio Ganglia, hemos llamado a este proyecto Statsganglia.
 
\end_layout

\begin_layout Section*
Ganglia
\end_layout

\begin_layout Standard
Ganglia ofrece datos de medidas de rendimiento y un monitoreo rutinario
 en tiempo real para redes de computadoras.
 Ganglia corre en todos los sitemas opertivos populares, es facilmente escalable
 para redes muy grandes debido a su diseño y resistente a errores.
 Ganglia fue diseñado para supervisar y recolectar cantidades masivas de
 medidas de un sistema en tiempo real.
\end_layout

\begin_layout Standard
Ganglia sirve cuando:
\end_layout

\begin_layout Itemize
Se tiene un número de computadoras con un sistema operativo de uso general
 y se requiere información de su desempeño en tiempo real.
 Asi mismo Ganglia puede monitorear componentes de una red como routers
 y switches.
\end_layout

\begin_layout Itemize
Los hosts puedan ser organizados en grupos.
\end_layout

\begin_layout Itemize
El sistema operativo y red no sean hostiles ante el protcolo UDP.
\end_layout

\begin_layout Standard
Ganglia esta compuesto de 3 demonios: gmond, gmetad y gweb.
 Operacionalmente cada demonio es autonomo, necesitando solo su propio archivo
 de configuración para operar.
 Cada uno de ellos comenzara y correra aun con la aucensia de alguno de
 los otros dos, aunque los tres demonios con copperativos.
 Además se requieren los tres para tener una instalación útil.
\end_layout

\begin_layout Standard
Toda la información es intercambiada en XML y XDR, esto asegura maxima extensibi
lidad y portabilidad.
\end_layout

\begin_layout Standard
\begin_inset Graphics
	filename img/ganglia.png

\end_inset


\end_layout

\begin_layout Itemize
gmond (Ganglia Monitoring Daemon):
\end_layout

\begin_deeper
\begin_layout Standard
Es un demonio multithread el cual corre en cada nodo perteneciente al cluster
 que se desea monitorear.
 Gmond es responsable de la interacción con el sistema operativo anfitrion
 para adquirir medidas sobre metricas tales como la carga del CPU y la capacidad
 de disco.
 Gmond tiene un diseño modular, contando con plug-ins especificos del sistema
 operativo escritos en C para tomar mediciones.
 Gmond viene incluido con la mayoria de las metricas que puedan interesar.
 Es importante hacer notar que se pueden añadir plugins para extender las
 metricas que se monitorean.
 Gmond no espera que a que algo externo le diga cuanto tomar medidas, ni
 pasa los resultados directamente a encuestador centralizado, en lugar de
 eso gmond encuesta de cauerdo con su propio calendario, como se encuentra
 definido en su archivo local de configuraci´on.
 Las medidas son compartidas con los pares (peers) usando un simple protcolo
 via XDR (External Data Representation), estos anuncios son hechos via multicast
 (el cluster esta compuesto por hosts que comparten la misma dirección multicast
).
 Gmond solo hace multicast de una metrica que esta monitoriando por dos
 razones:
\end_layout

\begin_layout Itemize
Un cambio en el valor de la metrica excede el valor del umbral.
 El umbral nos asegura que gmond solo haga multicast cuando es realmente
 necesario.
\end_layout

\begin_layout Itemize
No ha hecho un multicast de la metrica en cierto tiempo.
\end_layout

\begin_layout Standard
Estas restricciones reducen la saturación del canal multicast.
 Cada gmond host debe guardar las metricas que recibe de sus pares (peers).
 Con esto se puede pedir un XML con el estado copleto del cluster.
 Aunque gmond solo compartira información de los hosts especificados en
 el parametro trusted_hosts en el archivo de configuración (gmond.conf).
 El puerto 8649 es el puerto por defecto para para escuchar por peticiones
 XML (sobre TCP).
 Se puede ver una descripción usando telenet:
\end_layout

\begin_layout Standard
$telnet localhost 8649.
\end_layout

\begin_layout Standard
Gmond se auto-organiza y asegura que todos los gmonds esten en sicronia,
 con esto se solo se tiene que consultar un nodo por cluster para conocer
 el estado completo del cluster.
\end_layout

\begin_layout Standard
Las configuraciones por defecto trabajaran en la mayoria de los clusters.
 Ademas gmond es muy fexible y altamente personalizable.
\end_layout

\end_deeper
\begin_layout Itemize
gmetad (Ganglia Meta Daemon):
\end_layout

\begin_layout Standard
Gmetad extrae la descripcion XML de fuentes de datos de ganglia (gmonds
 o incluso gmetads) via rutas unicast.
 El comportameinto de gmetad es controlado por un archivo de configuración
 (gmetad.conf).
 Gmetad es el back-end de del front-end de ganglia.
 Gmetad almacena la información en bases de datos Round-Robin, esta información
 es usada por el front-end (resumenes exportados en XML).
\end_layout

\begin_layout Itemize
gweb (Ganglia Web Frontend):
\end_layout

\begin_layout Standard
El frontend es escrito en PHP.
 Las paginas web son muy dinamicas cualquier cambio en la infromación de
 Ganglia aparece inmediatamente en el sitio (Sitio muy responsivo).
 El front-end depende de la existencia de Gmetad el cual le provee de la
 información de varias fuentes Ganglia.
 El front-end espera recibir un arbol XML de Ganglia por el puerto 8651.
 
\end_layout

\begin_layout Standard
La mayoria de los paarmaetros de configuracion se encuentran en gmetad-webfronte
nd/conf.php.
 Las partes estaticas de sitio pueden ser modificadas, es decir hay elemntos
 como etiquetas, links, imagenes, etc pueden ser modificadas.
 Existe una variable $template_name donde se nombra un directorio dond ese
 encuentra el actual tema (Ganglia usa TemplatePower para implementar temas).
 Ademas se pueden modificar valores como los rangos de fechas o que metricas
 desplegar.
\end_layout

\begin_layout Section*
Torque/PBS (Carlos: Descripción de cómo funciona en general )
\end_layout

\begin_layout Standard
El uso de Torque/PBS ha sido documentado en varias partes del manual de
 mingus, principalmente en la página de clusters del instituto, en la página
 de manuales (http://www.fisica.unam.mx/clusters/mingus_manual.php), la configuració
n actual del scheduler es la siguiente:
\end_layout

\begin_layout LyX-Code
Max open servers: 10239 
\end_layout

\begin_layout LyX-Code
Qmgr: p s 
\end_layout

\begin_layout LyX-Code
# # Create queues and set their attributes.
 
\end_layout

\begin_layout LyX-Code
#
\end_layout

\begin_layout LyX-Code
#
\end_layout

\begin_layout LyX-Code
# Create and define queue medium 
\end_layout

\begin_layout LyX-Code
# 
\end_layout

\begin_layout LyX-Code
create queue medium 
\end_layout

\begin_layout LyX-Code
set queue medium queue_type = Execution 
\end_layout

\begin_layout LyX-Code
set queue medium max_user_queuable = 174 
\end_layout

\begin_layout LyX-Code
set queue medium resources_max.ncpus = 176 
\end_layout

\begin_layout LyX-Code
set queue medium resources_max.nodect = 200 
\end_layout

\begin_layout LyX-Code
set queue medium resources_min.cput = 00:00:01 
\end_layout

\begin_layout LyX-Code
set queue medium resources_min.ncpus = 1 
\end_layout

\begin_layout LyX-Code
set queue medium resources_min.nodect = 1 
\end_layout

\begin_layout LyX-Code
set queue medium resources_min.walltime = 00:00:01 
\end_layout

\begin_layout LyX-Code
set queue medium resources_default.cput = 1920:00:00 
\end_layout

\begin_layout LyX-Code
set queue medium resources_default.ncpus = 1 
\end_layout

\begin_layout LyX-Code
set queue medium resources_default.neednodes = medium 
\end_layout

\begin_layout LyX-Code
set queue medium resources_default.nodect = 1 
\end_layout

\begin_layout LyX-Code
set queue medium resources_default.walltime = 24:00:00 
\end_layout

\begin_layout LyX-Code
set queue medium resources_available.ncpus = 176 
\end_layout

\begin_layout LyX-Code
set queue medium resources_available.nodect = 200 
\end_layout

\begin_layout LyX-Code
set queue medium max_user_run = 174 
\end_layout

\begin_layout LyX-Code
set queue medium enabled = True 
\end_layout

\begin_layout LyX-Code
set queue medium started = True 
\end_layout

\begin_layout LyX-Code
#
\end_layout

\begin_layout LyX-Code
# Set server attributes.
 
\end_layout

\begin_layout LyX-Code
#
\end_layout

\begin_layout LyX-Code
set server scheduling = True 
\end_layout

\begin_layout LyX-Code
set server acl_hosts = mingus 
\end_layout

\begin_layout LyX-Code
set server managers = root@mingus 
\end_layout

\begin_layout LyX-Code
set server operators = root@mingus 
\end_layout

\begin_layout LyX-Code
set server default_queue = medium 
\end_layout

\begin_layout LyX-Code
set server log_events = 511 
\end_layout

\begin_layout LyX-Code
set server mail_from = adm 
\end_layout

\begin_layout LyX-Code
set server scheduler_iteration = 600 
\end_layout

\begin_layout LyX-Code
set server node_check_rate = 150 
\end_layout

\begin_layout LyX-Code
set server tcp_timeout = 6 
\end_layout

\begin_layout LyX-Code
set server mom_job_sync = True 
\end_layout

\begin_layout LyX-Code
set server keep_completed = 60 
\end_layout

\begin_layout LyX-Code
set server next_job_number = 40953 
\end_layout

\begin_layout LyX-Code
set server record_job_info = True 
\end_layout

\begin_layout LyX-Code
set server record_job_script = True 
\end_layout

\begin_layout LyX-Code
set server job_log_keep_days = 780
\end_layout

\begin_layout Subsection*
Archivos de bitácoras de Torque/PBS (Carlos)
\end_layout

\begin_layout Section*
R/Shiny (Ismael: Cómo funciona)
\end_layout

\begin_layout Standard
Shiny es un paquete de R que hace fácil el crear aplicaciones web interactivas
 llamadas apps directamente desde R.
 Para instalar shiny se debe abrir una sesión en R, estar conectado a internet
 y correr:
\end_layout

\begin_layout Itemize

\emph on
install.packages("shiny")
\emph default
 
\end_layout

\begin_layout Standard
Las apps de Shiny están compuestas por:
\end_layout

\begin_layout Itemize

\emph on
ui.R
\emph default
: un script usuario-interfaz (controla el diseño y la apariencia de la app).
\end_layout

\begin_layout Itemize

\emph on
server.R
\emph default
: un script servidor (contiene las instrucciones que la computadora necesita
 para construir la app).
\end_layout

\begin_layout Standard
Es importante notar que se puede añadir contenido HTML a las apps de Shiny.
 Se puede crear una app de Shiny al crear un nuevo directorio y guardar
 los archivos 
\emph on
ui.R
\emph default
 y 
\emph on
server.R
\emph default
 en él.
 Para ejecutar una app se debe dar el nombre de su directorio como argumento
 a la funcion 
\emph on
runApp
\emph default
, por ejemplo si nuestra aplicación se encuentra en el directorio llamado
 
\emph on
my_app, 
\emph default
la ejecutariamos desde una sesión de R de la siguiente manera:
\end_layout

\begin_layout Enumerate

\emph on
library(shiny)
\end_layout

\begin_layout Enumerate

\emph on
runApp(
\begin_inset Quotes eld
\end_inset

my_app
\begin_inset Quotes erd
\end_inset

)
\end_layout

\begin_layout Standard
Una app de Shiny es simplemente una aplicación web creada en R.
 Shiny esta basado en un modelo de programación reactivo, similar al de
 las hojas de cálculo.
 Con Shiny se pueden hacer ánalisis de datos reactivos, accesibles a cualquiera
 con navegador web.
\end_layout

\begin_layout Section*
Creación de las estadísticas generales (Ismael)
\end_layout

\begin_layout Standard
Primero se limpio la base datos, es decir se creo un tabla, donde cada renglón
 reprensenta un trabajo y toda su información, es decir toda la información
 obtenida de los archivos de bitácoras.
 Para realizar esto se contruyeron expresiones regulares:
\end_layout

\begin_layout Itemize

\emph on
kNameExpression <- "[a-zA-Z.0-9
\backslash

\backslash
_
\backslash

\backslash
-@]+"
\emph default
 (Expresión para nombres)
\end_layout

\begin_layout Itemize

\emph on
kFileExpression <- "[a-zA-Z.0-9
\backslash

\backslash
_
\backslash

\backslash
-
\backslash

\backslash
/@]+"
\emph default
 (Expresión para nombres de archivos y directorios)
\end_layout

\begin_layout Itemize

\emph on
kNumberExpression <- "[0-9]+"
\emph default
 (Expresión para números)
\end_layout

\begin_layout Itemize

\emph on
KTimeExpression <- "[0-9]+:[0-9]+:[0-9]+"
\emph default
 (Expresión para cantidades de tiempo)
\end_layout

\begin_layout Itemize

\emph on
KMemAmountExpression <- "[0-9]+(m|M|k|K|g|G|t|T)*(b|B)"
\emph default
 (Expresión para cantidades de memoria)
\end_layout

\begin_layout Standard
Las cuales se usuaron para extraer los campos
\emph on
 Jobid, Jobname, User, Group, Owner, Queue, Start, End, ctime, qtime, etime,
 execHost, listCPUT, listMem, listNCPUs, listNeedNode, listNodeCT, listWalltime,
 session, exitStatus, usedCPUT, usedMem, usedVMem, usedWalltime, requestor,
 dtime.

\emph default
 Debido a que el 
\emph on
Jobid 
\emph default
es el identificador único para los trabajos se uso como llave para manejar
 la información, es decir manipular la base de datos.
\end_layout

\begin_layout Standard
Una vez limpios los datos se diseño una interfaz para desplegar la información
 de manera interactiva (
\emph on
ui.R
\emph default
) y se contruyeron las funciones necesarias para manipular la información
 en 
\emph on
server.R 
\emph default
y la funciones para realizar cálculos y graficas en 
\emph on
utils.R
\emph default
.
 Se hizo uso de expressiones reactivas para prevenir calculos innecesarios
 y dar mayor rápidez y fluidez a la aplicación.
\end_layout

\begin_layout Standard
En la interfaz se contruyo un panel con tres pestañas: 
\emph on

\begin_inset Quotes eld
\end_inset

Resumen
\begin_inset Quotes erd
\end_inset

, 
\begin_inset Quotes eld
\end_inset

Usuario
\begin_inset Quotes erd
\end_inset

, 
\begin_inset Quotes eld
\end_inset

Trabajo
\begin_inset Quotes erd
\end_inset


\emph default
.
\end_layout

\begin_layout Standard
\begin_inset Graphics
	filename img/interface.png
	width 10cm

\end_inset


\end_layout

\begin_layout Standard
La información desplegada en esos paneles será en función de los rangos
 de fecha seleccionados en la parte superior.
\end_layout

\begin_layout Itemize
Resumen:
\end_layout

\begin_layout Standard
La pestaña resumen muestra los tipos mensajes de las bitácoras en el rango
 de fecha especificado, además muestra el número de trabajos activos en
 ese periodo y un histograma de los usuarios activos en ese periodo.
\end_layout

\begin_layout Standard
\begin_inset Graphics
	filename img/histogram_users.png
	width 10cm

\end_inset


\end_layout

\begin_layout Itemize
Usuarios:
\end_layout

\begin_layout Standard
La pestaña usuarios muestra la actividad de cada usuario, el usuario es
 elegido en un selector y muestra los mensajes asociados a cada usuario,
 además de el número de trabajos pertenecientes a ese usuario, así como
 toda la información de cada trabajo de ese usuario.
 Los usuarios disponibles en el selector, asi como la información despeglada
 de cada usuario van en función de los rangos de fechas seleccionados.
\end_layout

\begin_layout Standard
\begin_inset Graphics
	filename img/users.png
	width 10cm

\end_inset


\end_layout

\begin_layout Itemize
Trabajos:
\end_layout

\begin_layout Standard
La pestaña Trabajos muestra la información de cada trabajo, en la parte
 superior se encuetra un selector el cual nos permite selectionar todos
 los trabajos si su actividad se encuentra en el rango de fechas establecidos.
\end_layout

\begin_layout Standard
\begin_inset Graphics
	filename img/jobs.png
	width 10cm

\end_inset


\end_layout

\begin_layout Section*
Creación de las estadísticas particulares por usuario (Alberto)
\end_layout

\begin_layout Standard
Despues de haber limpiado partes claves del mensage que es arrojado en cada
 unos de los registros log del calendarizador se crearon las sieguientes
 series de tiempo.
\end_layout

\begin_layout Standard
Fue creada una serie de tiempo de los nodos, donde estos ademas son agrupados
 por el estado en el que se encuentran; se espera que facilite el analisis
 de frecuencia de fallos en cada unos de los nodos.
\end_layout

\begin_layout Standard
\begin_inset Graphics
	filename img/1.jpg
	lyxscale 20
	width 15cm
	height 5cm

\end_inset


\end_layout

\begin_layout Standard
Fue creada una serie de tiempo de los trabajos por usuario, donde ademas
 estos mismos son agrupados por el estado en el que se encuentran, mostrara
 en cada punto la frecuencia de los fallos.
\end_layout

\begin_layout Standard
\begin_inset Graphics
	filename img/2.jpg
	lyxscale 20
	width 15cm
	height 5cm

\end_inset


\end_layout

\begin_layout Standard
fue creado un histograma que muestra el numero de trabajos de cada usuario
 agrupado por el estado del trabajo del usuario, complementa la información
 de la serie de tiempo pasada.
\end_layout

\begin_layout Standard
\begin_inset Graphics
	filename img/3.jpg
	lyxscale 20
	width 15cm
	height 5cm

\end_inset


\end_layout

\end_body
\end_document