ISO27001effectiveness/Report.Rmd

---
title: "Estudio sobre la efectividad de la certificación ISO 27001"
output:
  html_document: default
  pdf_document: default
---
```{r setup, include=TRUE, echo=FALSE, warning=FALSE, results='hide', message=FALSE ,cache=FALSE}
library(knitr)
knitr::opts_chunk$set(echo = FALSE)
knitr::opts_chunk$set(warning = FALSE)
knitr::opts_chunk$set(message = FALSE)
knitr::opts_chunk$set(cache = FALSE)
devtools::load_all(".")
```
```{r include=TRUE, results='hide', cache=TRUE}
source("./Main.R")
```
## Introducción
La creciente preocupación de muchas empresas con infraestructura IT crítica frente a ciberataques ha llevado a algunas de ellas a tomar medidas de seguridad como la creación de departamentos de Seguridad de la Información, llevar a cabo auditorías de seguridad y obtener certificaciones de seguridad entre otras.
El objetivo de este estudio es tratar de determinar, en la medida de lo posible, si conformar los sistemas de la empresa según la certificación ISO 27001 conlleva una disminución en el número de ciberataques producidos.
## Datos analizados
La primera barrera a superar en este estudio es la obtención de datos directos sobre ciberataques. No existe un repositorio oficial con todos los ciberataques producidos ya que en muchos de ellos no se dan a conocer los nombres de todas las empresas afectadas u otros datos relevantes sobre los mismos, por ello nos basaremos en los ataques reportados en una única web. Además, debido al cambio de formato de los datos de origen con los años, hemos optado por generalizar los datos lo que nos permitirá hacer un análisis por país, sector o tipo de ataque. Desafortunadamente, esto compromete el análisis, ya que al generalizar los datos son muchos más los efectos que podrian alteran los resultados, ya que existen mayor cantidad de factores externos que este estudio no cubre.
Respecto a los datos de certificaciones ISO 27001, proceden de la fuente oficial asi que se podría decir que son totalmente fiables.
Los datos que se han recogido para este estudio son:
* Lista de países y sectores profesionales que han obtenido certificación ISO 27001 (2007-2015) <http://www.iso.org/iso/iso_27001_iso_survey2015.xls>
* Lista de ciberataques producidos (con éxito) por país, sector profesional y tipo de ataque (2012-2016) <http://www.hackmageddon.com>
El análisis se realizará desde 2011 hasta 2016, teniendo en cuenta que los datos de las certificaciones realizadas en un año afectarán a los ataques del año siguiente, por lo tanto no se necesitarán datos de ciberataques en 2011 ni de certificaciones en 2016. Esto es una de las generalizaciones que antes comentabamos, ya que en realidad una certificación podría afectar a los datos de su mismo año, pero no disponemos de fechas exactas para poder cubrir esta relación.
### Procesado de los datos sobre certificaciones ISO 27001
De esta fuente se generan 3 data.frames diferentes, uno con las certificaciones por pais, otro con los web sites por pais y otro con las certificaciones por sector industrial. Aunque en este estudio solo emplearemos el primero y el último.
Para las certificaciones por país el resultado final es el siguiente:
```{r}
kable(head(Cert_PerCountry, 5))
```
El proceso para llegar hasta esta apariencia en ambos casos es muy parecido. En primer lugar se sustituyen NAs por ceros para evitar problemas durante la representación gráfica, luego se eliminan aquellas líneas que tengan vacio el campo _Country_ ya que no nos serian de utilidad. A continuación se estandarizan algunos nombres de paises para poder cruzar correctamente los datos con los códigos de dos caracteres especificacos en la ISO, y obtener de paso su continente mediante el package de R _countrycode_.
Para las certificaciones por sector industrial el resultado final es el siguiente:
```{r}
kable(head(Cert_PerSector, 5))
```
El procesado es parecido, aunque no se realiza toda la parte relativa al estandarizado de los nombres de los paises, en este caso se estandarizan los diferentes sectores industriales para poder cruzarlos con los datos de los ataques y se eliminan aquellas lineas con _INDUSTRIAL.SECTOR_ vacio.
### Procesado de los datos sobre ataques
Como comentabamos antes, aquí es donde encontramos el mayor problema, no existe un organismo que se dedique a mantener un repositorio con datos oficiales sobre ataques producidos. La fuente que escogimos proviene de la web y es administrada por _@paulsparrows_, consiste en reportes de la comunidad sobre ataques que se hayan hecho publicos, ademas con el paso de los años el formato en que se almacenaban los datos sobre dichos ataques ha evolucionado lo que nos provoca mayor complejidad a la hora de correlacionar los historicos de diferentes epocas.
El data.frame resultado tiene la siguiente apariencia:
```{r}
kable(head(Attacks, 5))
```
Para llegar hasta el fueron necesarios procesos algo más complejos, pero se resumen en los siguientes: 
* Respecto al campo _Country_ se eliminaron NAs y se estandarizaron los valores para coincidir com el estandard ISO de dos caracteres. Además se ignoraron aquellos casos en los que no se pudo deducir el significado o no nos podia aportar nada: H, W, 14, EU, UN, TI y >1. TAmbién existian casos en los que una misma linea referenciaba a varios paises separados por saltos de linea o espacios en blanco, se desdoblaron dichas lineas en tantas como paises hubiera. Despues se procedió a cruzar con los nombres completos de pais y con sus continentes mediante el package _countrycode_.
* Respecto al campo _Date_ se eliminaron NAs, además las fechas venian almacenadas en formato númerico con diferentes origenes, por lo que nos tocó calcular el origen de cada uno de los diferentes ficheros mediante una calculadora de fechas.
* Respecto a los otros campos, se realizo una estandarización de los valores para poder cruzarlos correctamente con los datos de las certificaciones. Dicho proceso consistió en sacar todos los valores únicos en ambas fuentes y realizar equivalencias entre ellos. Los principales cambios se realizan en los campos _Attack.standar_ y _Target.standar_.
## Análisis
### Evolución general
En primer lugar, para saber si este estudio tiene sentido, se observará la evolución temporal tanto de los ciberataques reportados como de las certificaciones realizadas en busca de patrones que puedan indicar una relación entre ambas evoluciones.
```{r fig.width=4.5, fig.height=4,out.extra='style="float:left"'}
ISO27001effectiveness::GetCertsEvolution(Cert_PerCountry)
```
```{r fig.width=4.5, fig.height=4}
ISO27001effectiveness::GetAttacksEvolution(Attacks)
```
Como se puede observar en las gráficas, el número de empresas que obtienen la certificación crece anualmente, mientras que el numero de ataques es un poco más inestable. Del año 2013 al 2014 el número de ataques se reduce drásticamente, esto puede deberse a un problema en la fuente de datos, ya que al depender directamente de un ser humano pueden existir intervalos en los que se hayan registrado menos datos (por problemas del administrador, como falta de tiempo o interes). Otra explicación plausible es que justo en el año 2013 se produjo una revisión de la certificación, produciendose la ISO 27001:2013 que sustituyó a su predecesora 27001:2005, los cambios realizados pueden consultarse en la [web oficial](http://www.iso.org/iso/home/store/catalogue_tc/catalogue_detail.htm?csnumber=54534). Para indagar un poco sobre este tema a continuación se representa la evolución de los ataques mes a mes, al aumentar la precisión en el eje X se puede observar mejor la tendencia y abstraernos un poco de esos errores humanos.
```{r fig.width=9, fig.height=4}
ISO27001effectiveness::GetAttacksMonthEvolution(Attacks)
```
Podemos observar que la tendencia de los ataques tiene una pendiente negativa, mas pronunciada en el momento en que se realiza una actualización de las normas (27001:2013) y que presenta algo parecido, aunque muy moderada, a una recuperación, pasado un periodo de tiempo. 
También se podría relacionar la evolución de los ataques con la evolución de los certificados, si tenemos en cuenta el desplazamiento de un año para establecer la relación de causalidad. Por ejemplo podemos observar como los años en que menos crece el número de certificaciones (2012 y 2014), los ataques aumentan ligeramente en los años siguientes (2013 y 2015), mientras que en los años que mayor es el aumento de las mismas (2013 y 2015) la cantidad de ataques producidos disminuye para los años consecutivos (2014 y 2016).
### Evolución por tipo de ataque 
Podría darse el caso de que la certificación tenga uan efectividad mayor contra ciertas técnicas de ataque y que dicha efectividad se camufle entre el resto de técnicas, por ello contemplamos el estudio individual de los diferentes tipos de ataques definidos en nuestra fuente de datos. Existen multitud de ellos por lo que el estudio se tendrá que centrar en una pequeña parte de ellos, los más empleados. Para llevar a cabo esta elección se representan a continuación aquellos que representan al menos un 1% del total de ataques producidos.
```{r fig.width=9, fig.height=5}
ISO27001effectiveness::GetAttackTypePie(Attacks)
```
Como se puede observar en el gráfico anterior, la mayor parte de los ataques registrados en nuestra fuente de datos emplean las siguientes técnicas, que serán las estudiadas a continuación:
* Injection: Cualquier tipo de inyeccion ya sea de código, SQL, etc
* Defacement: Consiste básicamente en modificar la apariencia de una página web.
* DDoS: Trata de saturar un servicio mediante miles de conexiones para evitar que los usuarios legítimos puedan acceder con normalidad.
* Account Hijacking: Con lo que obtienen datos o credenciales de cuentas ajenas.
* Malware: Programas que se ejecutan en el sistema victima para llevar a cabo actividades maliciosas.
* DNS: Ataques basados en los servidores DNS de la victima, como el poisoning, que consigue retornar las IPs que no debería a cada petición.
```{r fig.width=9, fig.height=4}
ISO27001effectiveness::GetAttackTypeEvolution(Attacks)
```
Como podemos observar en la evolución temporal reflejada en el gráfico, existen ciertas técnicas que mas o menos son constantes en el tiempo, y existen otras que tienen o podrian tener una pendiente negativa clara. Nos centraremos en aquellos tipos de ataques que muestran dicha tendencia al descenso y que podremos observar a continuación.
```{r fig.width=3, fig.height=3,out.extra='style="float:left"'}
top <- ISO27001effectiveness::GetAttackTypeTopEvolution(Attacks)
top[[3]]
slope3 <- (fit[5] - fit[1]) / 4
```
```{r fig.width=3, fig.height=3,out.extra='style="float:left"'}
top[[1]]
slope1 <- (fit[5] - fit[1]) / 4
```
```{r fig.width=3, fig.height=3}
top[[2]]
slope2 <- (fit[5] - fit[1]) / 4
```
```{r fig.width=3, fig.height=3,out.extra='style="float:left"'}
top[[6]]
slope6 <- (fit[5] - fit[1]) / 4
```
```{r fig.width=3, fig.height=3,out.extra='style="float:left"'}
top[[4]]
slope4 <- (fit[5] - fit[1]) / 4
```
```{r fig.width=3, fig.height=3}
top[[5]]
slope5 <- (fit[5] - fit[1]) / 4
```
Los tipos de ataque están ordenados por la pendiente de su tendencia, de menor a mayor, para reflejar cuáles están descendiendo más rápido y por lo tanto cuáles podrían reflejar mejor el aumento de certificaciones ISO27001 expedidas. 
Tanto _Malware_ como _Account Hijacking_ tienen una tendencia con pendiente positiva, `r slope4` y `r slope5` respectivamente, por lo que quedan descartadas para este estudio.
La tendencia con una mayor pendiente negativa es _Injection_ (`r slope3`) y junto con _DDoS_ (`r slope1`), que también tiene una tendencia llamativa, pueden ser los que estén mas relacionados con la efectividad de la certificación ISO 27001.
Por otro lado tenemos _DNS_ cuya tendencia también tiene una pendiente negativa (`r slope6`), pero es muy moderada y además podemos observar que los casos reportados en nuestra fuente de datos son mas bien escasos.
### Evolución geográfica
Este apartado estudiará la relación entre la certificación ISO 27001 y los ataques producidos, pero teniendo en cuenta la variable geográfica, ya que es posible que la certificación, aunque sea internacional, se implemente de una mejor o peor forma según la región geográfica. En primer lugar observaremos la comparación por continente.
```{r fig.width=4.5, fig.height=3,out.extra='style="float:left"'}
graphs <- ISO27001effectiveness::GetContinentPie(Attacks, Cert_PerCountry)
graphs[[1]]
```
```{r fig.width=4.5, fig.height=3}
graphs[[2]]
```
Se puede observar a simple vista que los continentes que reciben más ataques, por una cuestión lógica de superficie e intereses, son por orden América, Asia y Europa. En cambio los continentes que mas certificaciones ISO 27001 obtienen son por orden Asia, Europa y América. Tanto África como Oceania podemos descartarlos en este estudio ya que sus porcentajes no son relevantes. Observemos ahora cómo influye esto en el tiempo.
```{r fig.width=4.5, fig.height=4,out.extra='style="float:left"'}
ISO27001effectiveness::GetContinentCertsEvolution(Cert_PerCountry)
```
```{r fig.width=4.5, fig.height=4}
ISO27001effectiveness::GetContinentAttacksEvolution(Attacks)
```
Se puede observar que la tendencia de las certificaciones es creciente mientras que la de los ataques es decreciente, pero procederemos a comparar cada una individualmente para poder demostrarlo numéricamente y no solo aparentemente.
```{r fig.width=4.5, fig.height=3,out.extra='style="float:left"'}
topAttacks <- ISO27001effectiveness::GetContinentAttacksTopEvolution(Attacks)
topCerts <- ISO27001effectiveness::GetContinentCertsTopEvolution(Cert_PerCountry)
topCerts[[1]]
slope_Ame_Cert <- (fit[5] - fit[1]) / 4
```
```{r fig.width=4.5, fig.height=3}
topAttacks[[1]]
slope_Ame_Att <- (fit[5] - fit[1]) / 4
```
La pendiente de los ataques para _América_ es `r slope_Ame_Att` mientras que la pendiente de las certificaciones es `r slope_Ame_Cert`.
```{r fig.width=4.5, fig.height=3,out.extra='style="float:left"'}
topCerts[[2]]
slope_Asi_Cert <- (fit[5] - fit[1]) / 4
```
```{r fig.width=4.5, fig.height=3}
topAttacks[[2]]
slope_Asi_Att <- (fit[5] - fit[1]) / 4
```
La pendiente de los ataques para _Asia_ es `r slope_Asi_Att` mientras que la pendiente de las certificaciones es `r slope_Asi_Cert`.
```{r fig.width=4.5, fig.height=3,out.extra='style="float:left"'}
topCerts[[3]]
slope_Eu_Cert <- (fit[5] - fit[1]) / 4
```
```{r fig.width=4.5, fig.height=3}
topAttacks[[3]]
slope_Eu_Att <- (fit[5] - fit[1]) / 4
```
La pendiente de los ataques para _Europa_ es `r slope_Eu_Att` mientras que la pendiente de las certificaciones es `r slope_Eu_Cert`.
Todas las pendientes podrían representar la relación que buscamos, en la que un aumento en las certificaciones produce un descenso en los ataques.
El análisis puede aumentar en profundidad estableciendo superficies geográficas más pequeñas y asi obtener más precisión, observemos lo que ocurre a nivel de paises. Se mostrarán a continuación los paises que superan aproximadamente un 2% de los ataques/certificaciones totales ya que la lista total de paises es demasiado extensa.
```{r fig.width=4.5, fig.height=3,out.extra='style="float:left"'}
top <- GetCountriesCol(Attacks, Cert_PerCountry)
top[[1]]
```
```{r fig.width=4.5, fig.height=3}
top[[2]]
```
Como se puede observar en la parte de certificaciones destaca de largo Japón sobre los demás, que se encuentra bastante bajo en la lista de ataques. Y al reves pasa algo parecido, en los ataques destaca Estados Unidos por mucho mientras que ese mismo pais está muy bajo en certificaciones. A continuación observaremos la evolución temporal del top 3 paises en ataques recibidos y en certificaciones obtenidas, varios de ellos coinciden, tenemos por la parte de las certificaciones a _Japón_, por la parte de los ataques a _Estados Unidos_, y común a ambas _Reino Unido_ e _India_.
# Viejo
De los datos mostrados se pueden hacer diferentes observaciones:
* De 2014 a 2015, USA pasa de tener 654 a 1247 empresas con certificación ISO 27001, sin embargo la cifra de ciberataques se mantiene constante de 383 a 386 ataques recibidos. De 2013 a 2014 por ejemplo, pasa de recibir 505 a 383 ataques pese a sólo haber pasado de 566 a 654 empresas con dicha certificación.
* Japón tiene un número inusualmente alto de empresas con la ISO 27001, no obstante sufre una cantidad de ciberataques comparativa a la de Israel, que tiene muchas menos empresas con la certificación.
Ambas observaciones son de especial interés ya que ponen de relieve situaciones en las que de ser efectivo reformar los sistemas para cumplir la ISO 27001, debería poder apreciarse un efecto en la cantidad de ciberataques recibidos. En el caso de los USA, sólo podría explicarse mediante alguna de las siguientes hipótesis:
* Entre 2013 y 2014 se produjo un número especialmente alto de ciberataques a USA
* Se crean más empresas de las que logran certificarse, y además, sufren ataques antes de obtenerla
La primera hipótesis puede ser comprobada con los datos que disponemos. A continuación se muestra una línea temporal de ciberataques globales entre los años 2012 y 2015.
Observamos que se produjo lo contrario, bajó el número de ciberataques.
## Conclusiones
Por lo observado anteriormente, se puede concluir que:
* La cantidad de ciberataques que recibe un país no se mitiga por el número de empresas que han obtenido la certificación ISO 270001
Esto no lleva a concluir que obtener la certificación ISO 27001 no es efectiva para reducir el número de ciberataques, sino que probablemente dependa de factores externos ajenos a este estudio
## Trabajo futuro
Como trabajo futuro querríamos poder seguir en la línea de investigación acerca de los siguientes puntos:
* ¿Qué factores producen un aumento o recesión en la cantidad de ciberataques recibidos?
* ¿Qué sectores industriales reciben más ciberataques?
* ¿Cuáles de esos sectores son los que más certificaciones obtienen?
Creemos que la investigación de estas cuestiones puede dar más robustez a las conclusiones expuestas en este estudio.