Report.Rmd 10.6 KB
---
title: "Estudio sobre la efectividad de la certificación ISO 27001"
output:
  html_document: default
  pdf_document: default
---

```{r setup, include=TRUE, echo=FALSE, warning=FALSE, results='hide', message=FALSE}

library(knitr)

knitr::opts_chunk$set(echo = FALSE)

devtools::load_all(".")
```

```{r include=TRUE, warning=FALSE, results='hide', message=FALSE, cache=TRUE}
source("./Main.R")
```

## Introducción

La creciente preocupación de muchas empresas con infraestructura IT crítica frente a ciberataques ha llevado a algunas de ellas a tomar medidas de seguridad como la creación de departamentos de Seguridad de la Información, llevar a cabo auditorías de seguridad y obtener certificaciones de seguridad entre otras.

El objetivo de este estudio es tratar de determinar, en la medida de lo posible, si conformar los sistemas de la empresa según la certificación ISO 27001 conlleva una disminución en el número de ciberataques producidos.

## Datos analizados

La primera barrera a superar en este estudio es la obtención de datos directos sobre ciberataques. No existe un repositorio oficial con todos los ciberataques producidos ya que en muchos de ellos no se dan a conocer los nombres de todas las empresas afectadas u otros datos relevantes sobre los mismos, por ello nos basaremos en los ataques reportados en una única web. Además, debido al cambio de formato de los datos de origen con los años, hemos optado por generalizar los datos lo que nos permitirá hacer un análisis por país, sector o tipo de ataque. Desafortunadamente, esto compromete el análisis, ya que al generalizar los datos son muchos más los efectos que podrian alteran los resultados, ya que existen mayor cantidad de factores externos que este estudio no cubre.

Respecto a los datos de certificaciones ISO 27001, proceden de la fuente oficial asi que se podría decir que son totalmente fiables.

Los datos que se han recogido para este estudio son:

* Lista de países y sectores profesionales que han obtenido certificación ISO 27001 (2007-2015) <http://www.iso.org/iso/iso_27001_iso_survey2015.xls>
* Lista de ciberataques producidos (con éxito) por país, sector profesional y tipo de ataque (2012-2016) <http://www.hackmageddon.com>

El análisis se realizará desde 2011 hasta 2016, teniendo en cuenta que los datos de las certificaciones realizadas en un año afectarán a los ataques del año siguiente, por lo tanto no se necesitarán datos de ciberataques en 2011 ni de certificaciones en 2016. Esto es una de las generalizaciones que antes comentabamos, ya que en realidad una certificación podría afectar a los datos de su mismo año, pero no disponemos de fechas exactas para poder cubrir esta relación.

### Procesado de los datos sobre certificaciones ISO 27001

De esta fuente se generan 3 data.frames diferentes, uno con las certificaciones por pais, otro con los web sites por pais y otro con las certificaciones por sector industrial. Aunque en este estudio solo emplearemos el primero y el último.

Para las certificaciones por país el resultado final es el siguiente:

```{r}
kable(head(Cert_PerCountry, 5))
```

El proceso para llegar hasta esta apariencia en ambos casos es muy parecido. En primer lugar se sustituyen NAs por ceros para evitar problemas durante la representación gráfica, luego se eliminan aquellas líneas que tengan vacio el campo _Country_ ya que no nos serian de utilidad. A continuación se estandarizan algunos nombres de paises para poder cruzar correctamente los datos con los códigos de dos caracteres especificacos en la ISO, y obtener de paso su continente mediante el package de R _countrycode_.

Para las certificaciones por sector industrial el resultado final es el siguiente:

```{r}
kable(head(Cert_PerSector, 5))
```

El procesado es parecido, aunque no se realiza toda la parte relativa al estandarizado de los nombres de los paises, en este caso se estandarizan los diferentes sectores industriales para poder cruzarlos con los datos de los ataques y se eliminan aquellas lineas con _INDUSTRIAL.SECTOR_ vacio.

### Procesado de los datos sobre ataques

Como comentabamos antes, aquí es donde encontramos el mayor problema, no existe un organismo que se dedique a mantener un repositorio con datos oficiales sobre ataques producidos. La fuente que escogimos proviene de la web y es administrada por _@paulsparrows_, consiste en reportes de la comunidad sobre ataques que se hayan hecho publicos, ademas con el paso de los años el formato en que se almacenaban los datos sobre dichos ataques ha evolucionado lo que nos provoca mayor complejidad a la hora de correlacionar los historicos de diferentes epocas.

El data.frame resultado tiene la siguiente apariencia:

```{r}
kable(head(Attacks, 5))
```

Para llegar hasta el fueron necesarios procesos algo más complejos, pero se resumen en los siguientes: 

* Respecto al campo _Country_ se eliminaron NAs y se estandarizaron los valores para coincidir com el estandard ISO de dos caracteres. Además se ignoraron aquellos casos en los que no se pudo deducir el significado o no nos podia aportar nada: H, W, 14, EU, UN, TI y >1. TAmbién existian casos en los que una misma linea referenciaba a varios paises separados por saltos de linea o espacios en blanco, se desdoblaron dichas lineas en tantas como paises hubiera. Despues se procedió a cruzar con los nombres completos de pais y con sus continentes mediante el package _countrycode_.
* Respecto al campo _Date_ se eliminaron NAs, además las fechas venian almacenadas en formato númerico con diferentes origenes, por lo que nos tocó calcular el origen de cada uno de los diferentes ficheros mediante una calculadora de fechas.
* Respecto a los otros campos, se realizo una estandarización de los valores para poder cruzarlos correctamente con los datos de las certificaciones. Dicho proceso consistió en sacar todos los valores únicos en ambas fuentes y realizar equivalencias entre ellos. Los principales cambios se realizan en los campos _Attack.standar_ y _Target.standar_.


## Análisis

### Evolución general

En primer lugar, para saber si este estudio tiene sentido, se observará la evolución temporal tanto de los ciberataques reportados como de las certificaciones realizadas en busca de patrones que puedan indicar una relación entre ambas evoluciones.

```{r fig.width=4.5, fig.height=4,echo=FALSE,out.extra='style="float:left"'}
ISO27001effectiveness::GetCertsEvolution(Cert_PerCountry)
```
```{r fig.width=4.5, fig.height=4,echo=FALSE}
ISO27001effectiveness::GetAttacksEvolution(Attacks)
```

Como se puede observar en las gráficas, el número de empresas que obtienen la certificación crece anualmente, mientras que el numero de ataques es un poco más inestable. Del año 2013 al 2014 el número de ataques se reduce drásticamente, esto puede deberse a un problema en la fuente de datos, ya que al depender directamente de un ser humano pueden existir intervalos en los que se hayan registrado menos datos (por problemas del administrador, como falta de tiempo o interes). Otra explicación plausible es que justo en el año 2013 se produjo una revisión de la certificación, produciendose la ISO 27001:2013 que sustituyó a su predecesora 27001:2005, los cambios realizados pueden consultarse en la [web oficial](http://www.iso.org/iso/home/store/catalogue_tc/catalogue_detail.htm?csnumber=54534). Para indagar un poco sobre este tema a continuación se representa la evolución de los ataques mes a mes, al aumentar la precisión en el eje X se puede observar mejor la tendencia y abstraernos un poco de esos errores humanos.

```{r fig.width=9, fig.height=4,echo=FALSE}
ISO27001effectiveness::GetAttacksMonthEvolution(Attacks)
```

Podemos observar que la tendencia de los ataques tiene una pendiente negativa, mas pronunciada en el momento en que se realiza una actualización de las normas (27001:2013) y que presenta algo parecido, aunque muy moderada, a una recuperación, pasado un periodo de tiempo. 
También se podría relacionar la evolución de los ataques con la evolución de los certificados, si tenemos en cuenta el desplazamiento de un año para establecer la relación de causalidad. Por ejemplo podemos observar como los años en que menos crece el número de certificaciones (2012 y 2014), los ataques aumentan ligeramente en los años siguientes (2013 y 2015), mientras que en los años que mayor es el aumento de las mismas (2013 y 2015) la cantidad de ataques producidos disminuye para los años consecutivos (2014 y 2016).

### Evolución por tipo de ataque 





De los datos mostrados se pueden hacer diferentes observaciones:

* De 2014 a 2015, USA pasa de tener 654 a 1247 empresas con certificación ISO 27001, sin embargo la cifra de ciberataques se mantiene constante de 383 a 386 ataques recibidos. De 2013 a 2014 por ejemplo, pasa de recibir 505 a 383 ataques pese a sólo haber pasado de 566 a 654 empresas con dicha certificación.
* Japón tiene un número inusualmente alto de empresas con la ISO 27001, no obstante sufre una cantidad de ciberataques comparativa a la de Israel, que tiene muchas menos empresas con la certificación.

Ambas observaciones son de especial interés ya que ponen de relieve situaciones en las que de ser efectivo reformar los sistemas para cumplir la ISO 27001, debería poder apreciarse un efecto en la cantidad de ciberataques recibidos. En el caso de los USA, sólo podría explicarse mediante alguna de las siguientes hipótesis:

* Entre 2013 y 2014 se produjo un número especialmente alto de ciberataques a USA
* Se crean más empresas de las que logran certificarse, y además, sufren ataques antes de obtenerla

La primera hipótesis puede ser comprobada con los datos que disponemos. A continuación se muestra una línea temporal de ciberataques globales entre los años 2012 y 2015.


Observamos que se produjo lo contrario, bajó el número de ciberataques.

## Conclusiones
Por lo observado anteriormente, se puede concluir que:

* La cantidad de ciberataques que recibe un país no se mitiga por el número de empresas que han obtenido la certificación ISO 270001

Esto no lleva a concluir que obtener la certificación ISO 27001 no es efectiva para reducir el número de ciberataques, sino que probablemente dependa de factores externos ajenos a este estudio

## Trabajo futuro
Como trabajo futuro querríamos poder seguir en la línea de investigación acerca de los siguientes puntos:

* ¿Qué factores producen un aumento o recesión en la cantidad de ciberataques recibidos?
* ¿Qué sectores industriales reciben más ciberataques?
* ¿Cuáles de esos sectores son los que más certificaciones obtienen?

Creemos que la investigación de estas cuestiones puede dar más robustez a las conclusiones expuestas en este estudio.