Open Data

viernes, 13 de diciembre de 2013

Uno de los temas de interés en Tercer Planeta es Open Data


http://galecia.com/blogs/lori-ayre/open-data-movement-great-graphic
http://galecia.com/blogs/lori-ayre/open-data-movement-great-graphic

Las conferencias de las Octavas Jornadas de Data Mining nos impulsaron a investigar, explorar varios links y discernir sobre los alcances del mismo. Aquí un resumen:



¿Qué es Open Data?

Podríamos definir Open Data como la  publicación sistemática de datos. Es una filosofía y práctica que propone que determinados datos estén disponibles de forma libre a todo el mundo, sin restricciones de copyright, patentes u otros mecanismos de control.

Open Data se relaciona con otros movimientos abiertos: open source (código y tecnología), open governance (decisiones y recursos) y open innovation (conocimiento). Estamos hablando de información de gestión, recursos compartidos, transparencia, colaboración y participación.
Surgen varios desafíos, entre ellos el entender a Open Data como un servicio público y  entender que esta información es un derecho ciudadano. Sin olvidar las responsabilidades que este nuevo derecho implica.


Open Data
http://www.flickr.com/photos/notbrucelee/5241176871/

Una de las primeras definiciones de open data fue publicada por la  Unesco: directrices para políticas de acceso abierto: 
"Mediante el Acceso Abierto, los investigadores y estudiantes de todo el mundo alcanzan cada vez más acceso al conocimiento, las publicaciones obtienen mayor visibilidad y número de lectores y el impacto potencial de la investigación es fortalecido [..] facilitan las oportunidades para el desarrollo económico y social equitativo, el dialogo inter cultural y tienen el potencial de estimular la innovación."

En 2007 el grupo de trabajo denominado Open Government Working Group reunido en Sebastopol
(California, EE.UU.) propuso estos 8 principios para la liberación del acceso a datos gubernamentales, los cuales se han convertido en la base de un estándar de facto.
Así, se denomina liberación del acceso a datos gubernamentales (open government data) a: la puesta en disponibilidad pública por parte de los estados de datos en forma digital a través de Internet de manera que permita y promueva su análisis y re utilización. 

El acceso a datos gubernamentales se considera abierto si los datos son puestos a disposición del público cumpliendo con los siguientes principios:




Hay comentarios muy lúcidos respecto a la aplicación 'real' de estos principios, en el blog de Alejandro Barros.


¿Qué es consumo de datos?

La apertura de datos no es un fin por sí misma. El consumo de datos sí. 
Entendamos que no basta con tener datos disponibles, es necesario poner manos a la obra para que se pueda sacar provecho de los mismos.

El consumo de Datos Públicos debería cumplir etapas:

1. Obtener los datos: implica el uso de datos publicados por distintas organizaciones
2. Asegurar el derecho a utilizar los datos: (tema de licencias, permisos)
3. Procesar los datos: (Analizar, entender, limpiar, relacionar de forma transparente, re producible)
4. Publicar
5. Hacerse cargo de lo realizado, en particular, posibilitar la reproducción y ser responsables de una retro alimentación a las fuentes


Data Journalism 

De acuerdo con el interesante Data Journalism Handbook, podríamos decir que es Periodismo a partir de Datos. Ambos términos, 'data' y 'periodismo' son  difíciles de definir.
Para muchos, 'data' es una colección de números, a lo sumo reunidos en una hoja de cálculo. Hasta ahora, este tipo de datos fueron los que los periodistas enfrentaron, pero hoy por hoy toda nuestra vida se podría definir con números, unos y ceros. Desde documentos hasta conexiones entre distintos usuarios, por ejemplo.
Qué diferencia al periodismo de datos del periodismo en general? Quizás las nuevas posibilidades que surgen al combinar el olfato por las noticias, con la habilidad para contar buenas historias y la magnitud de la información digital ahora disponible.
Data puede ser la fuente del periodismo de datos, puede ser la herramienta para contar una historia, o puede ser ambas. Debe ser tomado con el mismo escepticismo con el que se toma toda fuente, y como herramienta requiere tomar conciencia de la forma en que esta puede orientar y sesgar lo que se informa.

Las tecnologías de la información están cambiando  la forma como se publica la información pública. El Periodismo de Datos es una nueva rama, y tiene un papel importante en la capacitación masiva de lectores que puedan  comprender la información publicada.

En esta tarea es fundamental:
  • La recopilación y el asociación de diversas fuentes de datos no relacionados previamente.
  • El procesamiento de los datos que permita sintetizarlos (deductivamente) o generalizarlos (inductivamente) para explicitar conocimientos que no son accesibles directamente.
  • La visualización adecuada que permita que esta información “penetre” en el usuario de una manera física, sensorial y hasta irracional.

Armamos esta lista de portales de datos oficiales y de buenos ejemplos de consumo de datos:


Hablando de Periodismo, varios de los  premios 2013 corresponden a visualizaciones hechas a partir de datos públicos.

Finalmente, podemos profundizar  estos temas, con la ayuda de Jornalism in the Age of Data y el Data Journalism Handbook  mencionado previamente.

 
Leer más...

De JSON a objeto dinámico C#

lunes, 2 de diciembre de 2013

La anterior semana me encontré con el reto de usar un JSON gigante, que tenía alrededor de 22.000 líneas de código,  para simplemente ciclar por una de sus colecciones y extraer no más de 5 campos. Me pareció una locura intentar siquiera sumergirme en entender cómo estaba estructurado, qué colecciones tenía, etc.

Googleando bastante, encontré un Nuget que les puede facilitar mucho esta tarea: DynamicJson

DynamicJson es un Nuget, disponible a partir del framework .NET 4.0, que nos va a proporcionar una clase que transforma un JSON en un objeto dinámico con esta simple sintáxis:
 
    var myObj = DynamicJson.Parse(myJSON);

Como resultado, obtenemos un objeto iterable que respeta la estructura del JSON con todos sus valores y cuyo contenido es muchisimo más fácil de explorar, pasando de esto:


A esto:



Se nota la diferencia?

Este Nuget, además, nos proporciona algunos métodos para verificar existencia de algúna propiedad, eliminar elementos, serializador, deserializador y acceso a sus propiedades por medio de notación C#.

Espero que les sea de utilidad.

  
Leer más...