Usando ChatGPT-4 y Google Big Query para análisis de datos

Hoy necesitaba encontrar un patrón en un conjunto de datos (logs) para solucionar un problema técnico. Para realizar este análisis de datos, he utilizado Google BigQuery junto con ChatGPT-4 y he comparado los resultados.

El conjunto de datos era un fichero CSV con dos columnas, la fecha en un formato que no podía configurar, y otra columna con un string que contiene un JSON codificado con los datos del evento. Para poder confirmar mi teoría sobre el problema, necesitaba encontrar un patrón en los datos: hay eventos relacionados mediante un identificador que ocurren en un instante de tiempo cercano.

Para solucionarlo, he hecho uso de Google BigQuery, que es una herramienta que me encanta. Te facilita subir un fichero de datos de cualquier tamaño, y mediante consultas SQL, realizar las operaciones sobre los datos que necesites para extraer y preprocesar dichos datos. Además, lo que más me gusta es que no tienes que gestionar servidores, ni configurariones. La herramienta lo hace todo por ti, de forma optimiza el uso de nuestro tiempo.

En el siguiente vídeo te explico el problema en profundidad, te enseño a crear las queries para consultar los datos en BigQuery usando ChatGPT-4. También arreglo los fallos que ha generado ChatGPT al generar las consultas. Por último, le pido a ChatGPT que realice el mismo cálculo de los datos. Te dejo el vídeo donde puedes verlo en profundidad.

¿Qué es Google BigQuery?

Google BigQuery es un servicio para almacenar datos en la nube, y que te permite procesar grandes cantidades de datos de forma fácil y rápida. Este servicio utiliza la infraestructura de Google Cloud Platform y está diseñado para ser altamente escalable, ser consultado mediante queries SQL y finalmente mostar los datos generados.