Hace unos días Miguel Llopis anunciaba en el blog de Microsoft Power BI una batería de más de 50 novedades en los Flujos de Datos de este mes.
https://powerbi.microsoft.com/en-us/blog/50-new-features-in-dataflows-this-month/
Tengo pendiente explicaros detenidamente qué es y por qué utilizo en mi día a día un flujo de datos, pero de momento, aquí os dejo una explicación de todas las novedades que han introducido en la actualización del servicio en Noviembre.
Uno de los problemas que quienes hemos elegido los flujos de datos como herramienta principal de autoservicio de ETL nos hemos encontrado desde el principio ha sido la limitación que en el power query del servicio de power bi existía en cuanto al número de transformaciones programadas en la interface.
Esto lo han mejorado muchísimo en esta actualización con + de 50 nuevas transformaciones disponibles.
Quedan otras en el camino, que seguramente acabarán llegando hasta equiparar la automatización de la interface de power query en la nube con la interface de power query en el desktop, pero el paso que han dado es importantísimo.
Paso a detallar las novedades más importantes que me he encontrado y que echaba muchísimo en falta en la anterior versión de los dataflow:
1º Nuevos conectores a orígenes de datos
Este es el mapa de todos los orígenes que actualmente presentan los flujos de datos y he recuadrado en nuevo los 7 nuevos orígenes de esta actualización:
2º Nuevas transformaciones de datos
Todas las trasformaciones que voy a describir en este punto nos parecerán obvias su existencia a todos los que trabajamos ya con power query en power bi desktop, pero hasta ahora no estaban en la interface del power query de los flujos de datos. Reitero, no obstante, que el hecho de que no existiera en la interface la manera de hacerlo automáticamente no significa que el motor de power query no identificase el código M que se genera en esas transformaciones. Si realizábamos dichas transformaciones directamente escribiendo la línea de código en M o copiando y pegando desde power bi desktop, podíamos realizar las transformaciones sin problema alguno. No obstante, con esta actualización el uso directo de la interface de power query de los flujos de datos se simplifica y se refuerza, de manera que ya no será tan necesario, como hacíamos hasta ahora, general el código M en el desktop y copiarlo en los flujos de datos.
2.1 Combinar archivos
Algo tan sencillo como combinar automáticamente dos Excel con la misma estructura ubicados en una misma carpeta de sharepoint o local, que se realiza de manera automática habitualmente en el desktop, ahora es también posible desde los flujos de datos.
Elegimos como origen de datos una carpeta local en este caso:
Al hacer login(recordad que necesitamos una puerta de enlace instalada y conectada que tenga acceso a la carpeta) nos muestra todos los archivos que encuentra en la carpeta, en este caso dos Excel con la contabilidad de dos años diferentes pero con la misma estructura.
Le damos a transformar datos y una vez en el editor vamos a …/combinar tablas /combinar archivos.
Le decimos qué archivo queremos que tome de ejemplo (o dejamos Primer archivo), seleccionamos el libro del Excel que queremos combinar y damos a aceptar. Power query se encarga de montar toda la estructura de parámetros, funciones y el resultado final combinado, igual que en el desktop.
2.2 Combinar consultas. Selección de tipo de unión visual.
Combinar consultas presenta ahora una descripción visual mediante diagrama de Venn para que el usuario no familiarizado con el uso de términos tales como inner join, left join, etc pueda escoger el tipo de relación que quiere establecer.
2.3 Transformaciones de número, fecha, fecha/hora a través de la barra de herramientas
Algo tan sencillo como este tipo de transformaciones que conocemos sobradamente de power query en power bi desktop no existía antes de esta actualización y debía hacerse utilizando código M directamente en la consulta.
2.4 Reducir filas, rellenar, mover
Funciones a las que estamos tan acostumbrados en power query para power bi desktop no estaban implementadas en la interface de power query en los flujos de datos, por lo que el salto en la realización de transformaciones mediante la barra de herramientas es impresionante.
Hasta ahora, las limitaciones eran tantas que salía más rentable realizar las transformaciones en el power bi desktop y copiar el código en una consulta en blanco. Con esta actualización y el gran avance que supone, un porcentaje muy alto de las transformaciones habituales está, por fin, cubierto.
3º Data profiling
Al igual que en el desktop, los flujos de datos incorporan ahora el perfil de columna y, lo mismo que en el desktop lo podemos configurar basado en las 1000 primeras filas o en el total de filas del conjunto de datos.
Lo podemos habilitar o deshabilitar en Opciones/Opciones globales.
Mi primera conclusión en su utilización es que es extremadamente lento en la carga, sobre todo si se activan todas las opciones.
Aquí os lo muestro sólo con las dos primeras pestañas seleccionadas.
Y aquí con todas las pestañas marcadas:
4º Creación de parámetros
Hasta ahora no existía en la interface la posibilidad de crear parámetros mediante un cuadro de diálogo. Ojo, esto no significa que no se pudieran utilizar. Yo los he utilizado sin problemas. Lo que significa es que no podías configurarlos mediante un cuadro de diálogo en la interface ni tenías un cuadro de diálogo para cambiar el parámetro, había que hacerlo manualmente en la línea de código. Antes, simplemente copiando el código de un parámetro de power bi desktop en una consulta en blanco del flujo de datos, tenías el parámetro listo para usarlo, pero con las limitaciones descritas de no poder modificarlo en un cuadro de diálogo.
Ahora ya existe en la interface un cuadro de diálogo para la creación y modificación de parámetros tal y como lo tenemos en el power bi desktop.
5º Creación de funciones
Tras esta actualización pueden crearse muy fácilmente funciones a partir de consultas que contengan algún parámetro
Y la probamos invocando las cuentas que sean del tipo GASTO:
6º Intellisense
Algo que nos parece ya tan normal como el Intellisense es totalmente nuevo en los flujos de datos.
7º Seleccionar tablas relacionadas
Otra característica que estamos acostumbrados a utilizar, la posibilidad de traernos al modelo tablas relacionadas del origen de datos, es también una novedad en los flujos de datos.
Aunque todo lo que ha llegado a los flujos de datos parecerán para los usuarios que manejan habitualmente power bi desktop cosas obvias y necesarias, no estaban hasta ahora en los flujos de datos, por lo que la manera óptima de realizar transformaciones en los flujos era o bien picar código M si se tenían los conocimientos adecuados, o bien crear la consulta en power bi desktop y copiarla y pegarla en el flujo de datos.
Con esta batería de más de 50 funcionalidades, ya casi se puede hacer todas las transformaciones que habitualmente realizamos en el desktop directamente en los flujos de datos. Echo en falta algo que esperaba en una actualización así, como la opción de agregar una columna, ya que en los flujos de datos de momento sólo se puede agregar una columna condicional o una columna de índice. Y por otro lado, ya que han incluido los parámetros y las funciones, no estaría mal poder agregar columna a través de la invocación de una función, funcionalidades estas que estoy seguro que llegarán en próximas actualizaciones.
2 comentarios