Seleccionar página
Power BI y conectores personalizados con puertas de enlace

Power BI y conectores personalizados con puertas de enlace

Power BI y conectores personalizados con puertas de enlace

Analítica | Datos | Power BI

En este mismo blog, tiempo atrás, ya hablamos de los conectores personalizados de Power BI y su utilidad a la hora de extraer datos de sistemas a medida propios o de terceros. Si bien Power BI proporciona una cantidad enorme de conectores de forma nativa, no siempre son suficientes y/o no en todas las ocasiones se ajusta a nuestras necesidades específicas.

Es una situación empresarial típica disponer de un ERP para la gestión y administración interna y necesitar extraer sus datos para la elaboración de cuadros de mando, informes y analíticas avanzadas. Con un conector nativo o a medida, puede ser suficiente. Pero, ¿qué hacer si la situación es algo más «compleja»? La respuesta puede estar en las puertas de enlace.

Pero antes… ¿por qué puedo necesitarlas?

Imaginemos un escenario tan simple (y común) como el siguiente:

  1. Como director de operaciones, necesito generar y mantener un cuadro de mando que consolide datos de distintas fuentes.
  2. Esas fuentes son remotas (por ejemplo nuestro ERP corporativo), pero también locales, almacenadas en mi propio PC (tales como hojas Excels y ficheros de distinta naturaleza).
  3. Quiero actualizar de forma automática y periódica el cuadro de mando de modo que se mantenga al día con los últimos datos.
  4. Por último, necesito utilizar la plataforma Power BI Cloud para compartir el informe con los agentes interesados.

Tal y como puede apreciarse, este escenario plantea varios problemas que requieren una estrategia. Porque efectivamente la misma concepción de un cuadro de mando debe suponer un proyecto en sí mismo, por pequeño que pueda parecer. Y la resolución de dicha estrategia requiere asimismo, y por supuesto, herramientas tecnológicas de distinta índole.

Más concretamente, es evidente que necesitaremos soluciones a tres retos concretos: la conexión al ERP para la extracción de sus datos; la conexión a nuestras hojas Excel; y, por último, la compartición del informe. Este último escollo puede resultar a priori trivial, pero quizás sea el más «especial»…

Conectores personalizados, datos remotos y datos locales

Una de las enormes ventajas del uso de Power BI para la construcción de analítica empresarial, es su capacidad para conectar e integrar de forma nativa y centralizada datos provenientes de fuentes muy diversas y de muy distinta naturaleza. Para ello, pone a disposición del usuario una cantidad importante de conectores nativos. Es el caso de la conexión a hojas Excel locales para la extracción y el tratamiento de los datos que contiene. En pocos clics, dispondremos de ellos para empezar a trabajarlos en nuestro cuadro de mando. Un problema resuelto.

¿Qué ocurre con la conexión a datos remotos? Si nuestro ERP, como por fortuna suele ser frecuente en estos tiempos, dispone de un API REST funcional, la solución es casi tan directa como en el caso anterior: Power BI aporta los mecanismos necesarios para consumir dichas APIs. Ok, pero… ¿y si no dispone de ella, o su consumo no es tan obvio? Como para todo hay solución, Power BI dispone la posibilidad de desarrollar conectores personalizados que permiten al programador conectar casi de forma ilimitada con fuentes de datos remotas. Otro problema salvado.

Funcionamiento de la puerta de enlace. Diagrama tomado de docs.microsoft.com

Llega la publicación y…

Llegados a este punto, hemos extraído datos de nuestro ERP a través de un conector personalizado (o a través de un conector nativo vía API REST), hemos extraído datos de nuestras hojas Excel, y hemos diseñado y construido un maravilloso cuadro de mando profesional con todo ello. Es la hora de compartirlo On Cloud con nuestros compañeros y triunfar…

Como no podía ser de otra forma, Power BI permite llevar a cabo la publicación de un informe en poco más de tres clics. Pero una vez publicado, ¿qué puede ocurrir al consultarlo en la plataforma Power BI Cloud y tratar de actualizar los datos? Que, efectivamente, no es posible hacerlo. ¿Por qué? La razón no es de extrañar, y puede deberse a uno o varios motivos:

  1. Si hemos utilizado un conector personalizado para la conexión a nuestro ERP, ten en cuenta que dicho conector está instalado en el PC. ¿Cómo entonces puede Power BI Cloud ejecutarlo? No tiene acceso a él, para él es un agente desconocido…
  2. Además, para la construcción de nuestro cuadro de mando, hemos utilizado información de hojas Excel que también se encuentran en nuestro PC. ¿Cómo iba entonces Power BI Cloud a acceder a ellas para actualizar el cuadro de mando? No sabe dónde están…

La primera respuesta a este problema podría ser desplazar todos nuestros datos a un lugar online accesible desde fuera de nuestro PC, o tratar de cambiar incluso la forma de compartir nuestro informe (¿en PDF? ¿a través del fichero Power BI?). Pero, ¿por qué renunciar a la potencia de Power BI por un simple escollo? Hay una última esperanza: las puertas de enlace.

Puerta de enlace, la solución a medida

Tal y como se puede apreciar en el diagrama anterior, la puerta de enlace es un mecanismo aportado por Power BI que permite a su Cloud acceder a nuestros recursos (por supuesto de forma segura) a través de un «pasadizo» a medida. Dicho de otra forma, permite a Power BI conectar con todas las fuentes de datos que utilizamos de forma local para actualizar y reconstruir en la nube nuestros informes y cuadros de mando y, finalmente, poder compartirlos.

La puerta de enlace es una aplicación de escritorio descargable desde el sitio oficial de Power BI. Tras ser instalada y configurada, se encarga de detectar los conectores personalizados instalados en nuestro PC y, a través de nuestra cuenta de usuario Power BI, comunicar con el espacio Cloud de la plataforma. Una vez publicado nuestro informe o cuadro de mando, el propio Cloud detectará las puertas de enlace disponibles. Bastará con seleccionarla y asociarla a nuestro reporte para que Power BI puede finalmente operar con todos nuestros datos y actualizarlos de forma periódica, automática e ilimitada.

Tal y como hemos podido comprobar, la problemática y complejidad de la analítica empresarial no siempre se ciñe a lo puramente «científico». Para implementar soluciones profesionales y avanzadas en el ámbito de los datos, sea al nivel que sea (desde el uso de hojas Excel hasta la extracción de datos de sistemas remotos), es necesario plantear una estrategia, diseñar las soluciones a los retos derivados de esta, y buscar una combinación de herramientas tecnológicas que nos presten el soporte adecuado.

Conectores Power BI para analítica de datos ¿Necesitas uno para tus sistemas?

Cómo gestionar tu tienda virtual, problemas y soluciones

Cómo gestionar tu tienda virtual, problemas y soluciones

Cómo gestionar tu tienda virtual, problemas y soluciones

Datos | E-commerce | Transformación digital

Con este tipo de herramientas puedes gestionar los datos de tus clientes, sus pedidos, el stock de productos, facturas, etc. Pero, ¿qué ocurre cuando el negocio escala? ¿Y si quieres vender en diferentes canales online o tiendas físicas?

A continuación intentamos resolver estos y otros problemas que surgen cuando tu negocio de venta online sube de nivel. Te ayudamos a descubrir cómo gestionar tu tienda virtual de forma eficiente.

Problema 1: la gestión del inventario

Las herramientas de tienda online nos proporcionan información básica sobre la cantidad que tenemos disponible de un determinado producto. Con la incorporación de algunos plugins adicionales se puede obtener información más detallada sobre todos los movimientos de un producto y en algunos casos se puede hacer una gestión más o menos completa de un inventario.

Sin embargo, cuando se gestionan variantes de un mismo producto, esto es muy habitual en tiendas de moda y prendas de vestir, la gestión del stock y sus movimientos se convierte en un auténtico infierno. Habitualmente se trata de conjuntos muy amplios de variantes de productos, listados muy largos que estas herramientas no están preparadas para gestionar.

El problema de la gestión del inventario se agrava aún más cuando vendemos a través de más de un canal, tienda física por ejemplo, o servimos los pedidos desde varios almacenes.

En este escenario surgen casos en los que, por ejemplo, no todas las unidades de una variante están disponibles en la tienda online, o de las que están disponibles, no todas ellas se sirven desde un mismo almacén. En este caso se hace imprescindible el uso de un sistema central que gestione todos los movimientos de cualquiera de los almacenes y tiendas de las que disponemos. Esta responsabilidad suele recaer sobre lo que se conoce como un Sistema de Planificación de Recursos Empresariales (ERP).

Cómo gestionar tu tienda virtual. Problemas comunes a la hora de gestionar un negocio online

Un ERP es un sistema que nos ayuda a gestionar y trazar todos los procesos de un negocio, en especial aquellos relacionados con la producción, la distribución y la contabilidad. Existen multitud de ejemplos con diferentes funcionalidades y objetivos pero mencionamos aquí sólo los más importantes: SAP Hana, Microsoft Dynamics 365 y Odoo.

Sincronizar todos tus canales de venta, incluida tu tienda online, y todos tus almacenes con tu ERP te permitirá gestionar de manera centralizada todas las transacciones, manteniendo así el stock sincronizado en tiempo real y el acceso a la información del estado de un producto o variante independientemente del canal en el que se esté distribuyendo.

Problema 2: contabilidad y facturación

¿Cómo gestionar tu tienda virtual a nivel administrativo? Aunque todos las herramientas de tienda online mencionadas permiten la gestión de la facturación de los pedidos realizados online, incluso alguna de ellas permite una gestión avanzada de asignación y cálculo de impuestos, es más complicado encontrar soluciones a problemas de contabilidad más complejos, tales como: la gestión de diferentes diarios contables, la asignación de cuentas específicas a cada cliente, la asignación automática de posiciones fiscales dependiendo de reglas de localización o regímenes especiales, etc.

Considerando de nuevo el caso de la venta a través de diferentes canales, el problema de la facturación aumenta de complejidad y es necesario gestionar todo este proceso a través de un ERP. De esta forma se accede a la posibilidad de gestionar de manera profesional tanto la facturación como la contabilidad de los cobros.

¿Quieres dar un paso más en la gestión de tu negocio online?

Problema 3: proceso de fabricación

Cada vez se demandan más los productos personalizados por el cliente, que nos obliga a gestionar la fabricación y entrega del producto que nos solicita en tiempo real. En este caso, las herramientas de tienda online habituales no suelen ir más allá de permitir que el pedido se lleve a cabo y al cliente se le notificará sólo el envío del mismo.

Integrar tu tienda virtual con un ERP te permitirá sincronizar el proceso de venta con el de fabricación directamente, justo en el momento en el que el cliente realiza el pedido, se generan las diferentes órdenes de producción e incluso, se puede ir notificando en tiempo real al cliente sobre el estado del proceso.

Problema 4: gestión de tareas

El incremento en el número de ventas trae consigo un aumento en el número de recursos necesarios para gestionarlas, y de aquí surge la necesidad de gestionar las tareas que cada uno de ellos debe realizar.

La gestión de diferentes equipos de venta, gestión de cuentas de cliente, tareas de logística, procesos de calidad, atención al cliente, etc., son todas tareas que difícilmente se pueden gestionar haciendo uso sólo de las herramientas básicas de tiendas online.

También en este caso, la gestión de todos estos procesos, y su sincronización con la tienda online, se puede realizar a través de la implantación de un ERP. Por ejemplo:

  1. Un cliente de Barcelona realiza un pedido en la tienda online, lo que genera automáticamente un pedido en modo borrador en el ERP que se asigna al equipo de ventas de España norte para su validación.
  2. Un comercial valida el pedido y el sistema genera automáticamente la orden de expedición para el almacén ubicado en Barcelona y envía un correo electrónico al cliente con los detalles.
  3. La empresa de logística notifica la entrega y el sistema genera automáticamente el borrador de la factura y la asigna al equipo de contabilidad.
  4. Al mismo tiempo se genera una tarea programada para que dentro de un mes un comercial contacte con el cliente para llevar a cabo una campaña de postventa.
  5. El equipo de contabilidad valida la factura y se envía automáticamente al cliente.

Todos estos procesos son implementados en un ERP, y prestan una noción exacta de cómo gestionar tu tienda virtual de forma eficiente.

Problema 5: estado del negocio en su conjunto

La herramienta que gestiona tu tienda virtual sólo te permite ver la dimensión “ventas”, además sólo de las ventas realizadas en esa tienda virtual.

Sin embargo, para tener una visión clara del estado y el rendimiento de tu negocio, es necesario adquirir y combinar la información de todas las dimensiones del mismo. Un sistema ERP te permite gestionar la información de ventas y compras, otros ingresos y gastos, previsiones, presupuestos, caja, bancos, etc. De esta manera podrás con un solo clic saber el resultado de explotación de tu negocio.

¿Quieres saber más sobre cómo gestionar tu tienda virtual?

Trazabilidad y aseguramiento de la calidad con Deep Learning

Trazabilidad y aseguramiento de la calidad con Deep Learning

Trazabilidad y aseguramiento de la calidad con Deep Learning

Big Data | Deep Learning | Smart Factory

El aseguramiento de la trazabilidad o la calidad de los productos es uno de los objetivos más importantes y a veces más complicados de acometer durante el proceso de producción de cualquier compañía.

Desde el punto de vista del análisis de datos, trazar el origen de un producto o determinar su calidad puede expresarse como el grado de similitud que una observación, un producto en este caso, tiene con un grupo de observaciones. En otras palabras, se puede describir el problema como la identificación de patrones en el conjunto de datos y posteriormente la predicción de pertenencia a los conjuntos de las nuevas observaciones.

Deep Learning y un problema de patrones

En los últimos años, multitud de estudios han demostrado que las técnicas de Deep Learning son herramientas poderosas para dar solución al problema del reconocimiento de patrones. Más allá, en este caso de estudio tratemos de contestar a la siguiente pregunta: ¿cómo podríamos aportar una solución a este problema desde el campo de la inteligencia artificial? Como aperitivo, una hoja de ruta central:

  1. Integración de las distintas fuentes de datos relacionadas con el proceso de producción en cuestión.
  2. Generación de información relevante para la toma de decisiones mediante la aplicación de técnicas de inteligencia artificial basadas en tus datos.
  3. Desarrollo de herramientas basadas en inteligencia artificial que asistan en la toma de decisiones en tiempo real.
Las técnicas de deep learning son herramientas poderosas para dar solución al problema del reconocimiento de patrones

Recolecta tus datos de producción

Antes de comenzar, supongamos que una empresa dedicada a la manufactura necesita trazar sus productos o estudiar su calidad. Esta compañía genera una gran cantidad de datos durante la actividad de su proceso de producción y estos datos se encuentran dispersos por toda la organización en distintos sistemas como: ERP, CMS, sistemas IoT, etc.

¿Cómo lo podríamos solucionar? La primera acción que hay que abordar es la extracción, tratamiento y almacenamiento de los datos (ETL en inglés), ya que los datos, por sí solos, no constituyen una fuente de información, sino que es necesario procesarlos para que sean de valor para el desarrollo del negocio. De esta forma, la depuración y correcta estructuración de los datos nos aportará un mayor beneficio en el momento de su análisis y comprensión de la información.

Convierte tus datos en información con Deep Learning

Una vez que los datos han sido procesados y almacenados, ¿cómo obtenemos información de ellos? Las Deep Neural Network (DNN) son una de las mejores herramientas que tenemos para la identificación de patrones sobre conjuntos de datos de gran volumen. Por lo que ahora es el momento de que planteemos una estrategia con la que obtengamos información relevante que nos sirva para tomar decisiones.

Para entrenar una DNN enfocada en el reconocimiento de patrones necesitamos añadir algunas capas que hagan los datos más manejables. En primer lugar podemos construir una capa de generación de embeddings. Esta capa permitiría a la red neuronal transformar vectores de datos de gran tamaño en vectores de dimensiones mucho más bajas codificando el significado de la entrada y generando similitudes semánticas entre vectores con datos similares, lo que haría más fácil el proceso de aprendizaje de la red neuronal.

La siguiente capa por donde pasarían los datos es la extracción de características. Esta es una capa fundamental en las técnicas de deep learning, ya que descubre las características comunes que describen los distintos clústeres o patrones a los que pertenecen los datos.

Y para finalizar, conectaríamos nuestra DNN, de modo que se encargue de aprender a clasificar las distintas observaciones en cada uno de los patrones, obteniendo así la información relevante que estábamos buscando y que describe el comportamiento de nuestros datos.

Convierte tus datos en información con Deep Learning

Intégralo con tu sistema

Sólo falta un paso más. Para convertir la información en conocimiento es necesario que los expertos del sector la completen con su experiencia. Para ello, tenemos que integrar las herramientas de inteligencia artificial con los demás sistemas que intervienen en el proceso de producción.

Las integraciones van desde paneles de control, widgets de información en ERPs y/o CMSs, hasta aplicaciones móviles y web dedicadas. Independientemente de la implementación, hay que tener en cuenta que este es el paso fundamental que permite proporcionar a los expertos en tiempo real la información que les ayude a mejorar los procesos de negocio.

¿Quieres mejorar tus procesos a través de modelos de inteligencia artificial?

Conectores personalizados Power BI, un modo profesional de analítica empresarial

Conectores personalizados Power BI, un modo profesional de analítica empresarial

Conectores personalizados Power BI, un modo profesional de analítica empresarial

Analítica | Datos | Power BI

A estas alturas, (casi) todo el mundo conoce Power BI. Su flujo de funcionamiento a alto nivel es sencillo: conexión contra un origen de datos soportado; carga de los datos extraídos sobre la plataforma Power BI; y transformación y manipulación de los datos cargados para la obtención de información. Y es precisamente en su capacidad de conexión con múltiples orígenes de datos donde reside una de las grandes fortalezas de la herramienta.

Con mayor o menor pericia, la mayoría de analistas o responsables de negocio alguna vez han conectado como origen una hoja Excel, han cargado sus datos y han jugado con ellos para construir informes, gráficos y pequeños cuadros de mando. ¿Dispones de bases de datos MySQL Server? ¿Quizás Microsoft Access? ¿Incluso PDFs? Power BI ofrece de manera nativa conectores para extraer y consumir sus datos en pocos clicks

Pero… ¿qué ocurre si nuestro origen de datos (un sistema corporativo interno, un ERP o cualquier otra aplicación implantada en nuestro negocio) no está soportado por Power BI? Keep Calm & Custom Connectors. Conectores Power BI para analítica profesional a tu alcance.

Power BI proporciona multitud de conectores contra distintas fuentes de datos

Conectores personalizados Power BI, una estrategia

La implementación de Custom Connectors sobre Power BI se lleva a cabo a través de la SDK Power Query, un motor de preparación y transformación de datos. No obstante, más allá de conocimientos sobre el lenguaje de programación, el desarrollo de un conector personalizado requiere de una estrategia que fije los objetivos que se desean alcanzar. Los pasos de dicha estrategia bien pueden ser los siguientes:

  1. Determinar qué origen de datos queremos integrar y, sobre todo, qué datos se quieren obtener de él y a qué necesidad de análisis responden.
  2. Estudiar los posibles modos de comunicación o APIs de los que dispone el origen de datos que queremos integrar.
  3. Analizar el modo de autenticación requerido contra el origen de datos, lo que determinará el nivel de seguridad y conectividad con éste.
  4. Especificar los parámetros que el usuario deberá introducir para recuperar los datos que desee en base a la interfaz de comunicación ofrecida por el origen de datos.
  5. Analizar la estructura de los datos devueltos por la interfaz de comunicación del origen de datos con el fin de estructurarlos adecuadamente para su carga final en Power BI.
  6. Diseñar las transformaciones previas que se han de llevar a cabo para ofrecer al usuario final un conjunto de datos adecuado a su perfil y necesidades.

Una vez marcada la estrategia, ¡manos a la obra!

Conectores Power BI para analítica de datos ¿Necesitas uno para tus sistemas?

La autenticación, un asunto vital

A la hora de implementar un conector personalizado, la autenticación es sin duda uno de los puntos centrales y más relevantes. Determinará, por un lado, de qué forma el conector deberá interactuar con el origen para la obtención de datos. Por otro lado, condicionará qué información y credenciales deberá proporcionar el usuario final y, por ende, de qué permisos de acceso a los datos obtenidos dispondrá.

Como es de suponer, el mecanismo de autenticación a implementar dependerá del origen de datos sobre el cual se quiere llevar a cabo la conexión. Afortunadamente, Power Query pone a disposición del desarrollador múltiples posibilidades, entre las que destacan la autenticación básica con usuario y contraseña y la autenticación vía OAuth2.0. De esta forma, se cubre un amplísimo rango de sistemas y aplicaciones.

Power BI mecanismos de autenticación básicos y OAuth2.0.

En el caso de implementar autenticación básica, Power BI solicitará al usuario sus credenciales de acceso a la plataforma origen para obtener los datos requeridos. En el caso de optar por autenticación OAuth, habrán de implementarse los métodos oportunos en base a la interfaz dispuesta por dicha plataforma origen.

Más fácil con transformaciones y árboles de navegación

Más allá de la autenticación, el otro punto clave a la hora de implementar un conector personalizado es el tratamiento previo sobre los datos extraídos del sistema origen que se ha de realizar para su carga final en Power BI. Este punto vendrá determinado tanto por el formato de los datos retornados por el sistema origen como por la necesidad y perfil del usuario final.

Power Query, a través de su lenguaje de fórmulas M, permite llevar a cabo transformaciones, combinaciones o filtrados de datos que, aplicados en el ámbito del conector personalizado, ofrecen al usuario los datos «precocinados».

No obstante, más allá de dicho procesamiento, Power Query aporta también los denominados árboles de navegación, que facilitan de forma extraordinaria al usuario final la visualización y elección de los conjuntos de datos que desee integrar en Power BI para su tratamiento.

Tabla de navegación Power BI para conjuntos de datos

A modo de conclusión, Power BI aporta mecanismos de extensión suficientes para la integración en los flujos de analítica empresarial de datos procedentes de cualquier sistema o plataforma interna o corporativa, permitiendo así crear un único Data Center personalizado y en tiempo real.

Big Data, anomalías y predicción: análisis de una serie temporal

Big Data, anomalías y predicción: análisis de una serie temporal

Big Data, anomalías y predicción: análisis de una serie temporal

Big Data | Machine Learning

El tiempo de fabricación de un elemento en una línea de producción es, debido a la naturaleza propia del proceso, un valor que no debe variar demasiado en el tiempo. Sólo debe verse afectado de manera significativa por la aparición de alguna anomalía. Esto lo convierte en un dato idóneo para ser estudiado y analizado como una serie temporal.

Se llevará a cabo un análisis de los tiempos de fabricación de un elemento haciendo uso de modelos de autorregresión. Se empleará concretamente la metodología Box-Jenkins, considerando los siguientes bloques:

  • Estudio de la estructura de la serie, para determinar si se trata de una serie estacionaria, además de chequear la existencia de outliers.
  • Búsqueda de los modelos y parámetros que mejor ajusten la serie, estudiando el ajuste de los modelos ARMA o ARIMA según corresponda y estimando los valores más apropiados para sus parámetros.
  • Validación del modelo seleccionado, llevando a cabo un análisis sobre el ruido blanco explicado por el modelo.
  • Predicción de valores futuros, haciendo uso del modelo seleccionado, así como la detección de valores outliers.

Estudio de la estructura de la serie

La serie está compuesta por un conjunto de observaciones ordenadas de la variable timesheet_incurred, que representa el tiempo de fabricación, en segundos, que se ha consumido en la ejecución de una determinada operación sobre un elemento.

Con una simple descriptiva se observa una gran amplitud en la distribución de los valores, sobre todo teniendo en cuenta la naturaleza de los mismos.

Big Data, anomalías y predicción

En los gráficos de distribución se observa cláramente cómo la variable tiene valores muy dispersos, pero al mismo tiempo concentrados alrededor de los intervalos (0, 1000) y (5000, 7000).

Big Data, anomalías y predicción

En la gráfica de valores se aprecia una clara diferencia en la distribución de los mismos a partir de la observación 109. Esto puede ser debido a un cambio en el proceso de producción que haya afectado cláramente al tiempo de fabricación del elemento.

En la gráfica de valores se observa una clara diferencia en la distribución de los mismos a partir de la observación 109. Esto puede ser debido a un cambio en el proceso de producción que haya afectado cláramente al tiempo de fabricación del elemento.

¿Quieres profundizar más en este experimento de
Big Data, anomalías y predicción?

O visita el caso técnico completo con recursos de código fuente y resultados obtenidos.
Big Data, anomalías y predicción.

Búsqueda de los modelos y parámetros

Existen métodos para la estimación de los parámetros del modelo ARIMA basados en la aplicación de algunos tests, pero quizás el más extendido y fácil de usar es el que consiste en calcular y minimizar el error cuadrático medio obtenido de diferentes combinaciones de los parámetros p, q y d del modelo.

En nuestro ejemplo, probando diferentes valores, se obtiene que la combinación con menor MSE es (4,0,20).

Big Data, anomalías y predicción

Validación del modelo

Para comprobar la validez del modelo se lleva a cabo el análisis de los residuos para determinar si se trata de ruido blanco.

En primer lugar se aplica un test de normalidad sobre los residuos, del cual se desprende que se rechaza la hipótesis de que sigan una distribución normal. Esto es indicativo de que no todo el comportamiento de la serie queda explicado por el modelo. Esto puede ser debido a que la serie sufre muchas anomalías, aunque existe correlación entre los valores.

En segundo lugar, se aplica el test de Durbin-Watson para contrastar la existencia de correlación en los residuos del modelo. El resultado es un valor muy cercano a 2, lo cual indica la NO existencia de correlación en los residuos, por lo que damos el modelo como válido.

Predicción de valores futuros

Haciendo uso del modelo seleccionado se pueden hacer predicciones para los valores próximos de la serie, tal como se observa en el siguiente gráfico.

Big Data, anomalías y predicción

Pero otro beneficio importante de este tipo de análisis sobre una serie temporal es que se puede usar para la detección de anomalías. Haciendo una simple normalización de la serie, se observan outliers dependiendo de la desviación estándar móvil.

Sin embargo, estudiando la desviación entre el valor observado y el valor predicho por el modelo, se pueden detectar anomalías de una manera más sensible que el método anterior. El siguiente gráfico señala anomalías detectadas en aquellos valores cuya desviación con respecto a lo estimado supera la desviación estándar móvil para dicho punto.

Big Data, anomalías y predicción

¿Quieres profundizar más en este experimento?

O visita el caso técnico completo con recursos de código fuente y resultados obtenidos.
Big Data, anomalías y predicción.

Tres formas de explotar datos en tu proceso de digitalización

Tres formas de explotar datos en tu proceso de digitalización

Tres formas de explotar datos en tu proceso de digitalización

Big Data | Industria 4.0 | Transformación digital

El auge de la transformación digital de procesos productivos y de negocio, así como la implantación intensiva de sistemas de información, han abierto una nueva vía de optimización y mejora: el uso de los datos.

De forma apenas perceptible, estos sistemas de información presentes en las organizaciones han acumulado datos y datos que, sin duda, es hora de aprovechar. Existe la tecnología y existen los medios para hacerlo. ¿El siguiente paso? Obtener, a partir de ellos, información que optimice la toma de decisiones en el día a día. Exploremos tres formas de explotar datos.

El dato, actor protagonista en el ciclo de digitalización

Antes de nada, cabe preguntarse qué lugar ocupa el dato en el proceso de transformación digital de las compañías. ¿Qué hay que hacer para “tener” datos? ¿Qué sistemas “crean” los datos? Ante estas dudas frecuentes, cabe preguntarse “cómo” en lugar de “qué”.

Cualquier organización, independientemente del grado de digitalización que haya alcanzado en sus procesos, posee datos: en papel, en hojas de cálculo, en ERP’s, en sistemas de gestión de RRHH… El reto a afrontar es cómo captar y modelar esos datos para convertirlos en información útil.

Generación, captación y modelado

A la hora de afrontar un proyecto de datos, pueden diferenciarse tres grandes fases: la generación y/o captación del dato; el análisis y modelado de los datos captados; y la explotación del dato con el fin de convertirlo en información de utilidad.

La complejidad y alcance de cada una de estas fases dependerá directamente de los objetivos de negocio marcados, que a su vez deberán responder y estar alineados a una estrategia empresarial.

  • Generación y/o captura: el primer paso consiste en analizar qué datos existen y están disponibles en la organización. Como resultado, dos posibles acciones: implantar sistemas que sean capaces de facilitar la generación digital de los datos requeridos, e implantar la infraestructura necesaria para realizar una captura continua de estos en tiempo real.
  • Modelado: el siguiente paso es analizar, transformar y estructurar los datos capturados en entidades de negocio con un significado dentro de los procesos de la compañía. Dicho de otro modo, el objetivo es dar forma a esos datos para convertirlos en información de utilidad.
  • Explotación: una vez dispuestos los datos estructurados y listos para su procesamiento, llega el momento de su aprovechamiento para alcanzar las mejoras marcadas. A continuación, se expondrán algunas de las alternativas existentes.

Tres formas de explotar datos, tres modos de mejorar

La eficiencia de un proceso productivo depende directamente de la calidad de las decisiones tomadas, y la eficacia de estas es inversamente proporcional al tiempo invertido en ejecutarlas. El tiempo es oro, y el dato ayuda a optimizarlo. Cada negocio es distinto, y sus objetivos estratégicos inevitablemente varían. No obstante, todos tienen algo en común: la necesidad de mejorar de forma continua.

Mejora de la toma de decisiones a través de datos

Cuadros de mando y tiempo real

El modo de explotación más extendido: el cuadro de mando. A grandes rasgos, el objetivo principal de este tipo de soluciones es mostrar al usuario final información que le ayude, con un simple golpe de vista, a identificar si los procesos, áreas o ámbitos de los que es responsable marchan como deben.

Sin embargo, no por extendida la elaboración de cuadros de mando siempre es bien aplicada. El primer paso para elaborar un buen cuadro de mando es analizar el perfil de usuario al que va destinado y alinear su contenido a la necesidad de aquel. Es necesario huir del exceso de información e “ir al grano”. Sólo de esta forma se alcanzará el objetivo principal: facilitar la toma de decisiones.

Como complemento al requisito anterior, un buen cuadro de mando debe estar alineado a un conjunto de objetivos de negocio y, por ende, ha de representar el estado y la evolución en un período de tiempo específico de KPIs concretos y suficientemente representativos para el perfil al que están destinados. Ello va a permitir asimismo construir cuadros de mando sencillos y visuales que ofrezcan una foto actual del estado de los procesos a golpe de vista.

Por último, y siempre en la medida de lo posible, un buen cuadro de mando debe ofrecer información en estricto tiempo real. Cada día más, es la capacidad de anticipación y la rapidez en la resolución de problemas la que marca la diferencia y mejora la competitividad.

¡Empieza a imaginar tu proyecto!

Te ayudamos a imaginar cómo sería tu proyecto de datos.
Gratis y sin compromiso.

Detección de anomalías en tiempo real

La explotación de datos a través de cuadros de mando proporciona un método eficaz para mostrar al usuario final el estado de sus KPIs de negocio. No obstante se trata de un método pasivo, es decir, es el usuario el que ha de sacar conclusiones a partir de su análisis. ¿Por qué no dar un paso más?

El dato puede tener iniciativa propia, puede ser proactivo y hablar por sí mismo. Sólo hace falta un poco de IA y Big Data para alcanzar modelos inteligentes de detección de anomalías.

Este tipo de sistemas se encargan, en esencia, de analizar continuamente un determinado conjunto de datos con el fin, en primer lugar, de identificar patrones comunes, continuos y persistentes en el tiempo para, en última instancia, detectar si un determinado suceso o comportamiento es anómalo.

Los modelos de detección de anomalías tienen una ventaja sustancial sobre otros modos de explotación de datos: más allá de girar en torno a KPIs predefinidos, desenmascaran posibles problemas o cuellos de botella ocultos.

Modelos inteligentes de autoaprendizaje

Siguiendo la senda de la aplicación de modelos inteligentes, pueden aún darse pasos más allá en relación al uso de datos para la implementación de sistemas que mejoren de forma sustancial los procesos de una organización.

A través del análisis de datos y su procesamiento en combinación con el desarrollo de componentes Machine Learning, pueden implementarse modelos predictivos que ofrezcan estimaciones con un alto grado de fiabilidad sobre parámetros de producción claves para la estrategia empresarial de la organización.

Asimismo, a través de retroalimentación y aprendizaje, dichos modelos pueden alcanzar un alto grado de autonomía a la hora de anticipar errores, anomalías o bloqueos en la ejecución de un proceso de negocio. E incluso, más allá, facilitar la operativa diaria a través de la asistencia automática a la toma de decisión.

En resumen, el ciclo de vida del dato y su poder como motor de mejora de procesos empresariales es tan grande como grandes sean los objetivos marcados. No siempre es necesario abordar proyectos complejos, ni siempre es suficiente con un cuadro de mando. El dato está a disposición de la estrategia, sólo hay que saber aprovecharlo.