Machine learning for optimization of energy intensive industrial processes

This work targets the investigation of novel machine learning approaches to support the energy-aware optimization of energy intensive industries, thus fostering more sustainable consumption patterns. In particular, we focus the on the development of two major functional components needed to realize such implementations, namely the integration of reliable short-term energy price/load forecasting, and data-driven behavioral models of discrete/hybrid processes. Specifically, we first study a novel probabilistic forecasting approach, based on a Bayesian Mixture Density Network architecture, inferring general conditional densities within an end-to-end learning framework including features selection. Both aleatoric and epistemic uncertainty sources are encompassed within the overall predictive distribution, to enable what-if scenario/consumption analysis before trading, enhanced risk evaluation and the ability to plan multiple production strategies for the range of possible prices outcomes. Afterwards, we target the identification of behavioral models of discrete systems through Recurrent Neural Networks (RNN). The goal here is to increase explainability, as the rationale behind the network responses is encoded in an implicit way, which is difficult to be interpreted by practitioners. Hence, we propose a new approach based on the introduction of a Gaussian Mixture-based clustering layer, constraining the network to operate on a discrete latent state representation. By processing context-input conditioned transitions between clusters, a human interpretable Moore Machine based characterizing the RNN computations is extracted. The identification of hybrid patterns over the measured data sequences is a further key issue to be address, to properly represent the heterogeneous interactions occurring between control logic/rules and continuous process dynamics, including sharp changes in operating points, plants regimes, constraints on values of system inputs/outputs, etc. In this context, we focus on two general classes of hybrid systems, proposing specialized model architectures. Besides the complementary utilities provided to the realization of energy-aware optimization tools, the approaches developed in this thesis shares a further leitmotif. In fact, they constitute multiple extensions to probabilistic mixtures models, especially implemented to achieve flexible conditional density estimation, probabilistic latent space clustering and enhanced Mixture of Expert architectures.

Questo lavoro mira allo studio di nuovi approcci di apprendimento automatico per supportare l'ottimizzazione energetica delle industrie ad alta intensità energetica, favorendo così modelli di consumo più sostenibili. In particolare, ci concentriamo sullo sviluppo di due principali componenti funzionali necessari per realizzare tali implementazioni, vale a dire l'integrazione di una previsione affidabile del prezzo/carico dell'energia a breve termine e modelli comportamentali basati sui dati di processi discreti/ibridi. In particolare, studiamo prima un nuovo approccio di previsione probabilistica, basato su un'architettura Bayesiana Mixture Density Network, all'interno di un framework di apprendimento end-to-end che include la selezione delle feature. Sia le fonti di incertezza aleatoria che epistemica sono incluse nella distribuzione predittiva complessiva, per consentire l'analisi di scenario/consumo ipotetico prima della negoziazione, una migliore valutazione del rischio e la capacità di pianificare più strategie di produzione per la gamma di possibili risultati dei prezzi. Successivamente, ci proponiamo di identificare modelli comportamentali di sistemi discreti attraverso Recurrent Neural Networks (RNN). L'obiettivo qui è aumentare la spiegabilità, poiché la logica dietro le risposte della rete è codificata in modo implicito, difficile da interpretare dagli utilizzatori finali. A tal fine, abbiamo sviluppato un nuovo approccio basato sull'introduzione di uno strato di clustering basato su una Gaussian Mixture, vincolando la rete a operare su una rappresentazione di stato latente discreto. Elaborando le transizioni condizionate dall'input di contesto tra i cluster, viene estratta una macchina di Moore interpretabile che caratterizza l’elaborazione latente effettuata nello stato della RNN. L'identificazione di pattern ibridi sulle sequenze di dati misurati è un'ulteriore questione chiave da affrontare, per rappresentare adeguatamente le interazioni eterogenee che si verificano tra logiche/regole di controllo e dinamiche di processo continue, inclusi bruschi cambiamenti nei punti operativi, nei regimi degli impianti, nei vincoli sui valori di input/output di sistema, ecc. In questo contesto, ci concentriamo su due classi generali di sistemi ibridi, proponendo architetture di modelli specializzate. Oltre alle utilità complementari fornite alla realizzazione di strumenti di ottimizzazione energy-aware, gli approcci sviluppati in questa tesi condividono un ulteriore leitmotiv. Infatti, costituiscono estensioni multiple a modelli di mixture probabilistiche, implementate in particolare per ottenere una stima flessibile della densità condizionale, clustering probabilistico delle attivazioni ed architetture Mixture of Expert per identificazione sistemi ibridi dai dati.