MÓDULO 3

REGRESIÓN LINEAL

El objetivo de este módulo es revisar el análisis de regresión lineal, con enfoque en la formulación
del álgebra de matrices y las rutinas del MATLAB para regresión lineal. Después de revisar este
módulo el estudiante debe ser capaz de:

 Formular una solución utilizando el álgebra de matrices para un problema de mínimos

cuadrados.
 Utilizar la rutina polyfit del Matlab para encontrar un ajuste polinomial de datos.
 Utilizar la rutina polyval del Matlab para evaluar un polinomio.

3.1. MOTIVACIÓN

Los modelos desarrollados en el curso requieren los valores de muchos parámetros tales como
coeficientes de velocidad de reacción, etc. Es común utilizar la regresión lineal (también conocida
como análisis lineal por mínimos cuadrados) para estimar los valores de estos parámetros. Para
ilustrar los principios básicos del análisis de regresión lineal, consideremos primero la ecuación de
una recta. Consideremos los datos mostrados como círculos abiertos en la figura 3.1. Requerimos
encontrar la ecuación de una recta que proporcione el mejor ajuste de los datos.

Figura 3.1. Datos

experimentales y
predicción del modelo
lineal

Establecemos que xi
representa la variable independiente y yi representa la variable dependiente, para el i-ésimo dato
ˆ
punto experimental. También que yi representa un modelo de predicción de la variable dependiente,
dado el valor experimental de la variable independiente xi . Los conjuntos de variables dependientes
e independientes pueden representarse como los vectores:
 x1   y1 
x  y 
x 2 , y 2
   
   
 xN   yN 

que se pueden escribir de la siguiente forma, para ahorrar espacio:

III.1
 xT   x1 x2  xN 
donde: T
y T   y1 y2  yN 
representa la
operación transpuesta.

Dado un conjunto de datos experimentales, x e y, deseamos encontrar los parámetros que

permitan que el modelo ajuste mejor los datos experimentales. Para un buen ajuste de los datos, es
necesario minimizar la diferencia entre los datos punto y la predicción del modelo ( ŷ  ax  b ).
Nuestro primer propósito debe ser encontrar los parámetros a y b del modelo, de modo que la suma
de los valores absolutos de los errores sea minimizada. Aquí hemos definido el error como la
diferencia entre el valor experimental y la predicción del modelo. Es decir, nuestro objetivo es
encontrar los valores de a y b, tal que la sumatoria de la ecuación siguiente sea minimizada:

y1  yˆ1  y2  yˆ 2  y3  yˆ3  y4  yˆ 4  y5  yˆ5

(3.1)
La principal desventaja de este enfoque es que no existe una solución analítica simple y cerrada
para este problema. Un enfoque alternativo es minimizar la suma de los cuadrados de los errores.
Es decir, encontrar a y b, tal que la ecuación siguiente sea minimizada:

 y1  yˆ1    y2  yˆ 2    y3  yˆ3    y4  yˆ 4    y5  yˆ5 

2 2 2 2 2

(3.2)

Para N datos puntos, podemos representar la ecuación (3.2) utilizando la notación más compacta:

  y  yˆ 
2
i i
i 1 (3.3)

Además de la solución analítica que se seguirá, otra ventaja de la formulación de la suma de los
cuadrados es que los errores grandes se penalizan en mayor medida que los errores pequeños.

3.2. SOLUCIÓN POR MÍNIMOS CUADRADOS PARA UNA RECTA

Utilizando notación de optimización, nos referimos a la ecuación (3.3), como la función objetivo.
Deseamos encontrar los valores de a y b (conocidos como variables de decisión) que minimicen la
función objetivo. Establecemos que f(a,b) representa la función objetivo:
N
f  a, b     yi  yˆi 
2

i 1 (3.4)
yˆ i  a xi  b :
y puesto que
N
f  a, b     yi  a xi  b 
2

i 1 (3.5)
Sabemos del cálculo la condición necesaria para un mínimo de una función con respecto a una
f  a, b 
variable. El mínimo de se satisface con las ecuaciones:

III.2
 f  a, b 
0
a (3.6)
f  a, b 
0
b (3.7)
De (3.6)
f  a, b  N
 2  yi  axi  b   xi   0
a i 1 (3.8)
y de (3.7):
f  a, b  N
 2  yi  axi  b   0
b i 1 (3.9)
Retirando el valor constante -2, encontramos que las ecuaciones (3.8) y (3.9) pueden escribirse
respectivamente como (3.10) y (3.11):
N

  y x  ax i i
2
i  bxi   0
i 1 (3.10)
N

  y  ax  b   0
i i
i 1 (3.11)
A partir de aquí el juego de ecuaciones normales será, extrayendo los parámetros a y b de las
sumatorias:
N N N
b xi  a  x   yi xi 2
i
i 1 i 1 i 1 (3.12)
N N
a  xi  b N   yi
i 1 i 1 (3.13)

Note que tenemos dos ecuaciones (3.12) y (3.13) y dos incógnitas(a y b). Ordenando las ecuaciones
(3.12) y (3.13):
N N
bN  a  xi   yi
i 1 i 1
N N N
b xi  a  xi2   yi xi
i 1 i 1 i 1

Los coeficientes ay b pueden ser estimados por medio de determinantes:

N
N yi 1
i

N N N N N
 xi
i 1
yx
i 1
i i N  yi xi   xi  yi
a N
 i 1 i 1 i 1
2
N
  N
N x i N  x    xi 
2
i
i 1 i 1  i 1 
N N

 xi
i 1
xi 1
2
i

III.3
 N N

y
i 1
i x
i 1
i

N N N N N N

 yi xi
i 1
 xi2
i 1
 yi  xi2   xi  yi xi
b N
 i 1 i 1 i 1 i 1
2
N
  N
N x i N  x    xi 
2
i
i 1 i 1  i 1 
N N

 xi
i 1
x
i 1
2
i

También podemos resolver fácilmente para b en términos de a partir de (3.13) para obtener:
N N
a  xi  b N   yi
i 1 i 1 (3.13)
N N
1
b
N
 y  a x
i 1
i
i 1
i
(3.14)
Desde luego, vemos que los términos en (3.14) no son más que los valores medios de “y” y de “x”:
1 N
y  yi
N i 1 (1)
N
1
x
N
x i
i 1 (2)
de modo que: b  y  a x (3.15)
Sustituyendo la ecuación (3.15) y (2) en la (3.12) encontramos:
N N N
b xi  a  xi2   yi xi
i 1 i 1 i 1 (3.12)
N N
 y  ax  Nx  a xi2   yi xi
i 1 i 1 (3.16)
N N
Nxy  Nax 2  a  xi2   yi xi
i 1 i 1
N N
a  N x 2   xi2   yi xi  N x y
i 1 i 1
(3.17)
Lo que conduce a:
 N 
  yi xi   N x y
a   i 1N 
 2
  xi   N x
2

 i 1  ¡ (3.18)
y “b” puede ser determinado de (3.15).

III.4
3.3. SOLUCIÓN PARA LA ECUACIÓN DE UNA RECTA UTILIZANDO NOTACIÓN
MATRIZ-VECTOR

El modelo de predicción de cada variable dependiente puede escribirse como:

yˆi  a xi  b (3.19)
el que puede escribirse en la forma matriz-vector, para N datos puntos, como:

 yˆ1   x1 1
 yˆ  x 1 
 2 a 
 2 b 
 ...   ... ...   (21)
   
 yˆ N  ( N 1)  xN 1  ( N 2)
(3.20)
y puede verse que el dimensionamiento de las matrices y vectores es consistente. Utilizando
notación matriz-vector compacta, escribimos la ecuación. (3.20) como:
ˆ  Φθ
Y (3.21)
La función objetivo es
N
f (θ)   ( yi  yˆi ) 2
i 1 (3.22)
la que podemos escribir como:
ˆ T ˆ
f (θ)  [
Y Y] [YY]
(11) (1 N ) ( N 1)
(3.23)
donde:
 y1  yˆ1 
 ˆ 
ˆ   y2  y2 
YY
 ... 
 
 y N  yˆ N  ( N 1)
ˆ ]T   y  yˆ
[Y  Y y2  yˆ 2 ... y N  yˆ N  (1 N )
1 1

luego:
 y1  yˆ1 
 y  yˆ 
ˆ ]   y  yˆ
ˆ ]T [Y  Y
[Y  Y y2  yˆ 2 ... y N  yˆ N  1 N   2 2 
1 1
 ... 
 
 yN  yˆ N  N 1
La expresión general de optimización es entonces:
ˆ ]T [Y  Y
f (θ)  [Y  Y ˆ]
Minimizar: (3.24)
ˆ  Φθ
Y
sujeta a: (3.25)

III.5
donde f (θ) es la función objetivo, θ es el vector que contiene las variables de decisión, y (3.25) es
la ecuación de restricción de igualdad. Puesto que las ecuaciones de restricción son lineales (en este
caso) y la función objetivo es cuadrática, existe una solución analítica para este problema. La
solución es (Edgar and Himmelblau, 1988):

θ = (Φ TΦ) 1 ΦT Y (3.26)
donde:
x x2 ... xN 
ΦT   1
1 1 ... 1  2 N
Análisis:
[Φ TΦ]212 Φ T2 N  R 2 N
a 
R 2 N YN 1  [Φ]21   
b  21

3.4. GENERALIZACIÓN DE LA TÉCNICA DE REGRESIÓN LINEAL

Debe anotarse que el único requisito para la estimación de parámetros utilizando la solución por
mínimos cuadrados (3.26) es que el modelo debe ser lineal con respecto a los parámetros. No hay
ninguna limitación para las funcionalidades con respecto a las variables independientes (x1, x2, x3 y
x4). Como ejemplo consideremos la función:
yˆ  ax1  bx22  c ln x3  d e x4
donde las “x” son las variables independientes. Se representan los k-ésimos datos puntos como:
yˆ (k )  ax1 (k )  bx2 (k ) 2  c ln x3 (k )  d e x4 ( k )
la que puede escribirse como:
yˆ(k )   ( k ) Tθ
donde:
 (k )T  [ x1 ( k ) x2 ( k ) 2 ln x3 ( k ) e x4 ( k ) ] ,

donde estas variables independientes son datos experimentales.

θT  [a b c d ]

Ahora, para el sistema de N datos puntos podemos escribir:

ˆ  Φθ
Y
donde:
 yˆ1    (1)T  a
 yˆ   T  b 
  (2) 
Y 2
ˆ Φ θ 
 ...   ...  c
   T  
 yˆ N   ( N )  d 

III.6
La solución a este problema es la ecuación (3.26) y la generalización para cualquier sistema que es
lineal en los parámetros es clara. Una formulación común es el ajuste por mínimos cuadrados de un
polinomio.

Considere una ecuación polinómica de orden n-ésimo, donde pi es un parámetro (coeficiente) a

ser encontrado como un mejor ajuste de los datos:
yˆ  p1 x n  p2 x n 1  ...  pn x  pn1

El vector de parámetros es:

 p1 
 p 
 2 
θ   ... 
 
 pn 
 pn 1 
N 1

La matriz de las funciones de las variables independientes es:

 x(1) n x(1) n 1 ... x(1) 1 

 
 x(2) n x(2) n 1 ... x(2) 1 
Φ
 ... ... ... ... ...
 
 x( N )
n
x( N ) n 1 ... x( N ) 1  N  N

El vector de la variable medida es:

 y (1) 
 y (2) 
Y 
 ... 
 
 y ( N )  N 1

Donde x(i) y y(i) representan respectivamente las variables independiente y dependiente, en los i-
ésimos datos puntos. La solución a este problema es la ecuación (3.26):

θ = (Φ TΦ) 1 ΦT Y (3.24)

3.5. RUTINAS MATLAB polyfitYpolyval.

La rutina MATLAB polyfit es utilizada para ajustar datos a un polinomio de n-ésimo orden , y
la rutina polyval es utilizada para evaluar un polinomio de n-ésimo orden. Sean x = vector de
variables independientes, y = vector de variable dependiente, y n = orden del polinomio. El mejor
ajuste de coeficientes del polinomio se encuentra a partir de:

III.7
 p = polyfit(x,y,n)

donde los elementos del vector p son ordenados de la potencia más alta hacia abajo. Dados un
polinomio p y un vector independiente x1, el vector dependiente resultante y1 puede encontrarse a
partir de:
yl = polyval(p,xl)

Mostramos el uso del polyfit y polyval mediante el ejemplo 3.1.

Ejemplo M3.1 Reactor Batch (por lotes)

Considere un reactor batch con una reacción de primer orden, A  B . El modelo es:
dC A
 k C A
dt
donde C A =concentración de A, k  constante de velocidad, y t = tiempo. Separando variables e
integrando:
dC A
 k dt
CA
CA dC A t
CA0 CA   k 0 dt
ln C A  ln C A 0  kt
ln C A  ln C A 0  kt
donde C A 0 es la concentración inicial de A. Tener en cuenta que ésta es la ecuación para una recta.
Si hacemos que:
y  ln C A
p (1)  k
p (2)  ln C A0
y tenemos la forma:
y  p  1 t  p  2 
Ahora usamos polyfit para encontrar el mejor ajuste lineal de los datos. Los datos del reactor
batch se muestran en la Tabla 3.1 y la figura 3.2.

Tabla 3.1 Concentración en función del tiempo

tiempo, min 0 1 2 3 4 5
CA,kmol/m3 8,47 5,00 2,95 1,82 1,05 0,71
Figura 3.2. Datos del reactor batch. CA= f(t)

III.8
Los mismos valores de los parámetros pueden obtenerse a partir de la ecuación (3.26) mediante el
siguiente procedimiento:

Los parámetros de la regresión lineal se convierten de nuevo a los parámetros físicos:

k   p  1  0,502 min 1
C A0  exp( p(2))  8, 24 kmol/m 3

Ahora, queremos comparar los datos experimentales con la mejor recta de ajuste (modelo). La recta
se genera utilizando la función polyval. El modelo y experimento se comparan en la Figura 3.3.

III.9
 Figura 3.3. Gráfica semilogarítmica de la data de concentración y el mejor ajuste lineal.

También se quiere comparar los datos experimentales con el modelo en una gráfica de
concentración-tiempo.

Los datos y el modelo se comparan en la Figura 3.4.

La constante de velocidad de reacción se ha evaluado en una sola temperatura. Puede ser evaluada a
otras temperaturas y la regresión lineal puede utilizarse para evaluar las constantes de Arrhenius
(factor de frecuencia y energía de activación).

III.10
 Figura 3.4. Data de concentración y modelo como una función del tiempo

III.11
Mediante Excel, por mínimos cuadrados tenemos:

Y  b  ax  ln C A  ln C A0  kt

tiempo,
min
CA,kmol/m3 Y=lnCA
0 8,47 2,1365
1 5 1,6094
2 2,95 1,0818
3 1,82 0,5988
4 1,05 0,0488
5 0,71 -0,3425

N Y=lnCA x=t xY x2
1 0 2,1365 0 0
2 1 1,6094 1,6094 1
3 2 1,0818 2,1636 4
4 3 0,5988 1,7965 9
5 4 0,0488 0,1952 16
6 5 -0,3425 -1,7125 25
 Σ 15 5,1329 4,0523 55

Entonces:
1
N 2 N
 N 
 x j  xj   x jYj 
 a   j 1 j 1
  j 1 
b    N   N 
 
 x j N   Yj 
 j 1   j 1 
1
 a  55 15  4,0523 
 b   15 6   5,1329 
     
 a   0,0571 0,1429   4,0523 
 b    0,1429 0,5238   5,1329 
  
 a   0,5017 
 b    2,1098 
   
De donde:
a  0,5017  k b  2,1098  ln C A0
Por tanto:
k   p  1  0,502 min 1
C A0  exp( p(2))  8, 24 kmol/m 3

III.12
 2.5000

2.0000 f(x) = − 0.5 x + 2.11

R² = 1

1.5000

ln CA 1.0000

0.5000

0.0000
0 1 2 3 4 5 6

-0.5000

t, min

Figura 3.5. Gráfica semilogarítmica de la data de concentración y el mejor alineamiento.

III.13