PRO3200 - 2024.2 - Aulas 21 e 22 - Análise de Regressão Simples
PRO3200 - 2024.2 - Aulas 21 e 22 - Análise de Regressão Simples
PRO3200 - 2024.2 - Aulas 21 e 22 - Análise de Regressão Simples
Regressão Simples
1
Outline
Introdução
Coeficiente de correlação
2
Introdução
Introdução
Sujeito 1 2 ... n
X X1 X2 ... Xn
Y Y1 Y2 ... Yn
E quer propor um modelo que relacione Y com X. Algumas perguntas que surgem:
Que tipo de modelo devemos ajustar?
• Linear?
• Quadrático?
• Cúbico?
• Exponencial?
• ...
3
Regressão simples
4
Modelo de regressão simples
Regressão Simples
yi = β0 + β1 xi + ei ,
5
Regressão simples
Por exemplo: um modelo de regressão foi ajustado entre Y = Preço de ação WSD e
X , ı́ndice Bovespa, obtendo: Y = −5.57 + 0.93X
Para cada ponto que o Ibovespa cresce, o preço da ação aumenta em média de R$0.93.
6
Estimando os parâmetros da
regressão simples
Regressão simples
Sujeito 1 2 ... n
X X1 X2 ... Xn
Y Y1 Y2 ... Yn
e o modelo
yi = β0 + β1 xi + ei ,
7
Regressão simples
Pn
xi yi − nxy
β̂1 = Pi=1
n 2 2
i=1 xi − nx
e
β̂0 = y − β̂1 x
8
Avaliação do modelo de regressão
Resı́duos ”pequenos” é uma indicação de que o modelo é ”bom”. Assim para julgar se
este resı́duo é ”pequeno” deve-se compará-lo com o resı́duo do modelo mais simples
yi = µ + ei , que é:
êi = yi − y
9
Regressão simples
Como temos vários êi ’s, é preferı́vel empregar um único número como ”a soma de
quadrados dos erros ao quadrado” . Do modelo mais simples temos:
n
X n
X
SQT = êi2 = (yi − y )2
i=1 i=1
10
Regressão simples
Vamos considerar um exemplo com n = 20 que resultou SQT = 1373 e SQRes = 563.
Como compará-los?
Os números sugerem que modelo mais complexo produziu uma redução mais
significativa nos resı́duos.
11
Decomposição dos desvios
Regressão simples
12
Regressão simples
A parcela ni=1 (ŷi − y )2 , que será denotada por ”Soma de Quadrados devido ao
P
modelo de regressão (SQReg)” mede o quanto ”o modelo mais complexo” está ”longe”
do modelo mais simples .
Então SQReg = ni=1 (ŷi − y )2 que pode reescrita como
P
n
X
SQReg = β̂12 (xi − x)2
i=1
Note que quanto maior for β̂1 , maior vai ser a redução da SQRes.
13
Regressão simples
14
Regressão simples
FV SQ G.L. QM Estatı́stica
2
Sreg
Regressão SQReg 1 2
Sreg = SQReg F = 2
Sr
Resı́duo SQRes n−2 SQRes/(n − 2) = Sr2
Total SQT n−1 SQT /(n − 1) = S 2
Table 1: Tabela Anova - Modelo de regressão
15
regressão simples
OU seja, sempre haverá uma redução ”numérica” dos resı́duos quando um modelo de
regressão for usada, mas esta redução faz compensar o uso do modelo de regressão?
Se a redução for ”pequena”, os modelos (complexo e simples) seriam praticamente
equivalentes e isto ocorre quando a inclinação β for zero ou pequena.
Ou seja, precisamos testar H0 : β1 = 0
16
Distribuições amostrais dos
estimadores dos parâmetros
Regressão simples
17
Regressão simples
σ2
β̂1 ∼ N β1 , P n 2
i=1 (xi − x)
e v
u n
(β̂1 − β1 ) u X
t (xi − x)2 ∼ N(0, 1)
σ i=1
18
Regressão simples
19
Regressão Simples
Note que
n 2
β̂12 X Sreg
t(β̂1 )2 = 2
(xi − x)2 = 2
Sr i=1 Sr
20
Regressão simples
v
u n
(β̂1 − β1 ) u X
t (xi − x)2 ∼ N(0, 1)
σ i=1
v
u n
(β̂1 − β1 ) u X
t (xi − x)2 ∼ t − Student com (n-2) graus de liberdade
Sr i=1
Sr
β̂1 ± tα/2 pPn
i=1 (xi − x)2
21
Um exemplo
22
Exercı́cio
23
Solução
24
Solução
Pn Pn 13.7286
e SQReg = β̂12 i=1 (xi − x)2 = 13.7286 → i=1 (xi − x)2 = 0.88572
= 17.5.
Assim o IC para β1 será √
0.0879
0.8857 ± 2.776 √
17.5
com tα/2 = 2.776, um valor da t-Student com 4 graus de liberdade
25
Regressão Simples
r Pn
x2
Um IC para β0 com nı́vel de confiança 1 − α é dado por β̂0 ± tα/2 Sr n
Pn i=1 i 2
(x −x)
i=1 i
26
IC para uma média e uma futura
observação
Regressão simples
Substituindo σ 2 pelo seu estimador Sr2 segue que um IC para µ(x ∗ ) com nı́vel de
confiança de 1 − α é dado por
s
(x ∗ − x)2
1
ŷ ∗ ± tα/2 Sr + Pn 2
n i=1 (xi − x)
27
Regressão simples
Y ∗ = µ(x ∗ ) + e ∗
e
Var (Ŷ ∗ ) = Var (µ̂(x ∗ )) + Var (e ∗ )
ou seja
(x ∗ − x)2 (x ∗ − x)2
1 1
Var (Ŷ ∗ ) = σ 2 + Pn 2
+ σ2 = σ2 1+ + Pn 2
n i=1 (xi − x) n i=1 (xi − x)
Substituindo σ 2 pelo seu estimador Sr2 segue que um IC para futura observação no
nı́vel (x ∗ ) com nı́vel de confiança de 1 − α é dado por
s
(x ∗ − x)2
∗ 1
ŷ ± tα/2 Sr 1+ + Pn 2
n i=1 (xi − x)
28
Exercı́cio
Você afirmaria, com 95% de confiança, que em um novo teste onde se coloca 4.5% de
aditivo na gasolina o valor da octanagem estará entre 84 e 86 ?
Pelo modelo de regressão, Ŷ = 83.69
r
(4.5−3.5)2
83.69 ± 2.776 0.0879 1 + 15 + 17.5
= [82.76; 84.64]
29
Coeficiente de correlação
Coeficiente de correlação
30
Coeficiente de correlação
(
H0 : ρ = 0
Teste de hipótese para existência de correlação pode ser escrito como
H1 : ρ 6= 0
p
r (n − 2)
É possı́vel mostrar que W = √ ∼ t − Student com n-2 graus de liberdade
1 − r2
Regra de decisão:
31
Coeficiente de correlação
ou seja sob H0
√
1 (1 + ρ0 )
Zv = n − 3 V − ln ∼ N(0, 1)
2 (1 − ρ0 )
32
Coeficiente de determinação e coeficiente de correlação - regressão simples
33
Um exemplo interessante - Fonte:Wikipidea
34
Quarteto de Anscombe
35
Quarteto de Anscombe
Estatı́stica Valor
Média de x 9
Variância de x 11
Média de y 7,50
Variância de y 4,125
Correlação entre x e y 0,816
Reta de regressão linear y = 3.00 + 0.500x
Coef. de determinação: R 2 0.67
35
Quarteto de Anscombe
36
Quarteto de Anscombe
36
Quarteto de Anscombe
37
Análise dos resı́duos
Análise dos resı́duos
38
Análise dos resı́duos
39
Análise dos resı́duos
40
Análise dos resı́duos
41
Exercı́cios
Observe a evolução no tempo do PIB per capita da China (em US$). Observe o
comportamento dos dados. Ajuste um modelo linear e, usando ANOVA, teste a
hipótese da regressão ser significativa para um nı́vel de 1%. Interprete os coeficientes
obtidos.
Ano 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
PIB 1753 2099 2695 3471 3838 4561 5634 6338 7078 7684 8069 8123
Observe a evolução no tempo do PIB per capita dos Estados Unidos. Ajuste um
modelo linear e estime o valor do PIB per capita para 2020. Construa um intervalo de
confiança (95%) para o valor previsto.
Ano 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015
PIB 44308 46437 48062 48401 47002 48374 49791 51450 52787 54599 56207
42
Saı́da Excel - PIB per capital da China
43
Saı́da Excel - PIB per capital da USA
44
PIB USA
Previsão para 2020 (X*=15) é dada por: Ŷ2020 = 44346.91 + 1101.85 × 15 = 60874.66
IC a 95%: s
(x ∗ − x)2
∗ 1
ŷ ± tα/2 Sr + Pn 2
n i=1 (xi − x)
com
√ Pn
n = 12; t = 2.228; Sr = 127865.57; x∗ = 15; X = 5.5; i=1 (xi − x)2 = 143
45
PIB USA- análise dos resı́duos
46
Exercı́cios
Observe o PIB per capita e o consumo de eletricidade per capita dos paı́ses indicados.
Paı́s GDP per capita (US$) Electricity consumption per capita (kWh)
Haiti 830 39
Russian Federation 14126 6603
South Africa 6480 4229
China 7684 3927
Netherlands 52157 6713
Brazil 12027 2601
Chile 14817 3912
Uruguay 16738 3068
Germany 47903 7035
Italy 35397 5002
France 42955 6938
United Kingdom 46412 5130
Sweden 59180 13480
United States 54599 12987
Japan 38096 7820
47
Exercı́cios
48
Regressão não linear - transformação
linear
Regressão não linear
Y ∗ = β0 + β1 X ∗
49
Exercı́cio
50