TCE RS - Aulas 3 e 4 - Controle de Politicas Publicas

INSTITUTO RUI BARBOSA (IRB)
TRIBUNAL DE CONTAS DO ESTADO DO

RIO GRANDE DO SUL (TCE-RS)
AUDITORIA, POLÍTICAS PÚBLICAS

& AGENDA 2030
AULAS 3 & 4- CONTROLE DE POLÍTICAS PÚBLICAS
Nelson Nei Granato Neto (TCE-PR/IRB)

Porto Alegre, 02 e 07 de julho de 2021
POR QUE ESTUDAR?
Mafalda. Quino.
2
ESTRUTURA DA AULA
1. Introdução: O que são Políticas Públicas?
2. Análise: Modelo Lógico, Teoria do Programa e Teoria da Mudança
3. Síntese: Dimensões de Desempenho
4. Contexto: Basta copiar bons exemplos para dar certo?
5. O papel dos Tribunais de Contas.
TCE-RS: Aulas 3 e 4- Controle de Políticas

3
Públicas
1. INTRODUÇÃO: O QUE SÃO
POLÍTICAS PÚBLICAS?

4
Públicas
CONCEITO DE POLÍTICAS PÚBLICAS
ADMINISTRAÇÃO PÚBLICA/
CIÊNCIA POLÍTICA
ECONOMIA
Uma política pública de excelência Um programa pode ser descrito

corresponde àquelas cadeias de como uma transformação
ação e fluxos de intencional de recursos específicos
informação relacionados com (insumos) em certas atividades
um objetivo político definido (processos) para produzir efeitos
democraticamente […]. Uma política esperados (resultados), dentro de
pública de qualidade incluirá um contexto específico.
orientações ou conteúdos, (MacLaughlin; Jordan, 2015. p. 55)
instrumentos ou mecanismos,
definições ou modificações
institucionais e a previsão dos seus
resultados. (Parada, 2006. p. 68)

5
Públicas
CONCEITO DE POLÍTICAS PÚBLICAS
Conceito “mínimo” de políticas públicas:
“Políticas Públicas são intervenções planejadas

do poder público com a finalidade de resolver
situações sociais problemáticas.”
(Di Giovanni, 2007. p.3)

6
Públicas
1.1. POLÍTICAS PÚBLICAS NA HISTÓRIA
COESÃO/COERÇÃO
SOCIAL
FUNÇÕES DO ESTADO
REGULAÇÃO DA
ATIVIDADE ECONÔMICA
PROMOÇÃO DO BEM-
ESTAR SOCIAL
PROTEÇÃO DO MEIO
AMBIENTE

7
Públicas
COESÃO/COERÇÃO *Defesa (Exército e Marinha)

SOCIAL *Justiça
CAPITALISMO COMERCIAL
FUNÇÕES DO ESTADO
(Séculos XVI a XVIII)
REGULAÇÃO DA *Licenças para explorar territórios

ATIVIDADE ECONÔMICA *Regulação do comércio exterior
PROMOÇÃO DO BEM-
ESTAR SOCIAL
PROTEÇÃO DO MEIO
AMBIENTE
TCE-RS: Aulas 3 e 4- Controle de Políticas Públicas 8

*Defesa (Exército e Marinha)

COESÃO/COERÇÃO
*Polícia
SOCIAL
*Justiça
CAPITALISMO INDUSTRIAL
FUNÇÕES DO ESTADO
*Licenças para explorar territórios

REGULAÇÃO DA
*Regulação do comércio exterior
ATIVIDADE ECONÔMICA
(Século XIX)
*Proteção da indústria nascente
>>> Reinvindicações da classe

PROMOÇÃO DO BEM- trabalhadora
ESTAR SOCIAL >>> Educação e assistência aos
desamparados
PROTEÇÃO DO MEIO
AMBIENTE

9
Públicas
*Defesa (Exército e Marinha)

COESÃO/COERÇÃO
*Polícia
SOCIAL
*Justiça
CAPITALISMO FINANCEIRO
FUNÇÕES DO ESTADO
*Licenças para explorar territórios

*Regulação do comércio exterior
(Séculos XX e XXI)
REGULAÇÃO DA
*Proteção da indústria nascente
ATIVIDADE ECONÔMICA *Administração da dívida pública/regulação bancária
*Intervenção em setores estratégicos
*Educação
PROMOÇÃO DO BEM- *Saúde, assistência e previdência social
*Redução de desigualdades, combate à discriminação social
ESTAR SOCIAL *Moradia, transporte público
*[...]
>>> “Reclamações” do planeta:

PROTEÇÃO DO MEIO
mudanças climáticas
AMBIENTE
>>> “Desenvolvimento sustentável”

10
Públicas
1.2. POLÍTICAS PÚBLICAS NO BRASIL
“A questão social é um caso de

polícia” –
Washington Luiz
República Velha (1889-1930)

*Política econômica liberal
*Pouca atenção à questão
social, salvo casos pontuais (ex:
combate a epidemias)

11
Públicas
Era Vargas (1930-1945)

*Política econômica
intervencionista
*Legislação trabalhista
*Criação de institutos de
previdência
*Educação primária pública

12
Públicas
1º Ciclo Democrático
(1945-1964)
intervencionista
*Planejamento estatal: Plano
Salte, Plano de Metas, Plano
Trienal
*Continuidade das políticas
sociais varguistas

13
Públicas
Ditadura Militar
(1964-1985)
intervencionista
*Planejamento estatal-
Planos Nacionais de
Desenvolvimento
*Continuidades e
descontinuidades das
políticas sociais varguistas

14
Públicas
2º Ciclo Democrático
(1985-???)
*Política econômica neoliberal-
criação de um novo marco
regulatório da atividade
econômica
*Constituição de 1988: Políticas
sociais universalizantes.

15
Públicas
2. ANÁLISE DE POLÍTICAS PÚBLICAS

16
Públicas
2.1. ANÁLISE- EMARANHADO CONCEITUAL
“não existe consenso quanto ao que seja avaliação de políticas públicas,

pois o conceito admite múltiplas definições, algumas delas contraditórias”
Ala-Harja e Helgason (2000)
“Há atualmente uma Babel de abordagens, teorizações incipientes e

vertentes analíticas que buscam dar significação à diversificação dos
processos de formação e gestão das políticas públicas”
Faria (2003)
“Se avaliação é uma forma de mensuração, de julgamento de valor, é preciso estabelecer,

antes de tudo, os critérios de avaliação, e nesse ponto não há consenso sobre aspectos
metodológicos e conceituais. O que existe é um autêntico “emaranhado conceitual”
Costa e Castanhari (2003)
Fonte: Trevisan e van Bellen (2008).

Avaliação de políticas públicas: uma revisão teórica de um campo
em construção
17
Públicas
2.1. ANÁLISE- TEORIA DO PROGRAMA
Programa: Pode se referir a qualquer intervenção – um projeto, uma estratégia, uma

política, uma inciativa de financiamento, ou um evento.
Teoria do Programa: É um modelo ou uma teoria (ambos explícitos) sobre como uma
intervenção contribuirá para atingir um conjunto específico de resultados por meio de uma
série de efeito intermediários.
Teoria da Mudança: É o mecanismo central pelo qual a mudança acontece para os

indivíduos, grupos e comunidades (que recebem os produtos/”outputs” do programa)
Teoria da Ação: Explica como os programas são construídos para ativar as suas teorias
da mudança
Fonte: FUNNEL; ROGERS, 2011. pp. 30-33

18
Públicas
1) Qual a importância das teorias da mudança e da ação para o planejamento

de políticas públicas?
*Essas teorias deixam claros os pressupostos da intervenção governamental e os
seus resultados esperados.
2) Uma política pública fundamentada em uma teoria do programa é garantia

de seu sucesso?
*NÃO, mas a teoria do programa deixa explícito quais são os pressupostos que
estão por trás de uma determinada intervenção e facilita a sua avaliação e
identificação de suas deficiências.

19
Públicas
Modelo lógico: Uma teoria do programa geralmente é mostrada em um diagrama

chamado “modelo lógico”
PRODUTOS/ IMPACTOS
INSUMOS RESULTADOS
NECESSIDADES OBJETIVOS SERVIÇOS SOCIO-
“INPUTS” “OUTCOMES”
“OUTPUTS” ECONÔMICOS
Fonte: FUNNEL; ROGERS, 2011. pp. 30-33; NBASP/GUID 9020

20
Públicas
2.2. MODELO LÓGICO
Elementos do modelo lógico:

INSUMO – PROCESSO – PRODUTO – RESULTADO
INPUT – PROCESS – OUTPUT – OUTCOME
Daniel Stuffebean (1967) ONU/GiZ (1979) United Way – EUA (1996)

Modelo CIPP Estrutura Logica Modelo Lógico
1) Context- Contexto 1) Atividades 1) Insumos

2) Input- Insumo 2) Produtos 2) Atividades
3) Process- Processo 3) Propósito (resultado 3) Produtos
4) Product- Produto esperado) 4) Resultado
4) Meta

21
Públicas
2.2. MODELO LÓGICO

AusAID – Austrália Tesouro Nacional – Canadá Controladoria e Auditoria-Geral

Agência Australiana para o – Índia
Desenvolvimento Internacional 1) Atividades 1) Alvo, objetivo, meta
1) Produto (“output”) 2) Produtos 2) Insumo (“input”)
2) Componentes objetivos ou 3) Resultados imediatos 3) Processo
resultados imediatos 4) Resultados intermediários 4) Produto (“output”)
3) Propósito ou resultado 5) Resultados finais 5) Resultado (“outcome”)
(“outcome”)
4) Meta ou impacto

22
Públicas
2.2. MODELO LÓGICO

Tesouro Nacional – Universidade de Wisconsin – InnoNET – EUA

África do Sul Estados Unidos Rede de inovação
1) Insumos 1) Insumos 1) Recursos

2) Atividades 2) Produtos – atividades 2) Atividades
3) Produtos 3) Produtos – participação 3) Produtos
4) Resultados 4) Resultados de curto prazo 4) Resultados
5) Impactos 5) Resultados de médio prazo 5) Meta
6) Impacto

23
Públicas
2.2. MODELO LÓGICO
PRODUTOS/ IMPACTOS/
INSUMOS PROCESSOS/ RESULTADOS RESULTADOS
OBJETIVOS SERVIÇOS
“INPUTS” ATIVIDADES “OUTCOMES” DE LONGO
“OUTPUTS”
PRAZO
RESULTADOS
PÚBLICO
NECESSI- DE MÉDIO
ALCANÇADO
DADES PRAZO
CONTEXTO CONTEXTO
CONTEXTO PRES-
QUE INTERF. QUE INTERF.
SUPOSTOS
PRODUTO RESULTADO

24
Públicas
NECESSIDADES 2.2. MODELO LÓGICO
IMPACTOS
SOCIAIS
INSUMO
SOCIAIS
INSUMO RECURSOS PRODUTOS RESULTADOS

OBJETIVOS PROCESSOS (OUTPUT) (OUTCOME)
ORÇAMENTO FÍSICOS &
HUMANOS
CONTEXTO SOCIECONÔMICO E
INSTITUCIONAL

25
Públicas
2.2. MODELO LÓGICO
Estrutura do programa
NECESSIDADES
INSUMO
SOCIAIS
PRODUTOS &
INSUMO ATIVIDADES- RECURSOS ATIVIDADES-
OBJETIVOS SERVIÇOS
ORÇAMENTO MEIO FÍSICOS & FIM (OUTPUT)
HUMANOS
Estrutura dos resultados

PÚBLICOS
ALCANÇADOS
RESULTADOS
CONTEXTO SOCIECONÔMICO E (OUTCOME)
INSTITUCIONAL
IMPACTOS
SOCIAIS
Adaptado de: MacLaughlin; Jordan, 2015
26
Públicas
2.3. MODELO LÓGICO & PLANEJAMENTO
Planejamento de Políticas Públicas
1. Que metas precisam ser atingidas?
2. Que ações precisam ser implantadas/continuadas?
3. Quais são os recursos demandados para executar essas

ações?
4. Quais são os produtos e serviços entregues pelas ações?
5. Quais os públicos atendidos pelas ações?
6. Há efeitos imediatos no público que recebeu os produtos e

serviços (resultados) que podem ser mensurados? Quais?

27
Públicas
PRODUTO PÚBLICO RESULTADO

AÇÃO 1 X
1 A
RESULTADO
ORÇAMENTO
PROGRAMA
Z
PRODUTO PÚBLICO RESULTADO
AÇÃO 2
2 B Y
RECURSO
AÇÃO 3 NECESSÁRIO
PLANO
PLURIANUAL

28
Públicas
Modelo Lógico –
Sistema Nacional de Saúde (Reino Unido)
Controle do tabagismo – contribuições dos

setores
Arquivo em anexo

29
Públicas
2.4. ELEMENTOS DO MODELO LÓGICO
IMPACTO SOCIO-
NECESSIDADES
ECONÔMICO
DADOS POPULACIONAIS CONTEXTUALIZAÇÃO

DA POLÍTICA PÚBLICA
CENSO DEMOGRÁFICO
PESQUISA NACIONAL POR AMOSTRA DE

DOMICÍLIOS (PNAD)

30
Públicas
OBJETIVOS
VIABILIDADE DAS
METAS
PLANO PLURIANUAL ESTABELECIDAS
LEI DE DIRETRIZES ORÇAMENTÁRIAS
PLANOS NACIONAIS, ESTADUAIS,
MUNICIPAIS
GUID 5290- Guidance on Audit of the Development and Use of Key National Indicators

31
Públicas
INSUMOS
ORÇAMENTO
DADOS DO TRIBUNAL
DE CONTAS
PLANO PLURIANUAL
LEI DE DIRETRIZES ORÇAMENTÁRIAS
LEI ORÇAMENTÁRIA ANUAL
EXECUÇÃO ORÇAMENTÁRIA

32
Públicas
INSUMOS PRODUTO
RECURSOS FÍSICOS SERVIÇO PÚBLICO
E HUMANOS “OUTPUT” ATENDIDO
Política Pública Fonte de Dados

Educação Censo da Educação Básica
(aluno, professor, turma, escola)
Saúde Cadastro Nacional de Estabelecimentos de Saúde
(profissional, estabelecimento, leitos, equipamentos)
Sistema de Informações Ambulatoriais (SIA)
REGISTROS Sistema de Informações Hospitalares (SIH)
ADMINISTRATIVOS

33
Públicas
PROCESSOS
ÍNDICE DE EFETIVIDADE DA GESTÃO

MUNICIPAL (IEG-M)
ÍNDICE DE EFETIVIDADE DA GESTÃO

ESTADUAL (IEG-E)

34
Públicas
RESULTADO
Política Fonte de Dados

Pública
Educação Avaliação Nacional de Alfabetização
Prova Brasil
IDEB
Saúde Sistema de Informações de Mortalidade (SIM)
Sistema de Informações Ambulatoriais (SIA)
Sistema de Informações Hospitalares (SIH)

35
Públicas
2.5. CONCLUSÃO
1) Como “desenhar” o modelo lógico?

*Discuta com as pessoas envolvidas;
*Analise e estabeleça os elementos do programa em questão;
*Elabore um esboço do diagrama;
*Discuta o diagrama e o aperfeiçoe.
2) Por que fazer isso?

Para ter a “visão do todo” tão necessária para fiscalizar um programa
público e/ou uma entidade e identificar suas possíveis deficiências e os
riscos sistêmicos

36
Públicas
2.5. CONCLUSÃO
CONTROLE DE DESEMPENHO
DA ADMINISTRAÇÃO PÚBLICA
ADMINISTRAÇÃO ANÁLISE SÍNTESE ADMINISTRAÇÃO

IDENTIFICAR AS IDENTIFICAR AS
PÚBLICA PÚBLICA
PARTES RELAÇÕES ENTRE
CAÓTICA COMPONENTES AS PARTES PENSADA
DIMENSÕES DO
MODELO LÓGICO
DESEMPENHO

37
Públicas
3. DIMENSÕES DE DESEMPENHO

38
Públicas
3.1. DIMENSÕES DE DESEMPENHO
UTILIDADE
(NBASP 9020)
EFICIÊNCIA
(NBASP 300/3000)
NECESSIDADES
IMPACTOS
SOCIAIS
INSUMO
SOCIAIS

HUMANOS
ECONOMICIDADE
ESFORÇO
(NBASP 300/3000)
EFICÁCIA
(NBASP 300/3000)
RELEVÂNCIA
(NBASP 9020) EQUIDADE
TCE-RS: Aulas 3 e 4- Controle de Políticas 39

Públicas
3.2. ECONOMICIDADE
NBASP/ISSAI 300.11
Economy – Economicidade: Minimizar os custos dos recursos. Os recursos utilizados
dever ser avaliados em tempo hábil, em quantidade e qualidade apropriados, e ao melhor
preço
NECESSIDADES
IMPACTOS
SOCIAIS
INSUMO
SOCIAIS

HUMANOS
ECONOMICIDADE

40
Públicas
3.2. ECONOMICIDADE
Indicadores de economicidade
Definição Custo dos insumos (NBASP 300.11)

Exemplos *Custo-Aluno Qualidade Inicial (CAQi)
*Despesa por aluno
***
Técnicas de *Razão entre quantidade de insumo e
construção custo/despesa
Limitações *Deficiências na contabilidade de custos no setor
público

41
Públicas
3.2. ECONOMICIDADE
Indicadores de economicidade
Caso: Despesa por aluno (IDGM – TCE/PR, 2016)

*Na ausência de indicador confiável de custo por aluno da educação
básica municipal, o TCE-PR utilizou a despesa corrente liquidada
como proxy deste.
*Este indicador foi a base do Índice de Eficiência da Despesa
Municipal com Educação, além de ter composto a matriz de risco para
seleção de municípios na Auditoria Integrada da Educação em 2016.

42
Públicas
3.2. ECONOMICIDADE
Despesa corrente
liquidada
por aluno (2014)
Observação: 11 municípios ainda não haviam informado os 12

meses de 2014 no SIM-AM/TCEPR até fevereiro de 2016 e por isso
não estão na amostra.

43
Públicas
3.2. ECONOMICIDADE

44
Públicas
3.2. ECONOMICIDADE
REFLEXÃO:
OS INDICADORES DE ECONOMICIDADE NÃO PODERIAM SER

INDICADORES DE RISCO EM AUDITORIAS DE CONFORMIDADE DE
DESPESA PÚBLICAS E COMPRAS PÚBLICAS?
HÁ EXEMPLOS DISSO NO TRIBUNAL DE CONTAS?

45
Públicas
3.3. EFICIÊNCIA
NBASP/ISSAI 300.11
Efficiency- Eficiência: Produzir o máximo com os recursos disponíveis. Ele trabalha com a
relação entre os recursos empregados e os produtos entregues em termos de quantidade,
qualidade e tempestividade.
NECESSIDADES
IMPACTOS
SOCIAIS
INSUMO
SOCIAIS

HUMANOS
EFICIÊNCIA
COST-
EFFECTIVENESS

46
Públicas
3.3. EFICIÊNCIA
Indicadores de eficiência
Definição Minimização de insumos ou maximização de

produtos e resultados (NBASP 300.11)
Exemplos *Proporção entre insumo e produto
*Índice de Eficiência
Técnicas de *Razão Insumo-Produto
construção *Análise Envoltória de Dados
*Fronteira Estocástica
Limitações *Relação não-linear entre insumos e produtos;
*Grande variedade de insumos e produtos nas
políticas públicas.

47
Públicas
3.3. EFICIÊNCIA
ANÁLISE ENVOLTÓRIA DE DADOS
*Existe uma técnica para construir indicadores

de eficiência
*O desafio é definir uma cesta de insumos e
produtos que sejam adequados para analisar as
políticas e programas públicos

48
Públicas
3.3. EFICIÊNCIA
Caso: Índice de Eficiência da Despesa Municipal com Educação

(IDGM – TCE/PR, 2016)
*Para verificar a eficiência da despesa municipal com educação,
criou-se o Índice de Eficiência, utilizando a técnica da Análise
Envoltória de Dados, utilizando-se a Despesa Corrente Liquidada por
Aluno, como variável de insumo, e o Índice de Eficácia da Educação
Municipal, como variável de produto.
*Este indicador compôs a matriz de risco para seleção de municípios
para Auditoria Integrada da Educação em 2016.

49
Públicas
3.3. EFICIÊNCIA

50
Públicas
3.3. EFICIÊNCIA
Índice de Eficiência da Despesa

Municipal em Educação
Número-índice obtido a partir do
confronto entre o Índice de Eficácia
em Educação e a Despesa por
aluno, utilizando a técnica da
“análise envoltória de dados”. O
índice de eficiência estima o quanto
nível de insumo (no caso, despesa
por aluno) poderia diminuir, dado o
nível de produto (no caso, o índice
de eficácia).
Observação: 11 municípios ainda não haviam informado

os 12 meses de 2014 no SIM-AM/TCEPR até fevereiro de
2016 e por isso não estão na amostra. Com a entrada
desses municípios na análise envoltória de dados, os
índices de eficiência estimados sofrerão variações.

51
Públicas
3.3. EFICIÊNCIA

52
Públicas
3.3. EFICIÊNCIA
Caso: Índice de Desempenho dos Gastos Públicos com

Educação (IDGPB – TCE/PB, 2016)
*Para verificar a eficiência da despesa municipal com educação,
criou-se o Índice de Eficiência da Educação Básica, utilizando a
técnica da Análise Envoltória de Dados, utilizando-se a média da
Despesa Corrente por Aluno nos últimos três anos, como variável de
insumo, e as notas médias em Língua Portuguesa e Matemática na
Prova Brasil e a quantidade de alunos na educação básica, como
variáveis de produto.

53
Públicas
3.3. EFICIÊNCIA
https://idgpb.tce.pb.gov.br/nova-versao/idgpb/

54
Públicas
3.4. EFICÁCIA/EFETIVIDADE
NBASP/ISSAI 300.11
Effectiveness- Eficácia [Efetividade]: Atingimento dos objetivos previamente definidos e
dos resultados pretendidos.
NECESSIDADES
IMPACTOS
SOCIAIS
INSUMO
SOCIAIS

HUMANOS
EFICÁCIA

55
Públicas
Indicadores de eficácia
Definição Alcance de metas estabelecidas para

produção e resultado (NBASP 300.11)
Exemplos *Grau de alcance das metas estabelecidas.
Técnicas de *Razão entre o valor observado e o estabelecido
construção pela meta.
Limitações *Definição clara dos conceitos e das metas;
*Confiabilidade de registros administrativos;
*Viabilidade das metas estabelecidas.

56
Públicas
Caso: Índice de Eficácia da Educação Municipal

(IDGM – TCE/PR, 2016)
*Para verificar o grau de atingimento das metas do Plano Nacional da
Educação (PNE) pelos municípios, criou-se o Índice de Eficácia da
Educação Municipal, que é a média simples do grau de atingimento
de cinco metas que estão sob controle da gestão municipal.
*Este indicador compôs a matriz de risco para seleção de municípios
para Auditoria Integrada da Educação em 2016.

57
Públicas

58
Públicas
Índice de Eficácia da Educação

Municipal (2014)

59
Públicas

60
Públicas
Caso: Plataforma TC-Educa (CTE/IRB, 2017)

*Desde 2017, o Comitê Técnico da Educação do IRB vem
desenvolvendo uma plataforma para verificar o grau de atingimento
das metas do Plano Nacional da Educação (PNE) pelos municípios.
*Atualmente, conta com acesso às metas 1 e 3.
*Os seus dados referente à meta 1 são utilizados na validação do
IEGM, para reunir informações sobre a necessidade ou não do
município realizar a busca ativa de crianças fora da escola.

61
Públicas
Problema: Definição de conceitos

*O PNE não deixa claro quais são os indicadores apropriados para
acompanhar o atingimento de suas metas.
*No caso da meta 1, os conceitos são diferentes no Índice de Eficácia
do TE-PR (taxa de atendimento da população de 0 a 5 anos) e na
Plataforma TC-Educa (taxa de matrícula na educação infantil da
população de 0 a 5 anos).
*Ambas as estimativas são criticadas por se basearem em dados
populacionais defasados.

62
Públicas
REFLEXÃO:
INDICADORES DE EFICÁCIA:
PROVAS OU INDÍCIOS DE MAU DESEMPENHO DA GESTÃO?
PONTO DE PARTIDA OU PONTO FINAL DAS AÇÕES DE CONTROLE

DOS TRIBUNAIS DE CONTAS?
O TRIBUNAL DE CONTAS PODE REPROVAR AS CONTAS DE UM

GESTOR UNICAMENTE COM BASE NESSES INDICADORES?

63
Públicas
Mafalda: No jornal de hoje

saiu uma notícia
deprimente. No mundo
inteiro, 43 milhões de
crianças trabalham em
condições deficientes.
Mafalda: Vê a gravidade?
Eu sei que é um informe da
Organização Internacional
do Trabalho! 43 milhões de
crianças precisam trabalhar
para sobreviver!

64
Públicas
Susanita: E daí? Nós temos

culpa disso? Não! Nós
podemos solucionar tal
problema? Não! A única
coisa que podemos fazer é
ficarmos indignadas e dizer
“Que barbaridade!”.

65
Públicas
Susanita: QUE
BARBARIDADE!!!
Susanita: Pronto! Diga você

também “Que barbaridade”.
Assim nos despreocupamos
desse assunto e podemos
brincar em paz.

66
Públicas
REFLEXÃO:
AS METAS DO PLANO PLURIANUAL DEVEM SER COMPATÍVEIS

COM A AGENDA 2030 E AS PRIORIDADES NACIONAIS
É PAPEL DOS TRIBUNAIS DE CONTAS FISCALIZAR ISSO?

(DECLARAÇÃO DE MOSCOU, 2019)

67
Públicas
3.5. UTILIDADE/EFETIVIDADE
NBASP/GUID 9020
Utility- Utilidade [Efetividade]: Lida com a questão de conhecer se a política foi útil, levando em
conta, por um lado, todos os seus efeitos diretos (resultados) e indiretos (impactos), inclusive os não-
intencionais e os não-esperados; e, por outro, as necessidades que aquela política pretendia
transformar.
NECESSIDADES
IMPACTOS
SOCIAIS
INSUMO
SOCIAIS

HUMANOS
UTILIDADE

68
Públicas
3.5.1. POR QUE É CONFUSO?
EFFECTS
EFEITOS
IMPACTOS OUTPUT OUTCOME IMPACT

PRODUTOS RESULTADOS
SOCIAIS
RESULTS
RESULTADOS
Eficaz: aquilo que atinge os resultados (“results”) pretendidos.

Efetivo: aquilo que produz efeitos/que existe.

69
Públicas
3.5. UTILIDADE/EFETIVIDADE
REFLEXÃO:
É CORRETO AVALIAR UM GESTOR COM BASE EM INDICADORES

DE IMPACTO SOCIAL (RESULTADO DE LONGO PRAZO)?

70
Públicas
3.6. RELEVÂNCIA
NBASP/GUID 9020
Relevance- Relevância: Adequação dos seus objetivos [da política pública] em relação às
necessidades sociais, econômicas ou ambientais que a política quer transformar
NECESSIDADES
IMPACTOS
SOCIAIS
INSUMO
SOCIAIS

HUMANOS
RELEVÂNCIA

71
Públicas
3.6. RELEVÂNCIA
REFLEXÃO:
A ANÁLISE DA RELEVÂNCIA NÃO PODERIA SER O PONTAPÉ DA

AVALIAÇÃO DOS PROGRAMAS E INDICADORES DO
PLANO PLURIANUAL?

72
Públicas
3.7. ESFORÇO
Esforço: avaliação da quantidade de insumos alocados e do grau de implantação dos processos

que são necessários para entregar uma política pública de qualidade. O seu objeto é encontrar
lacunas na ação do gestor que possam estar prejudicando a quantidade ofertada e a qualidade dos
serviços públicos prestados.
NECESSIDADES
IMPACTOS
SOCIAIS
INSUMO
SOCIAIS

HUMANOS
ESFORÇO

73
Públicas
3.7. ESFORÇO
Indicadores de esforço
Caso: Índice de Efetividade da Gestão Municipal

(IEG-M, IRB, 2016)
*Para verificar o grau de implantação de processos em sete áreas da
gestão municipal, criou-se o Índice de Efetividade da Gestão
Municipal (IEG-M), calculado a partir de atribuição de pontuação às
respostas de um questionário encaminhado aos municípios
anualmente.
*Em 2017, essa análise foi estendida para a gestão estadual, com a
criação do IEG-E.

74
Públicas
3.7. ESFORÇO
Indicadores de esforço
Caso: Índice Geral de Governança

(IGG, TCU, 2016)
*Para verificar o grau de implantação de processos referentes à
governança do setor público, criou-se o Índice de Efetividade da
Gestão Municipal (IEG-M), calculado a partir da aplicação da análise
dos componentes principais às respostas de um questionário
encaminhado aos jurisdicionados.

75
Públicas
3.8. EQUIDADE
Equidade: analisa se os produtos estão sendo ofertados ao público-alvo da política

pública (e alcançando os resultados esperados) de modo que se diminua (ou não se
aumente) a desigualdade social, ou entre palavras, para verificar se a política pública está
conseguindo diminuir a desigualdade
INSUMO
INSUMO RECURSOS PRODUTOS PÚBLICO RESULTADOS
OBJETIVOS PROCESSOS (OUTPUT) ATENDIDO (OUTCOME)
HUMANOS
EQUIDADE

76
Públicas
3.8. EQUIDADE
BRASIL,
1500-2020
EQUIDADE
IMPORTA?

77
Fonte: Banco de Imagens Públicas
3.9. QUALIDADE
Qualidade: avaliação da qualidade dos produtos e serviços entregues às pessoas atendidas por
um programa ou política pública.
INSUMO
INSUMO RECURSOS PRODUTOS PÚBLICO RESULTADOS
OBJETIVOS PROCESSOS (OUTPUT) ATENDIDO (OUTCOME)
HUMANOS
QUALIDADE

78
Públicas
REFLEXÃO:
AS DIMENSÕES DE DESEMPENHO ESFORÇO, EQUIDADE E

QUALIDADE NÃO ESTÃO NO IFPP/NBASP.
ISSO SIGNIFICA QUE OS TRIBUNAIS DE CONTAS NÃO DEVEM

ANALISAR ESSAS DIMENSÕES?
NORMA DE AUDITORIA: DOGMA OU MÉTODO?

79
Públicas
3.10. PAINÉIS DE INDICADORES
PAINEL DE INDICADORES (SCOREBOARD):
CONJUNTO DE INDICADORES DE DESEMPENHO PARA AUXILIAR

UMA AVALIAÇÃO DE RISCO E/OU SELECIONAR AMOSTRA DE UMA
AÇÃO DE CONTROLE.
INDICADORES DE EDUCAÇÃO PROJETO INTEGRAR

TCE-PR OCDE/TCU/IRB
2016 2018-2020

80
Públicas
INDICADORES DE EDUCAÇÃO
TCE-PR (2016)

81
Públicas
INDICADORES DE EDUCAÇÃO
TCE-PR (2016)

82
Públicas
Selecionar objetos de fiscalização de educação básica,

construindo estratégias que ataquem as supostas causas dos
OCDE/TCU/IRB (2018-2020)
baixos resultados indicados nos dados do painel.

PROJETO INTEGRAR
1º passo Identificar as etapas de ensino com baixos resultados
4. EF-Anos 5. EF- Anos

2. Pré-Escola 3. EF-Anos
1. Creche com Iniciais Iniciais Estadual
com baixo Iniciais com
baixo acesso Municipal com com baixa
acesso baixo acesso
baixa qualidade qualidade
7. EF-Anos 8. EF- Anos
6. EF- Anos
Iniciais Iniciais Estadual 9. EM- Baixo 10. EM- Baixa
Finais com
Municipal com com baixa acesso Qualidade
baixo acesso
baixa qualidade qualidade
83
Públicas

PROJETO INTEGRAR
8. EF- Anos Identificar os municípios com redes de ensino com
Finais Estadual 2º passo
com baixa baixos resultados
qualidade
EF- Anos Finais % de alunos com proficiência
Rede Estadual adequada
Município Português Matemática
Município A 75 70
Município B 60 50
Município C 55 40
Município D 50 35
Município E 45 30
Município F 40 23
TCE-RS: Aulas 3 e 4- Controle de Políticas 84

Públicas

8. EF- Anos Identificar os indicadores de insumo e processos

Finais Estadual 3º passo deficientes nos municípios com redes de ensino com
com baixa baixos resultados
qualidade
Insumo Processo Resultado
% de alunos com proficiência adequada -
Indicador de infraestrutura Índice de esforço docente
Prova Brasil - Língua Portuguesa
Município E Percentual de docentes com a formação % de alunos que estudam em tempo % de alunos com proficiência adequada -
Município F adequada integral (> 7h/dia) Prova Brasil - Matemática
Distorção Idade-Série
Média de Alunos por Turma
Taxa de reprovação

85
Públicas

PROJETO INTEGRAR
Formular questões de fiscalização que abordem
4º passo
esses problemas

86
Públicas
4. CONTEXTO: BASTA COPIAR BONS
EXEMPLOS PARA DAR CERTO?

87
Públicas
4.1. TIPOS DE PROBLEMA
Problema simples:
Seguir uma receita de Problema complicado: Problema complexo:
bolo Construir um foguete Criar um filho
Fonte: FUNNEL; ROGERS, 2011. pp. 71

88
Públicas
Tipo de problema Ter uma “fórmula” para copiar

Problema simples:
Ter uma receita é essencial.
Seguir uma receita de bolo
Problema complicado:
Ter uma fórmula é crítico e necessário.
Lança um foguete
Problema complexo:
Um fórmula tem uma aplicação limitada
Criar um filho

Fonte: FUNNEL; ROGERS, 2011. p. 71 89
Públicas
Tipo de problema Repetir a “fórmula” várias vezes

Problema simples: As receitas são testadas várias vezes para garantir que a
Seguir uma receita de bolo replicação será fácil.
Problema complicado: Mandar um foguete ao espaço aumenta a confiança de
Lança um foguete que a próxima vez dará certo.
Problema complexo: Criar um filho dá experiência, mas não garante sucesso
Criar um filho com o próximo.

Públicas
Tipo de problema A importância do conhecimento e da experiência

Problema simples: Não é necessário conhecimento prévio, mas a experiência
Seguir uma receita de bolo em cozinhar ajuda.
Problema complicado: São necessários altos níveis de conhecimento em muitas
Lança um foguete áreas.
Problema complexo: A experiência pode contribuir, mas não é necessária, nem
Criar um filho suficiente para garantir o sucesso.

Públicas
Tipo de problema Produto

Problema simples:
As receitas produzem produtos padronizados.
Os foguetes são similares na sua essência.
Lança um foguete
Problema complexo: Cada filho é único e deve ser entendido como um
Criar um filho indivíduo.

Públicas
Tipo de problema Resultado

Problema simples:
As melhores receitas dão bons resultados sempre.
Há um alto grau de certeza do resultado.
Lança um foguete
Problema complexo:
A incerteza do resultado é permanente.
Criar um filho

Públicas
REFLEXÃO:
OS PROBLEMAS DA ADMINISTRAÇÃO PÚBLICA TENDEM A SER

SIMPLES, COMPLICADOS OU COMPLEXOS?
E AS “RECEITAS” PARA FISCALIZAR ESSES PROBLEMAS PODEM

SER PADRONIZADAS?

94
Públicas
Problemas complicados: Problema complexo:

As fórmulas são importantes, mas é As fórmulas são referências, mas é crucial
crucial ter conhecimento para utilizá-las. levar o contexto em consideração.
Problemas simples: Não existem na Administração Pública!

95
Públicas
NECESSIDADES 4.2. CONTEXTO
IMPACTOS
SOCIAIS
INSUMO
SOCIAIS

HUMANOS
CONTEXTO
1- HISTÓRICO
2- SOCIOECONÔMICO
3- INSTITUCIONAL
[...]

96
Públicas
4.2.1. CONTEXTO HISTÓRICO
REFLEXÃO:
A HISTÓRIA IMPORTA?

97
Públicas
4.2.1. CONTEXTO HISTÓRICO
“Pensar o passado para compreender o presente e idealizar

o futuro”.
“São as circunstâncias que governam os homens, não os

homens que governam as circunstâncias”.
Heródoto. História.
“Hegel observou em uma de suas obras que todos os fatos e

personagens de grande importância na história do mundo
ocorrem, por assim dizer, duas vezes. E esqueceu-se de
acrescentar: a primeira vez como tragédia, a segunda como
farsa”.
Karl Marx. O 18 Brumário de Luís Bonaparte.

98
Públicas
4.2.2. CONTEXTO SOCIOECONÔMICO
1- Desigualdade
2- Pobreza
3- Exclusão social
4- Emprego e renda
5- Crescimento econômico
6- Renda per capita
[...]

99
Públicas
4.2.3. CONTEXTO INSTITUCIONAL
ESTRUTURA LEGAL E NORMATIVA:

GOVERNABILIDADE
BRASIL – POLÍTICAS PÚBLICAS
&
DESENCENTRALIZADAS COM MAIOR
GOVERNANÇA
OU MENOR GRAU DE COOPERAÇÃO
INTERFEDERATIVA

100
Públicas
REFLEXÃO:
IMPORTA SABER O QUE ESTÁ E O QUE NÃO ESTÁ

AO ALCANCE E/OU SOB RESPONSABILIDADE
DO GESTOR?

101
Públicas
OCDE- Fazendo a descentralização funcionar
Diretrizes:
1) Tornar claras as responsabilidades atribuídas para os diferentes níveis de governo;
2) Garantir que todas as responsabilidades atribuídas estão financiadas

suficientemente;
3) Fortalecer a autonomia fiscal subnacional para promover “accountability”;
4) Dar apoio à construção de capacidades subnacionais;
5) Construir mecanismos de coordenação adequados ao longo dos níveis de governo;

102
Públicas
OCDE- Fazendo a descentralização funcionar
Diretrizes:
6) Dar apoio à cooperação trans-jurisdicional;
7) Fortalecer a governança inovadora e experimental e promover o engajamento dos

cidadãos;
8) Permitir e tirar o melhor proveito dos arranjos assimétricos de descentralização;
9) Promover a transparência consistentemente, aprimorar a coleta de dados e fortalecer o

acompanhamento do desempenho;
10) Fortalecer os sistemas de equalização fiscal e as políticas nacionais de

desenvolvimento regional para reduzir as desigualdades territoriais.

103
Públicas
4.2.3.1. CASO
Desigualdade regional = Problema socioeconômico e institucional.
ALEMANHA BRASIL
Região PIB per capita (2018) Região PIB per capita (2018)
Ex- Alemanha Ocidental € 43.000 Centro-Sul € 8.500
Ex- Alemanha Oriental € 29.700 Nordeste € 3.500
Diferença: + 40% Diferença: + 150%
Estado mais pobre: Estado mais rico:

Meckelmburgo-Pomerênia São Paulo
€ 27.900 € 10.100

104
Públicas
4.3.1. CASO
REFLEXÃO:
E AS DESIGUALDADES REGIONAIS DO
ESTADO DO RIO GRANDE DO SUL?
SUL- LATIFUNDIÁRIO
NORTE- MINIFUNDIÁRIO

105
Públicas
5. O PAPEL DOS TRIBUNAIS DE
CONTAS

106
Públicas
5.1. DISCRICIONARIDADE VS. CONTROLE
IMPACTOS
SOCIAIS
INSUMO
ALTERNATIVA INSUMO RECURSOS PRODUTOS RESULTADOS
PROCESSOS
NECESSIDADE
A ORÇAMENTO FÍSICOS & (OUTPUT) (OUTCOME)

HUMANOS
SOCIAL
IMPACTOS
SOCIAIS
INSUMO
ALTERNATIVA INSUMO RECURSOS PRODUTOS RESULTADOS
PROCESSOS (OUTPUT) (OUTCOME)
B ORÇAMENTO FÍSICOS &
HUMANOS

107
Públicas
Produto
Educação
Exclusiva
Especial
Mínima
Renda
Inclusiva Dinheiro
de moradias
Construção
Psiquiátrica
Construtora
Medicina
Hospitalar
Domiciliar Mutirão

108
Públicas
Várias opções viáveis, todas com

Educação
Exclusiva Produto seus prós e contras

Especial
Mínima
Renda
Inclusiva Dinheiro A sociedade elege
democraticamente a sua opção
política
de moradias
Psiquiátrica
Construção
Construtora
Medicina
Hospitalar O fiscalizador não pode

questionar a opção
democraticamente eleita...
Domiciliar Mutirão
... Mas tem o dever de mostrar à
sociedade os prós e contras
dessas políticas.

109
Públicas
5.2. AS CAUSAS DO BOM E DO MAU DESEMPENHO
INDICADORES DE DESEMPENHO E CONTEXTUALIZAÇÃO

=
IDENTIFICAÇÃO DE PROBLEMAS & AVALIAÇÃO DE RISCO
(NBASP 100.45-46)
SÃO OS PRIMEIROS PASSOS

DO PLANEJAMENTO DA
AÇÃO DE CONTROLE

110
Públicas
5.2. AS CAUSAS DO BOM E DO MAU DESEMPENHO
PLANEJAMENTO IMPLEMENTAÇÃO
DEFICIENTE? PROBLEMÁTICA?
QUESTÕES DE
AUDITORIA
FALHAS DE CONDIÇÕES
GOVERNANÇA? SOCIOECONÔMICAS?

111
Públicas
5.3. POR ONDE COMEÇAR?
1) Relevância das políticas públicas: identificar as

(grandes) demandas sociais ainda não atendidas, tendo
como parâmetro a Agenda 2030, a Constituição Federal e
os planos nacionais. Na medida do possível, mostrar as
desigualdades de acesso e qualidade.
2) Esforço orçamentário: mensurar o grau do

cumprimento do orçamento em políticas, programas
e ações identificadas como essenciais
3) Relevância e eficácia do PPA: avaliar se as

metas de produto e resultado são condizentes com a
demanda social e se o grau de cumprimento das
metas é satisfatório

112
Públicas
5.3. POR ONDE COMEÇAR?
4) Repensar o modelo de Contas do Governador/Prefeito: para

além do cumprimento de indicadores fiscais, elas devem trazer
informações úteis ao gestor ao Legislativo que poderá rever políticas
do governo que estão trazendo maus resultados, se for o caso.
É preciso encontrar os meios adequados de fazer chegar essa
mensagem.
5) Fiscalizações orientadas para identificar as causas do

bom ou mau resultado nas políticas públicas
6) Repensar comunicação com usuários previstos: é preciso

que as informações contidas nos relatórios de auditoria cheguem
aos usuários previstos e apenas o encaminhamento do relatório não
é suficiente.
Refletir sobre a possibilidade de utilizar outros meios também
(audiências, apresentações, ...).
113
Públicas
BIBLIOGRAFIA
Estrutura de Pronunciamentos Profissionais da INTOSAI (IFPP):
http://www.issai.org/
Normas Brasileiras de Auditoria do Setor Público (NBASP):

https://irbcontas.org.br/nbasp/
COSTA, Frederico Lustosa da; CASTANHAR, José Cezar. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública,
Rio de Janeiro, v. 37, n. 5, p. 962-969, set./out. 2003.
FUNNELL, Sue; ROGERS, Patricia. Purposeful Program Theory. Effective use of theories of chenge and logic models. San Francisco: John Willey & Sons, 2011.
GRANATO NETO, Nelson Nei. Fiscalização de Políticas Públicas. IRB Território. Curitiba: IRB, 2020.
Disponível em: <https://irbcontas.org.br/irb-territorio-analise-da-fiscalizacao-de-politicas-publicas/>
____. Políticas públicas descentralizadas, governança multinível, desigualdade e pobreza. IRB Território. Curitiba: IRB, 2020 .
Disponível em: <https://irbcontas.org.br/irb-territorio-politicas-publicas-descentralizadas-governanca-multinivel-desigualdade-e-pobreza/>
____. Políticas públicas e equidade: O papel das fiscalizações dos Tribunais de Contas. IRB Território. Curitiba: IRB, 2020.
Disponível em: <https://irbcontas.org.br/irb-territorio-equidade/>
MCLAUGHLIN, J. Jordan, G. Using Logic Models. In: Newcomer, K. E. Hatry, H. P. Wholey, J. S. Handbook of Practical Program Evaluation. 4th Edition. Hoboken: John
Wiley & Sons, 2015.
OECD. Making Decentralization Work: A Handbook for Policy Makers. Paris: OECD, 2019.
Disponível em: <https://www.oecd.org/regional/making-decentralisation-work-g2g9faa7-en.htm>
TREVISAN, Andrei Pittol; VAN BELLEN, Hans Michael. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. Revista de Administração
Pública, Rio de Janeiro , v. 42, n. 3, p. 529-550, jun. 2008.
UNICEF. Guide for monitoring and evaluation. New York: Unicef, 1990.
SULBRANDT, José. La evaluación de los programas sociales: una perspectiva crítica de los modelos usuales. In: KLIKSBERG, Bernardo (Org.). Pobreza: un tema
impostergable. México: Fondo de Cultura Economica, 1993.

114
Públicas
MUITO OBRIGADO!
NELSON NEI GRANATO NETO

Mestre em Desenvolvimento Econômico (UFPR)
Analista de Controle- Economista (TCE-PR)
Assessor da Presidência (IRB)
nelson.granato@tce.pr.gov.br
(41) 99572-5382
115

TCE RS - Aulas 3 e 4 - Controle de Politicas Publicas

Enviado por

Direitos autorais:

Formatos disponíveis

TCE RS - Aulas 3 e 4 - Controle de Politicas Publicas

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

TCE RS - Aulas 3 e 4 - Controle de Politicas Publicas

Enviado por

Direitos autorais:

Formatos disponíveis

INSTITUTO RUI BARBOSA (IRB)

TRIBUNAL DE CONTAS DO ESTADO DO

AUDITORIA, POLÍTICAS PÚBLICAS

Nelson Nei Granato Neto (TCE-PR/IRB)

1. Introdução: O que são Políticas Públicas?

2. Análise: Modelo Lógico, Teoria do Programa e Teoria da Mudança

3. Síntese: Dimensões de Desempenho

4. Contexto: Basta copiar bons exemplos para dar certo?

5. O papel dos Tribunais de Contas.

TCE-RS: Aulas 3 e 4- Controle de Políticas

TCE-RS: Aulas 3 e 4- Controle de Políticas

Uma política pública de excelência Um programa pode ser descrito

TCE-RS: Aulas 3 e 4- Controle de Políticas

Conceito “mínimo” de políticas públicas:

“Políticas Públicas são intervenções planejadas

(Di Giovanni, 2007. p.3)

TCE-RS: Aulas 3 e 4- Controle de Políticas

TCE-RS: Aulas 3 e 4- Controle de Políticas

COESÃO/COERÇÃO *Defesa (Exército e Marinha)

REGULAÇÃO DA *Licenças para explorar territórios

TCE-RS: Aulas 3 e 4- Controle de Políticas Públicas 8

*Defesa (Exército e Marinha)

*Licenças para explorar territórios

*Proteção da indústria nascente

>>> Reinvindicações da classe

TCE-RS: Aulas 3 e 4- Controle de Políticas

*Defesa (Exército e Marinha)

*Licenças para explorar territórios

>>> “Reclamações” do planeta:

TCE-RS: Aulas 3 e 4- Controle de Políticas

“A questão social é um caso de

República Velha (1889-1930)

TCE-RS: Aulas 3 e 4- Controle de Políticas

Era Vargas (1930-1945)

TCE-RS: Aulas 3 e 4- Controle de Políticas

TCE-RS: Aulas 3 e 4- Controle de Políticas

TCE-RS: Aulas 3 e 4- Controle de Políticas

TCE-RS: Aulas 3 e 4- Controle de Políticas

TCE-RS: Aulas 3 e 4- Controle de Políticas

“não existe consenso quanto ao que seja avaliação de políticas públicas,

“Há atualmente uma Babel de abordagens, teorizações incipientes e

“Se avaliação é uma forma de mensuração, de julgamento de valor, é preciso estabelecer,

Fonte: Trevisan e van Bellen (2008).

Programa: Pode se referir a qualquer intervenção – um projeto, uma estratégia, uma

Teoria da Mudança: É o mecanismo central pelo qual a mudança acontece para os

Fonte: FUNNEL; ROGERS, 2011. pp. 30-33

1) Qual a importância das teorias da mudança e da ação para o planejamento

2) Uma política pública fundamentada em uma teoria do programa é garantia

TCE-RS: Aulas 3 e 4- Controle de Políticas

Modelo lógico: Uma teoria do programa geralmente é mostrada em um diagrama

Fonte: FUNNEL; ROGERS, 2011. pp. 30-33; NBASP/GUID 9020

Elementos do modelo lógico:

Daniel Stuffebean (1967) ONU/GiZ (1979) United Way – EUA (1996)

1) Context- Contexto 1) Atividades 1) Insumos

Fonte: FUNNEL; ROGERS, 2011. pp. 27-30

Elementos do modelo lógico:

AusAID – Austrália Tesouro Nacional – Canadá Controladoria e Auditoria-Geral

Fonte: FUNNEL; ROGERS, 2011. pp. 27-30

Elementos do modelo lógico: