Transparência e accountability em serviços públicos digitais

UNIVERSIDADE DE BRASÍLIA (UnB) FACULDADE DE ECONOMIA, ADMINISTRAÇÃO E CONTABILIDADE (FACE) PROGRAMA DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO (PPGA) Douglas Morgan Fullin Saldanha Transparência e accountability em serviços públicos digitais Brasília – DF 2020 UNIVERSIDADE DE BRASÍLIA (UnB) FACULDADE DE ECONOMIA, ADMINISTRAÇÃO E CONTABILIDADE (FACE) PROGRAMA DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO (PPGA) Douglas Morgan Fullin Saldanha Transparência e accountability em serviços públicos digitais Dissertação de Mestrado apresentada ao Programa de Pós-Graduação em Administração (PPGA/MPA) da Faculdade de Economia, Administração e Contabilidade (FACE) da Universidade de Brasília, como requisito parcial à obtenção do título de Mestre em Administração Pública. Orientador: Prof. Dr. Cleidson Nogueira Dias Brasília – DF 2020 ii Transparência e accountability em serviços públicos digitais Dissertação de Mestrado apresentada ao Programa de Pós-Graduação em Administração (PPGA/MPA) da Faculdade de Economia, Administração e Contabilidade (FACE) da Universidade de Brasília, como requisito parcial à obtenção do título de Mestre em Administração Pública. Orientador: Prof. Dr. Cleidson Nogueira Dias _________________________________________________________________ Prof. Dr. Cleidson Nogueira Dias (Orientador) _________________________________________________________________ Prof. Dr. Bento Alves da Costa Filho (Banca Examinadora – Membro Externo) _________________________________________________________________ Prof. Dr. Caio César de Medeiros Costa (Banca Examinadora – Membro Interno) _________________________________________________________________ Prof. Dr. Daniel Pires Vieira (Banca Examinadora – Suplente) Brasília – DF 2020 iii DEDICATÓRIA À minha esposa e filhas, fontes inesgotáveis de amor, carinho, apoio e motivação, sem as quais essa e qualquer outra caminhada não seriam possíveis. Ao meu avô, Professor Benjamin Fullin (in memoriam), que sempre me mostrou o valor da educação. De onde estiver, ele está especialmente feliz com essa conquista! iv AGRADECIMENTOS Aos meus pais, irmãos, esposa, filhas e demais familiares por terem me proporcionado, cada um à sua maneira, o suporte necessário nessa jornada; À Universidade de Brasília (UnB/Brasil) e Universidad Nacional del Litoral (UNL/Argentina) pela educação de excelência oferecida e pela experiência internacional proporcionada; À Polícia Federal e à Academia Nacional de Polícia, pelo suporte institucional que permitiu a realização da pós-graduação stricto sensu em paralelo às minhas atividades profissionais; Ao meu orientador, Professor Dr. Cleidson Nogueira Dias, pela serenidade, precisão e clareza de suas orientações; pelo respeito, educação e polidez no tratamento de todas as questões; pelas experiências compartilhadas em grupo de pesquisa e pelo conforto nos momentos de inquietação; Aos Professores Dr. Bento Alves da Costa Filho e Dr. Caio César de Medeiros Costa pelas valiosas contribuições aportadas ao trabalho na fase de qualificação; Aos membros do Grupo de Pesquisa GERIR, da FACE/UnB, pelas críticas e sugestões que levaram ao aprimoramento do relatório final da pesquisa; À Professora Dra. Siegrid Guillaumon Dechandt pelo apoio decisivo na publicação de artigo científico em prestigiado periódico, assim como por despertar em mim um profundo reconhecimento pela forma como exerce seu relevante papel de professora; Aos professores e colegas de pós-graduação, pelos conhecimentos, experiências, momentos e vivências que experimentamos juntos; Aos professores e profissionais que colaboraram e participaram da pesquisa, pelas entrevistas, avaliações e sugestões. v RESUMO O avanço tecnológico vem introduzindo um novo tipo de racionalização no setor público pelo uso das modernas tecnologias de informação e comunicação (TICs), acarretando mudanças em políticas públicas, processos e funções. Cada vez mais os serviços públicos têm sido disponibilizados no meio digital, aumentando a dependência do cidadão em relação aos seus resultados. Ocorre que os resultados e decisões oriundos de sistemas ou processos automatizados são pouco transparentes e dificultam eventual contestação em caso de resultados indevidos. A transparência e accountability de sistemas e algoritmos tem por finalidade proteger o usuário contra resultados indesejáveis ou prejudiciais e assegurar a aplicação das leis ao meio digital. Assim, o objetivo do estudo é verificar a transparência e accountability proporcionada ao cidadão em serviços públicos digitais (e-serviços) oferecidos pela Administração Pública Federal brasileira. Adotando uma abordagem qualitativa, a pesquisa avaliou três serviços públicos digitais brasileiros (ComprasNet, Sisu e Naturalizar-se) a fim de avaliar o tratamento que tais serviços vêm dispensando à transparência e accountability. As avaliações foram conduzidas por meio de entrevistas realizadas com gestores de cada sistema, seguindo roteiro de avaliação criado em fase piloto, devidamente validado por juízes, à luz do teste de coeficiente de validação de conteúdo - CVC. As entrevistas foram estudadas pelo método de análise de conteúdo com o apoio de estatísticas textuais. Os elementos colhidos na pesquisa permitiram a construção de um modelo de avaliação de transparência e accountability em serviços públicos digitais composto por 8 dimensões (acessibilidade; consciência; acesso e reparação; accountability; explicação; origem dos dados, privacidade e justiça; auditoria; validação, precisão e teste) e 35 itens de análise. As evidências encontradas na pesquisa demonstram uma preocupação do poder público em oferecer um serviço digital mais célere e eficiente, sem proporcionar mecanismos de transparência e accountability adequados. Os resultados indicam obstáculos técnicos e econômicos (aumento do custo e complexidade) para a promoção da consciência do usuário quanto aos passos seguidos por um serviço público digital. Os resultados obtidos e os procedimentos adotados nessa pesquisa são relevantes para a prática dos gestores públicos que desejam avaliar a transparência e accountability de serviços públicos digitais. As dimensões e itens de análise utilizados permitem esquadrinhar a transparência em serviços públicos digitais proporcionando a reaplicação futura e consequente comparação com outros serviços. A contribuição teórica pode ser creditada à combinação inédita dos critérios estudados a fim de se estudar a transparência de um serviço público digital, com vistas à promoção da accountability. Palavras-chave: transparência, accountability, serviços públicos digitais, governança. vi ABSTRACT Technological advances have been introducing a new type of rationalization in the public sector through the use of modern information and communication technologies (ICTs), leading to changes in public policies, processes and functions. Increasingly, public services have been made available in the digital environment, increasing the citizen's dependence on their results. Results and decisions coming from automated systems or processes are not very transparent and hard to challenge in case of undue results. The transparency and accountability of the system and algorithms aims to protect the user against undesirable or harmful results and to ensure the application of laws to the digital environment. Thus, the objective of the study is to verify the transparency and accountability provided to the citizen in digital public services (eservices) offered by the Brazilian Federal Public Administration. Adopting a qualitative approach, the research evaluated three Brazilian digital public services (ComprasNet, Sisu and Naturalizar-se) in order to evaluate the treatment that these services have been giving to transparency and accountability. The evaluations were conducted through interviews with managers of each system, following an evaluation script created in a pilot phase, validated by judges, in light of the content validation coefficient test - CVC. The interviews were studied using the content analysis method with the support of textual statistics. The elements collected in the research allowed the construction of a model for assessing transparency and accountability in digital public services composed of 8 dimensions (accessibility; awareness; access and repair; accountability; explanation; data source, privacy and justice; audit; validation, accuracy and testing) and 35 items of analysis. The evidence found in the research demonstrates a concern of the public authorities in offering a faster and more efficient digital service, without providing adequate transparency and accountability mechanisms. The results indicate technical and economic obstacles (increased cost and complexity) to promote the user's awareness of the steps followed by a digital public service. The results obtained and the procedures adopted in this research are relevant to the practice of public managers who wish to assess the transparency and accountability of digital public services. The dimensions and items of analysis make it possible to scan transparency in digital public services, providing future reapplication and consequent comparison with other services. The theoretical contribution can be credited to the unprecedented combination of the studied criteria in order to study the transparency of a digital public service, with a view to promoting accountability. Keywords: transparency, accountability, digital public services, governance. vii SUMÁRIO 1. INTRODUÇÃO ................................................................................................................ 14 2. REFERENCIAL TEÓRICO ............................................................................................. 17 3. 2.1. Governo eletrônico e governança eletrônica.............................................................. 17 2.2. Governança digital no Brasil ..................................................................................... 20 2.3. Transparência e accountability .................................................................................. 23 2.4. Transparência e accountability em serviços públicos digitais ................................... 29 PROCEDIMENTOS METODOLÓGICOS ..................................................................... 40 3.1. Fases da pesquisa ....................................................................................................... 43 3.1.1. Fase 1: Desenvolvimento conceitual e metodológico da pesquisa ..................... 44 3.1.2. Fase 2: Contato inicial com o campo de pesquisa (fase-piloto) ......................... 45 3.1.3. Fase 3: Elaboração e validação de roteiro de avaliação de transparência e accountability em serviços públicos digitais .................................................................... 46 3.1.4. Fase 4: Aplicação do roteiro de avaliação em múltiplos casos .......................... 46 3.1.5. Fase 5: Apresentação e análise dos resultados da pesquisa ................................ 47 3.1.6. Fase 6: Conclusões de pesquisa .......................................................................... 47 3.2. Seleção dos casos ....................................................................................................... 48 3.3. Coleta de dados .......................................................................................................... 50 3.4. Validação de roteiro de avaliação de transparência e accountability de serviços publicos digitais – Validade e confiabilidade da pesquisa.................................................... 52 3.5. 4. Análise e tratamento dos dados ................................................................................. 57 ANÁLISE E DISCUSSÃO DE RESULTADOS ............................................................. 60 4.1. Principais resultados da fase-piloto ........................................................................... 60 4.2. ComprasNet ............................................................................................................... 66 4.3. Sistema de seleção unificada - Sisu ........................................................................... 72 4.4. Naturalizar-se ............................................................................................................. 76 4.5. Análise comparativa dos casos e discussão ............................................................... 80 viii 5. CONCLUSÃO .................................................................................................................. 91 REFERÊNCIAS ....................................................................................................................... 97 Apêndice A - Roteiro de entrevista semi-estruturada (Fase-piloto) ....................................... 113 Apêndice B – Formulário preliminar para validação dos juízes ............................................ 115 Apêndice C – Adaptações realizadas no roteiro após avaliação dos juízes............................ 119 Apêndice D – Roteiro final..................................................................................................... 123 Apêndice E – Consulta ao Professor Nicholas Diakopoulos.................................................. 125 Apêndice F – Consulta ao Professor Richard Heeks .............................................................. 126 Apêndice G – Modelo de e-mail encaminhado aos Juízes Avaliadores ................................. 127 Apêndice H – Publicação científica do mestrando relacionado à pesquisa da dissertação .... 128 ix LISTA DE TABELAS Tabela 1 - Top 10 de países em governo eletrônico nas Américas .......................................... 22 Tabela 2 - Eixos e objetivos da Estratégia de Governança Digital do Brasil ........................... 23 Tabela 3 - Relação entre transparência e accountability segundo Fox (2007) ......................... 27 Tabela 4 - Princípios para transparência e accountability de algoritmos ................................. 33 Tabela 5 - Princípios para algoritmos accountable - FATML ................................................. 34 Tabela 6 - Princípios para o uso seguro e efetivo de dados e sistemas analíticos .................... 37 Tabela 7 – Síntese do Catálogo de transparência - Grupo ER – PUC-Rio............................... 40 Tabela 8 - Resumo dos procedimentos metodológicos ............................................................ 43 Tabela 9 – Perfil resumido dos Juízes ...................................................................................... 53 Tabela 10 - Roteiro de avaliação de transparência e accountability de serviços públicos digitais – Coeficiente de validação de conteúdo ...................................................................... 56 Tabela 11 - Cálculo do Coeficiente de Validação de Conteúdo utilizando o Microsoft Excel 58 Tabela 12 – Casos-piloto – Perfil dos entrevistados................................................................. 60 Tabela 13 – Casos-Piloto – Quadro resumo dos elementos coletados ..................................... 64 Tabela 14 - Avaliação de transparência e accountability – Quadro comparativo .................... 81 x LISTA DE FIGURAS Figura 1 - Transparency SIG – versão final ............................................................................. 39 Figura 2 – Fases da Pesquisa .................................................................................................... 44 Figura 3 – Nível de digitalização e número de serviços digitais .............................................. 48 Figura 4 – Operacionalização da fase-piloto ............................................................................ 61 Figura 5 – Estatísticas de utilização do pregão eletrônico em 2018 ......................................... 66 Figura 6 – Evolução das publicações de naturalização 2018/2019 (Deferimentos e indeferimentos) ......................................................................................................................... 77 Figura 7 – Portal Gov.br - Mecanismos de denúncia, solicitação, sugestão e simplificação ... 79 Figura 8 – Human-in-the-loop .................................................................................................. 88 Figura 9 - Nuvem de palavras – Estudo de múltiplos casos ..................................................... 89 Figura 10 – Análise de similitudes –Estudo de múltiplos casos .............................................. 90 xi LISTA DE SIGLAS E ABREVIATURAS ACM Association for Computing Machinery API Application Programming Interface BPMS Business Process Management Suites/System CVC Coeficiente de Validação de Conteúdo EGD Estratégia de Governança Digital do Brasil EGDI E-Government Development Index ENEM Exame Nacional do Ensino Médio e-PING Padrões de Interoperabilidade em Governo Eletrônico FATML Fairness, Accountability and Transparency in Machine Learning FOI Freedom of Information GDPR General Data Protection Regulation HCI Índice de capital humano ICP-Brasil Infraestrutura de Chaves Públicas INEP Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira MJSP Ministério da Justiça da Justiça e Segurança Pública MP Ministério do Planejamento, Desenvolvimento e Gestão OCDE Organização para a Cooperação e Desenvolvimento Econômico OSI Índice de serviços online PF Polícia Federal PNAD Pesquisa Nacional por amostra de domicílios SGD/ME Secretaria de Governo Digital do Ministério da Economia Sisp Sistema de Administração dos Recursos de Tecnologia da Informação Sisu Sistema de Seleção Unificada xii TI Tecnologia da informação TIC Tecnologias da informação e comunicação TII Índice de infraestrutura de telecomunicações UnB Universidade de Brasília xiii 1. INTRODUÇÃO A crescente demanda por informações verdadeiras e confiáveis aumentou em todo o mundo, sendo que a forma como as organizações operam e fornecem seus serviços e como elas gerenciam informações tornou-se um tópico importante para a sociedade (cidadãos, governo e organizações) (NUNES; CAPPELLI; RALHA, 2017). Os cidadãos têm mais oportunidades para buscar e acessar informações diretamente no governo, sendo a transparência um fator associado à confiança da população nas organizações públicas (ALBU; FLYVERBOM, 2016). Nesse contexto, a transparência é compreendida como a disponibilidade de informações, permitindo que atores externos monitorem o desempenho, na perspectiva da participação dos cidadãos no processo e, consequentemente, sua capacidade de avaliar as ações das autoridades (GRIMMELIKHUIJSEN; WELCH, 2012). Embora não haja consenso nas abordagens sobre o que seja transparência, o campo de pesquisa têm em comum a reflexão sobre em que medida as partes interessadas têm acesso e entendimento semelhantes às informações necessárias sem perda, ruído, atraso ou distorção (PAPENFUSS; SCHAEFER, 2015). Meijer (2014) ensina que o valor instrumental da transparência está frequentemente relacionado ao accountability, servindo como pré-requisito para a fase de informação de qualquer processo de accountability. Transparência e accountability são construtos que possuem estreita ligação, sendo a transparência um dos componentes do processo de accountability no setor público (VASCONCELLOS et al., 2018). Dessa forma, a transparência é considerada uma condição para a accountability - frequentemente associada ao conceito de responsabilidade - e requisito fundamental da boa governança (GOEDE; J. NEUWIRTH, 2014). Os países da Organização para a Cooperação e Desenvolvimento Econômico (OCDE) estão transformando o governo por meio do uso de estruturas de governança habilitadas por Tecnologias de Informação e Comunicação (TIC) e administrações em rede ou agregadas. A transformação do setor público e o governo eletrônico mostram que as TIC são cada vez mais utilizadas para apoiar objetivos mais amplos de desenvolvimento do setor público, visando à criação de um setor público mais coerente, focado no usuário e eficiente (1) mudando as abordagens de prestação de serviços criando serviços personalizados de alta qualidade para os usuários, aumentando assim a satisfação do usuário e a efetiva prestação de serviços; (2) facilitando mudanças na organização e gestão do trabalho, gerando coerência e 14 ganhos de eficiência de back office; (3) aumentando a transparência das atividades do governo e (4) aumentando o envolvimento dos cidadãos. (PRADO, 2009) Em que pese o intenso debate acerca da temática da transparência, o mesmo não se verifica quanto à transparência de sistemas ou serviços digitais disponibilizados pelos governos. Discussão recente tem sido travada em relação à transparência dos algoritmos que estão sendo utilizados na tomada de decisões e incorporados em sistemas públicos, como o de transporte, saúde e de policiamento (FINK, 2018). A palavra algoritmo pode transparecer, à primeira vista, um termo intimidador para quem não é afeito às ciências exatas. Contudo, a palavra poderia ser entendida simplesmente como ‘receita’, uma vez que representa um procedimento para cumprir uma tarefa. Os algoritmos consistem em um conjunto estruturado de comandos destinados a processar instruções e informações para gerar um resultado, sendo certo que, nas sociedades da informação, as atividades, escolhas e decisões anteriormente tomadas por humanos estão cada vez mais sendo atribuídas a algoritmos que podem aconselhar, e por vezes decidir, sobre como os dados devem ser interpretados e as ações a serem adotadas (MITTELSTADT et al., 2016a). Nesse contexto, algoritmos mediam processos sociais, transações comerciais, decisões governamentais e as interações entre sociedade e o ambiente (MITTELSTADT et al., 2016b). As implicações éticas advindas do design e da operação dos algoritmos podem afetar severamente indivíduos, grupos e sociedades inteiras (MITTELSTADT et al., 2016b). À medida que os governos continuam a desenvolver novos serviços digitais, é importante preservar a supervisão humana e garantir que as opiniões dos principais interessados, principalmente as pessoas que recebem ou participam dos serviços, sejam consideradas apropriadamente. As oportunidades oferecidas pelas novas tecnologias trazem novos desafios, pelo que os governos devem exercer boas práticas na maneira de coletar, gerenciar e usar dados para manter a confiança do público. Salvaguardas robustas devem ser adotadas para identificar tendências algorítmicas, proteger a privacidade individual e assegurar níveis apropriados de transparência. (STATS NZ, 2018) Os algoritmos tem se tornado cada vez mais autônomos e invisíveis, dificultando ao público o exame e a identificação de sua imparcialidade (JANSSEN; KUK, 2016a). Algoritmos podem introduzir sistematicamente um viés inadvertido, reforçar discriminações históricas, favorecer uma orientação política ou reforçar práticas indesejáveis (JANSSEN; KUK, 2016b). Ainda é difícil promover o accountability dos algoritmos haja vista a evolução 15 contínua proporcionada pelas novas tecnologias, sistemas, dados, pessoas e fluxo de prioridades políticas (JANSSEN; KUK, 2016b). Segundo a OCDE (2018) o uso de dados e algoritmos para apoiar a administração pública deve estar alinhado a estritos padrões éticos e de transparência, evitando dúvidas e possíveis vieses resultantes da falta de transparência em procedimentos e serviços. A referida organização pondera que a adoção de modelos consensuais, que permitam que o cidadão tenha a palavra final no uso dos dados e no uso de tecnologias emergentes para a produção de decisões e prestação de serviços, auxiliará na construção de confiança na transformação digital. Por fim, a OCDE destaca que o envolvimento da sociedade na promoção do accountability no uso dessas tecnologias e o investimento em iniciativas e procedimentos transparentes devem ser considerados pelos governos como requisito para um setor público digitalmente transformado. (OECD, 2018) Fink (2018) estudou a transparência dos algoritmos utilizados pelo governo americano para a prestação de diversos serviços. As leis de liberdade de informação permitem um meio potencial para transparência dos algoritmos, não estando claro, no entanto, se tais leis podem ser usadas para acessá-los. Os resultados indicam que as políticas e práticas governamentais americanas relacionados à divulgação de algoritmos são inconsistentes, sendo necessário mecanismos mais efetivos para promoção do accountability dos algoritmos. Referida autora aponta a necessidade de pesquisas futuras situando a transparência de algoritmos no debate acerca dos limites do accountability e do governo em geral, além de identificar até que ponto os registros eletrônicos e algoritmos compreendem 'as atividades do Governo' e como esses registros devem ser abertos ao público. (FINK, 2018) O objetivo deste estudo é verificar a transparência e accountability proporcionada ao cidadão em serviços públicos digitais (e-serviços) oferecidos pela Administração Pública Federal. Assim, o estudo se guiará pela seguinte pergunta de pesquisa: Como tem sido a implementação de transparência e accountability nos serviços digitais (e-serviços) oferecidos pela Administração Pública Federal? Como objetivos específicos temos: (a) identificar as dimensões ou categorias relevantes para a análise de transparência e accountability em serviços digitais (e-serviços); (b) propor um modelo para avaliação de serviços digitais da Administração Pública; (c) avaliar os indicadores de transparência e accountability de serviços digitais selecionados à luz do modelo proposto. 16 Esta primeira seção discutiu o tema, o problema de pesquisa, o objetivo e a justificativa. A seção dois se dedica à apresentação do referencial teórico que norteou o desenvolvimento da pesquisa. A seção três detalha os procedimentos metodológicos realizados. A seção quatro articula resultados e respectiva discussão. Por fim, a seção cinco elenca as conclusões advindas da pesquisa. 2. REFERENCIAL TEÓRICO Esta seção apresenta os fundamentos teóricos utilizados na pesquisa, divididos essencialmente em quatro subdivisões. A primeira e a segunda abordam as noções de governo eletrônico e governança eletrônica, destacando o uso de novas tecnologias pelos governos, no Brasil e no mundo. A terceira trabalha os conceitos de transparência e accountability e sua interrelação. Por fim, a quarta parte desta seção se debruça sobre a transparência a accountability em serviços públicos digitais. 2.1. Governo eletrônico e governança eletrônica A noção de governo eletrônico tem sido comumente associada ao uso das tecnologias da informação e comunicação (TIC) de modo a promover maior efetividade governamental e facilitar a disponibilização de serviços públicos (LUNA-REYES, 2017), permitindo o acesso à informação e tornando o governo mais socialmente responsável (social accountable) na relação com a sociedade (ALVES, 2012). As tecnologias de informação e comunicação e (TIC) consistem em outra denominação para tecnologia da informação (TI) que enfatizam o papel das comunicações unificadas e da integração de telecomunicações (linhas telefônicas e sinais sem fio), computadores, sistemas corporativos, armazenamento e sistemas audiovisuais, que permitem aos usuários acessar, manipular, armazenar e transmitir informações. (LEÃO; CANEDO, 2018) Segundo Agune e Carlos (2005) o uso estratégico das TICs teria criado um novo modelo de administração pública, denominado Governo Eletrônico. A Organização para a Cooperação e Desenvolvimento Econômico (OCDE) aponta as seguintes perspectivas do Governo Eletrônico: a) a entrega de serviços e outras atividades ao cidadão por meio da internet; b) outros usos das TICs pelo governo que não serviços eletrônicos; c) a transformação da administração pública por meio do uso das TICs, de modo a aumentar a participação do cidadão e proporcionar maior transparência (OECD, 2003). 17 Não há consenso acerca do conceito de governo eletrônico, destacando-se que as definições abordam a troca de informações com o usuário, sendo o Estado fornecedor de serviços e informações por meio eletrônico e o cidadão exercendo o papel de usuário e fiscal das ações do servidor público (ALVES, 2012; LAIA et al., 2011). Prado (2009), no entanto, destaca que os governos sempre fizeram uso das tecnologias disponíveis em seus processos internos ou na interação com a sociedade, motivo pelo qual não considera apropriado associar governo eletrônico ao uso de determinadas tecnologias ou ao provável surgimento de uma nova forma de governo. Pinho (2008) amplia o conceito de governo eletrônico associando a política e o uso das TICs para oferta de serviços: Por outro lado, dado o avanço da tecnologia, entendemos que o governo eletrônico não deve ser visto apenas por meio da disponibilização de serviços online mas, também, pela vasta gama de possibilidades de interação e participação entre governo e sociedade e pelo compromisso de transparência por parte dos governos. Em outras palavras, as TICs contêm um enorme potencial democrático, desde que haja definição política no sentido da participação popular e da transparência (PINHO, 2008, p. 475). [...] A forma ampliada de governo eletrônico não nega as conquistas da forma restrita, mas passa a considerar duas frentes interconectadas: por um lado, um Estado mais responsivo, aberto à participação da sociedade e transparente e, por outro, considera um papel protagonista da sociedade civil, atribuindo a essas possibilidades, por intermédio dos cidadãos e/ou de movimentos sociais, de checar, aferir, controlar o governo (de maneira mais geral, o próprio Estado) e, ainda, de assumir um papel propositivo. Tais considerações estão profundamente imbricadas à questão da transparência, o que demanda não só um papel democrático do governo, mas, também, uma capacidade política da sociedade civil. (PINHO, 2008, p. 477) Segundo Lane (2000) a governança no setor público pode ser definida com um conjunto de teorias sobre como os governos se articulam para prover serviços à sociedade. A governança pública tem sido entendida como um processo pelo qual instituições, organizações e cidadãos se guiam, tratando da interação entre o setor público e a sociedade, e de como esta se organiza para a tomada de decisões coletiva, a fim de que sejam providos mecanismos transparentes para que tais decisões se materializem (UNITED NATIONS, 2002). A governança eletrônica, por sua vez, refere-se ao modo como a internet pode melhorar a capacidade do Estado de governar e formular suas políticas, sendo definida como a utilização pelo setor público de tecnologias de informação e comunicação inovadoras, como a Internet, para oferecer aos cidadãos serviços de qualidade, informação confiável e mais conhecimento, visando facilitar-lhes o acesso aos processos de governo e incentivar sua participação (UNITED NATIONS, 2002). 18 Guimarães e Medeiros (2005) enxergam de forma distinta governo eletrônico e governança eletrônica, sendo esta o resultado da contribuição daquele para a formulação e implementação de políticas com a participação da sociedade, amparado pelas tecnologias de informação e comunicação e ambiente regulatório específico. Assim, a Governança Eletrônica pode ser vista como a dimensão política do governo eletrônico contemplando estratégias, visões e recursos necessários para sua consecução nos diversos níveis de relacionamento (RUEDIGER, 2002). A politização do governo eletrônico advinda da governança conduziria a gestão moderna e eficiente, caracterizando como uma ferramenta de reforma do Estado e gestão pública participativa.(CELSO; SILVA; COELHO, 2012). A governança eletrônica envolve, portanto, o uso das TIC para a melhoria da gestão de recursos e de processos governamentais internos (e-administração pública), a melhoria dos serviços prestados aos cidadãos (e-serviços públicos), além de promover a ampliação da participação do cidadão na tomada de decisão (e-democracia) (KNIGHT; FERNANDES; CUNHA, 2007). No estudo da governança eletrônica, Grande, Araújo e Serna (2002) abordam, ainda, a dimensão da ‘e-governança’ que está relacionada à dinamização de processos de elaboração de políticas públicas. Lechakoski e Tsunoda (2015) realizaram levantamento com 24 modelos de avaliação de maturidade para governo eletrônico propostos na literatura entre os anos 2000 e 2012 e constataram que o desenvolvimento do governo eletrônico é analisado sob o prisma do acesso a informações, transações (serviços disponíveis à sociedade) e participação dos usuários. Para Okot-Uma (2000, p. 5) a governança eletrônica envolveria “novos estilos de liderança, novas maneiras de acessar serviços [públicos], novas maneiras de ouvir os cidadãos (...) e novas maneiras de organizar e fornecer informações”. As pressões para que as organizações públicas atuem com eficiência, eficácia, transparência e mecanismos de controle e prestação de contas acarretou na adoção de modelos de gestão fundados em transparência e com foco em resultados, sendo os recursos de TIC instrumentos essencias nessa estratégia. (BARBOSA; FARIA; PINTO, 2007) Vaz (2009) observa que as TICs possibilitam não só a oferta de serviços públicos em meio eletrônico, como criam condições para que os governos consolidem boas práticas de governança garantindo a impessoalidade no acesso aos serviços, a participação e controle social dos serviços e ações de governo e a reversão da exclusão oriundo de dificuldades culturais e econômicas de acesso à informação. (CUNHA; MIRANDA, 2013; SRIVASTAVA; TEO; DEVARAJ, 2016; VAZ, 2009). 19 Luna et al. (2015) apontam os benefícios mais comuns atribuidos aos serviços públicos digitais que incluem a melhoria na qualidade dos serviços prestados, eficiência e produtividade nos processos estatais, programas e políticas mais efetivas, transparência e accountability, participação do cidadão, marco legal que ampara o governo eletrônico, regulamentação que encoraja a sociedade da informação e transformação nas estruturas governamentais. Diversas pesquisas se debruçam sobre a compreensão dos benefícios da utilização dos recursos de TIC na administração pública, envolvendo os níveis de acessibilidade e funcionalidade dos portais governamentais (DONKER-KUIJER; DE JONG; LENTZ, 2010; SANDOVAL-ALMAZAN; GIL-GARCIA, 2012) ou o impacto de outras variáveis contextuais ou institucionais sobre as características e o desenvolvimento dos sistemas em termos de funcionalidade e usabilidade (KIM; LEE, 2012; LEE; CHANG; BERRY, 2011). No entanto, Luna et al. (2015) destaca que poucas pesquisas centraram foco nos impactos da governança digital na criação de retorno público advindos da utilização das TICs, com a redução de custos, aumento na arrecadação de impostos ou aumento no acesso a serviços ou formas de participação (JUKIĆ; VINTAR; BENČINA, 2013). Luna et al. (2015) observa, também, que as pesquisas abordando a utilização de TICs no governo variam desde a eficiência e redução de custos na burocracia tradicional, a efetividade e os resultados no new public management, e a participação, desenvolvimento e valores democráticos nas abordagens de valor público. Estudos iniciais na temática se caracterizavam pela ênfase em aspectos técnicos, passando a incorporar fatores institucionais, organizacionais e valores democráticos como participação e transparência (LUNA et al., 2015). Para os fins deste trabalho adotaremos o conceito apontado pelo Decreto nº 8.638/2016 do Governo Federal do Brasil segundo o qual governança digital consiste na utilização, pelo setor público, de tecnologias da informação e comunicação com o objetivo de melhorar a informação e a prestação de serviços, incentivando a participação dos cidadãos no processo de tomada de decisão e tornando o governo mais responsável, transparente e eficaz (BRASIL, 2016a). 2.2. Governança digital no Brasil A governança digital, também conhecida como governança eletrônica (FREITAS; LIMA; LIMA, 2015), teve grande impulso no Brasil a partir do Programa Sociedade da Informação (SocInfo), do Ministério da Ciência e Tecnologia, previsto no Plano Plurianual 20 (PPA) 2000-2003 e no PPA 2004-2007, sendo precursor da publicação “Sociedade da informação no Brasil : livro verde” (TAKAHASHI, 2000), documento que estabelece diretrizes e técnicas para a incorporação da sociedade da informação no país. Naquela época, o Governo Federal editou o Decreto Presidencial de 3 de abril de 2000 (BRASIL, 2000), que instituiu grupo de trabalho interministerial para examinar e propor políticas, diretrizes e normas relacionadas com as novas formas eletrônicas de interação. De lá pra cá diversas iniciativas relevantes foram levadas a efeito a exemplo da (a) edição da Medida Provisória 2.200, de 28 de junho de 2001, que criou a ICP-Brasil – Infraestrutura de Chaves Públicas, (b) o Decreto n° 3.697, de 21 de dezembro de 2000 que regulamentou o pregão eletrônico no âmbito da administração federal, (c) o Decreto nº 5.134, de 07 de julho de 2004 que criou o Departamento de Governo Eletrônico, (d) o estabelecimento de Padrões de Interoperabilidade em Governo Eletrônico (e-PING) em 2004, (e) a edição do Guia Livre – Referência de Migração para Software Livre, em 2004, (f) a edição do Decreto nº 5.450/2005 que regulou as compras governamentais e o (g) o lançamento em 2011 do Plano de Ação Nacional sobre Governo Aberto (BRASIL. MINISTÉRIO DO DESENVOLVIMENTO, [s.d.]). Atualmente, o Portal Governo Digital, disponível em www.governodigital.gov.br, reúne informações sobre os instrumentos e as políticas do Governo Federal para melhorar a relação e o diálogo com o cidadão e as empresas, para a eliminação de barreiras, o aumento da transparência, o controle social das ações e a promoção da cidadania. O Portal Gov.br, instituído pelo Decreto n° 9.756/2019, é um projeto de unificação dos canais digitais do governo federal. Os serviços digitais, ou e-serviços, oferecidos pelos órgãos e entidades públicas devem constar do Portal Gov.br, disponível em www.gov.br, que é o canal oficial da Administração Pública Federal para divulgação das informações sobre os serviços públicos federais de atendimento. Em abril de 2019, os indicadores de desempenho do Portal de Serviços informavam a disponibilidade de 2.892 serviços, de 181 órgãos, sendo 41,1% deles totalmente digitais (BRASIL, 2019a). Já em novembro de 2019, o Portal Gov.br, que sucedeu o Portal de Serviços, informava a disponibilidade de 3.265 serviços, de 183 órgãos, sendo 51,8% deles totalmente digitais (BRASIL, 2019b). O índice de desenvolvimento de governo eletrônico (E-Government Development Index - EGDI), calculado pela Organização da Nações Unidas, mede o desenvolvimento do governo eletrónico no âmbito nacional a partir de uma média ponderada de avaliações normalizadas das três dimensões mais importantes do governo eletrônico: a abrangência e 21 qualidade de serviços conforme o índice de serviços online (OSI), a condição de desenvolvimento da infraestrutura de telecomunicações avaliado a partir do índice de infraestrutura de telecomunicações (TII) e o capital humano inerente, quantificado por meio do índice de capital humano (HCI) (ORGANIZAÇÃO DAS NAÇÕES UNIDAS, 2018). Segundo a avaliaçao das Nações Unidas, o Brasil registrou, em 2018, a 44ª posição no ranking de 193 países avaliados e 6° lugar no continente americano, registrando índice de desenvolvimento de governo eletrônico ‘alto’, conforme Tabela 1. Tabela 1 - Top 10 de países em governo eletrônico nas Américas País Sub-região OSI HCI TII EGDI Nível de EGDI Classificação 2018 11 Estados Unidos da América América do Norte 0,9861 0,8883 0,7564 0,8769 Very High Canadá América do Norte 0,9306 0,8744 0,6724 0,8258 Very High 23 Uruguai América do Sul 0,8889 0,7719 0,6967 0,7858 Very High 34 Chile América do Sul 0,8333 0,8339 0,5377 0,7350 High 42 Argentina América do Sul 0,7500 0,8579 0,5927 0,7335 High 43 Brasil América do Sul 0,9236 0,7525 0,5220 0,7327 High 44 Barbados Caraíbas 0,6667 0,8301 0,6719 0,7229 High 46 Costa Rica América Central 0,6736 0,7933 0,6343 0,7004 High 56 Colômbia América Central 0,8819 0,7382 0,4412 0,6871 High 61 México América Central 0,9236 0,7044 0,4173 0,6818 High 64 Fonte: Organização das Nações Unidas (2018, p. 142) A Estratégia de Governança Digital do Brasil (EGD) foi elaborada em 2015 e abrange o período de 2016 a 2019. O instrumento foi regulamentado pela Portaria nº 68/2016 do Ministério do Planejamento, Desenvolvimento e Gestão (MP), a qual vincula-se ao Decreto nº 8.638/2016, que instituiu a Política de Governança Digital. O propósito da EGD é orientar e integrar as iniciativas de transformação digital dos órgãos e entidades do Poder Executivo Federal, por meio da expansão do acesso às informações governamentais, da melhoria dos serviços públicos digitais e da ampliação da participação social. (BRASIL, 2018) Os princípios da Política de Governança Digital Brasileira, segundo o Decreto nº 8.638 de 15, de janeiro de 2016, são: foco nas necessidades da sociedade; abertura e transparência; compartilhamento da capacidade de serviço; simplicidade; priorização de serviços públicos disponibilizados em meio digital; segurança e privacidade; participação e controle social; governo como plataforma e inovação (BRASIL, 2016a). A versão do documento disponível em 2019 estrutura 05 objetivos estratégicos em torno de três eixos principais: acesso à informação; prestação de serviços e participação social, conforme Tabela 2. 22 Tabela 2 - Eixos e objetivos da Estratégia de Governança Digital do Brasil Eixo Objetivos estratégicos Acesso à informação OE.01 - Fomentar a disponibilização e o uso de dados abertos OE.02 – Promover a transparência por meio do uso de TIC Prestação de serviços OE.03 – Ampliar a oferta e aprimorar os serviços públicos por meio da transformação digital OE.04 – Compartilhar e integrar infraestruturas, dados, processos, sistemas e serviços. Participação social OE.05 – Ampliar a participação social no ciclo de vida das políticas e serviços públicos Fonte: Brasil (2018) Em consonância com a Política de Governança Digital que estabele a necessidade de maior abertura e transparência, o Governo Brasileiro instituiu a Política de Dados Abertos, por meio do Decreto n°. 8.777/2016, tendo como objetivos: promover a publicação de dados contidos em bases de dados de órgãos e entidades da administração pública federal direta, autárquica e fundacional sob a forma de dados abertos; aprimorar a cultura de transparência pública; franquear aos cidadãos o acesso, de forma aberta, aos dados produzidos ou acumulados pelo Poder Executivo federal, sobre os quais não recaia vedação expressa de acesso; facilitar o intercâmbio de dados entre órgãos e entidades da administração pública federal e as diferentes esferas da federação; fomentar o controle social e o desenvolvimento de novas tecnologias destinadas à construção de ambiente de gestão pública participativa e democrática e à melhor oferta de serviços públicos para o cidadão; fomentar a pesquisa científica de base empírica sobre a gestão pública; promover o desenvolvimento tecnológico e a inovação nos setores público e privado e fomentar novos negócios; promover o compartilhamento de recursos de tecnologia da informação, de maneira a evitar a duplicidade de ações e o desperdício de recursos na disseminação de dados e informações; e promover a oferta de serviços públicos digitais de forma integrada (BRASIL, 2016b). 2.3. Transparência e accountability A transparência consiste em uma regra de conduta a ser seguida pelos agentes públicos, de forma que suas ações sejam abertas à sociedade e possibilitem o controle social por parte dos cidadãos e das instituições (FOX, 2007). A transparência se baseia na disponibilidade de informações sobre uma organização que permite que os atores externos monitorem o funcionamento interno ou o seu desempenho, sendo cada vez mais vista como uma marca da boa governança (RUIJER; MEIJER, 2016). Cappelli (2009, p. 127) define a transparência como “algo que pode permitir ou melhorar a visão sobre os processos e as 23 informações de uma organização ao dar oportunidade de conhecimento sobre a mesma [...]”. Dessa forma, a transparência é considerada uma condição para a accountability frequentemente associada ao conceito de responsabilidade - e requisito fundamental da boa governança (GOEDE; J. NEUWIRTH, 2014). O atual foco na redução dos abusos dos governos, a necessidade de fortalecimento da democracia e o surgimento de novas tecnologias tem transformado a transparência em um conceito chave que conta com apoio quase unânime (MABILLARD; ZUMOFEN, 2017). Os estudos sobre transparência têm abordado diversas questões como acesso à informação, especialmente as leis de acesso à informação (Freedom of Information – FOI – laws) (MICHENER, 2011); as novas tecnologias, mormente o governo eletrônico (BERTOT; JAEGER; GRIMES, 2010); e os efeitos da transparência na geração de maior confiança, maior participação, eficiência da administração (WORTHY, 2010) e redução da corrupção (MAGNAGNAGNO; LUCIANO; WIEDENHÖFT, 2017). Grimmelikhuijsen e Welch (2012) propõem uma definição abrangente de transparência que considera a relação entre Estado e cidadão e a possibilidade de avaliação das atividades estatais. Nesse sentido, os autores afirmam que a transparência pode ser definida como a disponibilização de informação por uma organização que permite aos atores externos monitorar e avaliar o desempenho e as atividades internas. A transparência tem sido comumente abordada sobre a ótica da teoria da agência, visando controlar a assimetria de informações entre o cidadão (principal) e as organizações governamentais (agente) (ALCAIDE MUÑOZ; RODRÍGUEZ BOLÍVAR; LÓPEZ HERNÁNDEZ, 2017; BAUHR; GRIMES, 2014; FILGUEIRAS, 2011). Marques (2007) esclarece que os problemas de agência podem ser minimizados pelo conjunto de regras veiculados pela governança corporativa. Ball (2009) enfoca a transparência sob o prisma de três metáforas. A primeira metáfora trata a transparência como um valor público ou uma norma de comportamento para combater a corrupção, pelo que o acesso à informação pelos cidadãos melhora a governança. Por essa metáfora organizações e nações fortalecem a confiança de seus públicos. Na segunda metáfora, transparência se traduz em governos e organizações abertas, sendo sinônimo de tomada de decisão aberta. Nessa abordagem, há preocupação com privacidade e o sigilo, principalmente diante das novas tecnologias. A terceira metáfora refere-se à análise de políticas e programas, sendo a transparência um componente da boa governança. 24 O termo accountability tem sido utilizado na literatura norte americana, e em grande parte da nacional, para abordar questões relativas à prestação de contas dos governantes e da sua responsabilização democrática (PRADO, 2009). Abrucio e Loureiro (2004) definem accountability democrática como a construção de mecanismos institucionais por meio dos quais os governantes são constrangidos a responder por seus atos perante os governados. Segundo a Organização das Nações Unidas, o accountability é um dos prérequisitos para a democracia e boa governança, de modo que governantes e servidores públicos respondam por seus atos e decisões. Nessa linha, o accountability se presta a identificar quem é responsável pelo quê e que conduta é ilegal. (UNITED NATIONS, 2006) Accountability envolve “responsabilidade (objetiva e subjetiva), controle, transparência, obrigação de prestação de contas, justificativas para as ações que foram ou deixaram de ser empreendidas, premiação e/ou castigo” (RAUPP; PINHO, 2014, p. 145). Para Mainwaring e Welna (2003), accountability ou a prestação de contas por parte de um agente público possui três elementos principais: (i) a transparência entendida como a disponibilização de informações (answerability), (ii) a responsividade entendida como as demandas de informações e respectiva responsabilização pelos atos (responsiveness) e, (iii) a capacidade de sanção e coerção para que o acesso à informação seja assegurado (enforcement). No cenário brasileiro, Campos (1990), em artigo seminal, apontou a dificuldade na tradução do conceito de accountability para o português, relacionando-o à necessidade de proteger os cidadãos da má conduta burocrática e constatando que a ausência de mecanismos de responsabilização pública se devia ao padrão pouco democrático de relação existente entre Estado e sociedade. Pinho e Sacramento (2009), revisitando o texto de Campos, destacaram que o conceito de accountability envolve responsabilidade, controle, transparência, obrigação de prestação de contas, concluindo que se pôde perceber uma evolução institucional e cultural a favor do aumento de accountability. Loureiro, Teixeira e Prado (2008) indicaram a relevância do estudo empírico da transparência governamental associado ao debate de accountability, entendida como a problemática de construção e aperfeiçoamento de instituições democráticas. Heeks (1998, p. 6) aponta que a definição de accountability requer “that some set of recipients receives information about the outcomes of decisions made by identified individuals who are source decision makers; that those sources can be made to explain their decisions and that some sanctions can be imposed if the explanations are unsatisfactory”. Thomas (2003) ensina que accountability tem um sentido amplo e subjetivo de responsabilidade, manuteção de valores e padrões profissionais, tempestividade no atendimento 25 ao público, diálogo democrático e participação pública na governança. Este autor diferencia accountability e transparência, ressaltando que esta é um meio para o alcance daquela, e não um fim em si mesma. Transparência e accountability podem variar conforme o regime político em vigor (WARREN, 2014), interferindo na relação entre os dois conceitos. Além disso, Mabillard e Zumofen (2017) destacam que o contexto político também pode exercer influência, a exemplo do período eleitoral em que o comportamento dos servidores pode mudar, levando à divulgação de informações ou sanções que não necessariamente aconteceriam sob outras circunstâncias. Greiling (2014) afirma que o grau de confiança dos cidadãos também pode afetar o accountability, mostrando que a transparência não é o único fator de impacto. Além disso, Fox (2007) menciona em seu estudo que a vergonha potencial das organizações (vinculada a questões de reputação), devido ao aumento da transparência, pode reduzir a necessidade de accountability. Mabillard e Zumofen (2017) observam que a transparência pode reforçar a accountability "horizontal", o que significa accountability da administração em relação aos cidadãos e outras partes interessadas, acarretando maior abertura e aproximação das partes. Os autores relatam, ainda, efeitos indiretos sobre a accountability “vertical”, na hierarquia entre organizações, representantes eleitos e o governo, visto que, por meio do acesso aos dados, os cidadãos podem estar cientes das práticas administrativas e denunciar as disfunções. Heald (2012) adverte, também, que o momento da transparência também afeta o accountability, visto que a transparência, em retrospecto, ao contrário da transparência em tempo real, fecha a janela de prestação de contas após um certo período de tempo, tornando-a menos intrusiva para uma organização. Para Northrup e Thorson (2003), a transparência é um meio para o cidadão garantir a accountability, ao permitir desenvolver expectativas realistas sobre o que o governo pode e não pode, e monitorar o seu desempenho real. A transparência parece ser uma condição necessária, mas insuficiente, de accountability. A relação entre os dois conceitos encontra pelo menos dois grandes desafios, sendo o primeiro deles que a informação não seja apenas divulgada, mas também processada e totalmente compreendida. O outro é que a transparência raramente se traduz em consequências para as organizações que divulgam informações. (MABILLARD; ZUMOFEN, 2017) 26 No tocante à relação entre transparência e accountability podemos encontrar alguns estudos que propuseram um modelo de análise específico (FOX, 2007; HOOD, 2010; MEIJER, 2014). Fox (2007) identifica dois graus diferentes de transparência (opaco e claro) e de accountability (soft e hard). Transparência opaca se traduz na divulgação de informações, enquanto a transparência clara expõe o comportamento dos atores. Hard accountability - em comparação com o soft - inclui a possibilidade de sancionar ações consideradas questionáveis. Além da divulgação, a produção de informações sobre o comportamento de um ator exige uma resposta deste último, que se torna responsável: ‘capacity to produce answers permits the construction of the right to accountability’ (FOX, 2007, p. 668). Portanto, uma transparência mais clara e um soft accountability provocam um fenômeno de responsabilidade institucional. Segundo o autor, nisso reside o elo teórico entre os dois conceitos, visto que uma transparência clara é uma forma de soft accountability. Com base nessas divisões teóricas, ele descreve três categorias: (a) disseminação e acesso à informação: accountability não é solicitado e a relação permanece na esfera da transparência (opaca e clara); (b) responsabilização institucional (institutional ‘answerability’): a transparência é clara e é estabelecida uma relação com o soft accountability; (c) sanções, compensação ou remediação: a transparência não é solicitada e a relação permanece na esfera do accountability. Tabela 3 - Relação entre transparência e accountability segundo Fox (2007) Transparency Accountability Opaque Clear Soft Dissemination and access to information Institutional ‘answerability’ Hard Sanctions, compensation and/or remediation Fonte: (FOX, 2007, p. 669) Hood (2010) identificou três tipos de relações entre transparência e accountability. No primeiro, denominado “gêmeos siameses” (siamese twins), se observa que a maioria dos documentos, incluindo os normativos, não distingue os dois conceitos. Quando a administração não divulga informações ao público, algum nível de accountability sem transparência pode ocorrer internamente. Ao mesmo tempo, algumas organizações promovem transparência, mas não estão sujeitas a nenhum tipo de accountability (por exemplo, transparência internacional). Em ambos os casos, transparência e accountability são usadas de forma indistinta. No segundo tipo, denominado "peças correspondentes" (“matching parts”), transparência e accountability trabalham lado a lado, contribuindo conjuntamente para a boa governança, sendo consideradas 27 de forma individual e complementar. Por fim, o terceiro tipo, chamado “casal inadequado” (“awkward couple”) considera que existem tensões entre os dois conceitos. Nesse particular, O’Neill (2006) enfatiza que a disponibilização de um conjunto de dados nem sempre é compreensível ao leitor. Assim sendo, a natureza da informação publicada influencia o comportamento de um agente e como ele pode efetivamente ser responsabilizado. Assim, a administração pode parecer transparente (se a transparência for entendida como ampla disseminação de informações), mas não pode ser responsabilizada (be held accountable) devido ao excesso de informações ou à falta de clareza. Nesse sentido, os dois conceitos podem às vezes estar em desacordo e gerar baixas expectativas em relação à boa governança. O autor considera que as três relações variam de acordo com a maneira como transparência e accountability são vistos. Meijer (2014) ensina que o valor instrumental da transparência está frequentemente relacionado ao accountability, servindo como pré-requisito para a fase de informação de qualquer processo de accountability. Segundo ele, as medidas que fortalecem a abertura do governo podem aumentar o accountability às instituições formais e a outros interessados (por exemplo: organizações da sociedade civil e a mídia). Questionando o senso comum de que a transparência facilita a prestação de contas, ele formata um modelo composto por três perspectivas e oito lições. As três perspetivas se referem a uma rota direta (maior transparência do governo para o público facilitaria o accountability horizontal), uma rota indireta (um terceiro como os cidadãos, ao enviar um sinal - a metáfora do alarme de incêndio - pode reforçar o accountability vertical) e uma relação inversa (a necessidade de accountability pode ser reduzida graças a um maior nível de transparência). As principais lições extraídas de sua análise apontam para o baixo uso da informação pelos cidadãos para monitorar, avaliar e responsabilizar as autoridades públicas (“to hold public authorities into account”), ao contrário do uso mais intensivo feito pela mídia e grupos de interesse. Nesse sentido, o autor conclui que o accountability realizado pela mídia e grupos de interesse por meio da transparência pode ser considerado uma realidade, enquanto o accountability realizado pelo cidadão continua sendo uma ilusão. Para os propósitos desta pesquisa, adotaremos o escopo da definição proposta por Hood (2010) segundo a qual accountability consiste no dever de um indivíduo ou organização de responder de alguma forma sobre como eles conduziram suas ações. 28 2.4. Transparência e accountability em serviços públicos digitais O avanço tecnológico vem introduzindo um novo tipo de racionalização no setor público pelo uso das modernas tecnologias de informação e comunicação (TICs), acarretando mudanças em políticas públicas, processos e funções. O governo eletrônico está sendo implantado não apenas para fornecer serviços aos cidadãos, mas para fins de eficiência do setor público, melhorando a transparência e accountability e permitindo economia de custos na administração. (PRADO, 2009) As operações do governo envolvem cada vez mais algoritmos nas decisões governamentais, tornando-as mais efetivas e, ao mesmo tempo, escondendo informações em “caixas-pretas” (PASQUALE, 2015). Uma das bases da democracia eletrônica é oferecer ao público a oportunidade de consultar eletronicamente informações governamentais, e não apenas obter uma permissão formal de acesso às informações. Uma democracia eletrônica só pode ser estabelecida com base nestes pilares: acesso e acessibilidade. Sem bons acessos eletrônicos e acessibilidade das informações governamentais, o público não saberá sobre como as decisões são tomadas e quais planos estão sendo desenvolvidos pelas administrações públicas, portanto não poderá julgá-los convenientemente. (PRADO, 2009) Kroll (2015) aponta que decisões importantes sobre as pessoas estão sendo tomadas por algoritmos: votos são contados, votações são impugnadas, auxílios financeiros são concedidos, contribuintes são selecionados para auditoria, passageiros de avião escolhidos para serem fiscalizados e até decisões sobre concessão de crédito. Os cidadãos e a sociedade tem interesse em tornar esses processos mais transparentes, visto que as bases em que essas decisões são tomadas raramente estão disponíveis ao público (KROLL, 2015). Monteiro (2018) exemplifica, de forma ilustrativa, a influência das decisões informadas por algoritmos na vida do cidadão: “Um indivíduo chega a um banco. Ele pretende dar entrada em um pedido de financiamento do seu primeiro apartamento. Se dirige ao gerente, que o recebe, pede o seu CPF, e o insere em um sistema da instituição. Ao assim fazer, os demais campos do formulário eletrônico são imediatamente preenchidos. O gerente solicita, ainda, informações sobre o valor do imóvel, quanto o indivíduo pretende dar de entrada, quanto pretende financiar, e em quanto tempo. Imediatamente o sistema calcula uma taxa de juros muito superior àquela anunciada pela instituição nos inúmeros outdoors e propagandas espalhadas pela cidade. O valor é tão alto que torna impossível contratar tal financiamento, impedindo, desta forma, que o indivíduo possa adquirir o imóvel. Ele pergunta ao gerente por que a taxa de juros do seu financiamento seria tão alta, já que não tem dívidas, sempre pagou suas contas em dia, e recebe um salário que claramente o permite pagar uma parcela normal de um financiamento. O gerente apenas informa que o sistema faz o cálculo e exibe na sua tela e que não tem qualquer ingerência sobre os valores das taxas de juros e das parcelas mensais. Quem faz e 29 controla tudo é um programa de computador. Em outras palavras, um programa de computador, alimentado, a princípio, por dados sobre o indivíduo e sobre o imóvel que desejava adquirir, definiu suas chances de adquirir ou não um bem, e de usufruir de forma efetiva do seu direito à moradia. Um algoritmo tomou uma decisão que teve um impacto direto na vida deste indivíduo”. (MONTEIRO, 2018, p. 2) Os algoritmos ou alguns de seus inputs podem ser secretos, a implementação pode ser secreta ou o processo pode não estar precisamente descrito, motivo pelo qual se um cidadão ou uma autoridade suspeitar de algo errado ou desejar verificar se as decisões estão sendo adotadas de acordo com a política em vigor terá dificuldades nessa fiscalização (KROLL, 2015). Os algoritmos não são instruções simples e objetivas (WILLSON, 2017), estando fundamentados em percepções e entendimentos decorrentes da sociedade e não em leis tangíveis, globais e fixas (EISCHEN, 2003). Os algoritmos contém vieses que podem refletir práticas discriminatórias na sociedade, decorrer de limitações de sistemas de computação ou serem percebidos somente após a interação com os usuários (FRIEDMAN; NISSENBAUM, 1996). Assim, é fundamental tornar os algoritmos mais transparentes para a comunidade em geral, incluindo desenvolvedores, usuários e aqueles afetados pelos seus resultados, a fim de identificar e lidar com vieses (JANSSEN; KUK, 2016a). Essa matéria ganha relevância à medida que os algoritmos são modificados e se tornam mais complexos, concentrando o poder nas mãos de pessoas que compreendem seu funciomento (JANSSEN; KUK, 2016a). Em contextos públicos e privados, a transparência estabelece um conjunto de aspectos que sugerem a existência de políticas, procedimentos e tecnologias para fornecer não apenas acesso, mas também uso, qualidade, compreensão e auditabilidade de processos e informações (CAPPELLI, 2009). Leite e Cappelli (2010) aduzem que a sociedade necessita abordar como o software lida com a transparência, visto que ela será exigida não somente sobre os dados em si, mas também sobre qual é o raciocínio incidente sobre sua criação e manipulação. Concluem que a transparência de software é “uma nova e importante preocupação que os desenvolvedores de software devem lidar” (LEITE; CAPPELLI, 2010, p. 1). Nunes, Cappelli e Ralha (2017) exemplificam a falta de transparência do e-gov no Brasil em relação à distribuição de ações judiciais, realizada por sorteio aleatório automático, pelo Sistema Judicial Eletrônico de Processos (PJe). O sistema está sendo cada vez mais usado, 30 mas ainda é fortemente criticado por causa da falta de transparência1. Os autores acrescentam que, no Tribunal Superior do Trabalho (TST) do Poder Judiciário brasileiro, o programa eletrônico que distribui ações judiciais é fechado aos usuários, apenas os resultados podem ser acessados, não restando claro como as regras legais e internas são aplicadas. Dessa forma, quando alguém quer saber por que o processo X foi distribuído para o Ministro Y, é necessário auditar o banco de dados, o que é demorado e, na maioria das vezes, fornece pouca explicação. A normatização algorítmica tem incitado uma série de preocupações sobre a responsabilidade, imparcialidade e a autonomia desse processo, e tem sido agravada pela rigidez dos sistemas computacionais. Os algoritmos e os dados determinam uma grande variedade de decisões na vida das pessoas (ZIEWITZ, 2015), e as pessoas tendem a aceitar que os processos automatizados são verdadeiros e precisos (CITRON, 2007). A transparência pode corrigir erros em um dado processo algorítmico, promovendo assim a eficiência e permitindo que os indivíduos corrijam dados imprecisos que foram coletados sobre eles. Dessa forma, a transparência também proporciona o escrutínio que pressionará as agências a melhorarem suas práticas, pelo que os processos transparentes serão mais precisos e, portanto, eficientes. (ZARSKY, 2016) Judith Donath, da Harvard University’s Berkman Klein Center for Internet & Society, lamenta a falta de transparência dos sistemas, e adverte o seguinte: “O perigo da maior dependência de algoritmos é que o processo de tomada de decisão se torne oracular: opaco e indiscutível. A solução é design. O processo não deve ser uma caixa preta na qual nós alimentamos dados e sai uma resposta, mas um processo transparente projetado não apenas para produzir um resultado, mas para explicar como surgiu esse resultado. Os sistemas devem ser capazes de produzir textos e gráficos claros e legíveis que ajudem os usuários - leitores, editores, médicos, pacientes, solicitantes de empréstimos, eleitores etc. - a entender como a decisão foi tomada.” (ANDERSON; RAINIE, 2017, p. 22) Além de dar acesso a informações, para serem transparentes, as organizações precisam garantir a compreensão dos cidadãos sobre o que está acontecendo e como as informações são geradas e usadas (NUNES; CAPPELLI; RALHA, 2017). O conceito de accountability de algoritmos começou a surgir em razão da possibilidade de danos e discriminação por eles ocasionados. O conceito de accountability já discutido, quando aplicado aos algoritmos, tem sido muitas vezes confundido com transparência. Transparência é um componente essencial para o accountability, permitindo que cidadãos, consumidores, jornalistas, organizações de fiscalização verifiquem e compreendam 1 https://www.conjur.com.br/2014-jul-12/advogados-exigem-transparencia-relacao-processo-eletronico 31 as entradas, processos e saídas de um complexo sistema algorítmico para identificar evidências de danos e adotar providências de reparação se for o caso. (DIAKOPOULOS, 2014) No entanto, pesquisadores como Ananny e Crawford (2018) tem observado limitações na definição de accountability algorítmica como transparência, que incluem a alegação de que as novas complexidades introduzidas por algoritmos tornam “a capacidade de ver um sistema” como insuficiente para “ser capaz de saber como funciona e como governálo”. Heeks (2008) entende que a transparência eletrônica (eTransparency) se traduz no uso das tecnologias de comunicação e informação (TICs) para tratar os fluxos de informação relacionados à transparência que se subdivide nos seguintes níveis: (i) publicação: fornecimento de informações básicas sobre uma área específica do governo; (ii) transação: automatizar alguns processos do setor público e relatar esse processo; (iii) relatórios: fornecer detalhes específicos das decisões e ações do setor público (por exemplo, através de indicadores de desempenho); (iv) abertura: permitir aos usuários comparar o desempenho do servidor público com benchmarks pré-estabelecidos; (v) responsabilidade: permitir aos usuários algum mecanismo de controle (por exemplo, recompensa ou punição) sobre os servidores públicos. Modelos computacionais podem ser distorcidos como resultado de vieses contidos em seus dados de entrada ou algoritmos. Decisões adotadas por algoritmos preditivos podem ser ‘opacas’ devido a muitos fatores, incluindo o técnico (o algoritmo pode não ser de fácil explicação), econômico (o custo de fornecer transparência pode ser excessivo, incluindo o comprometimento de segredos comerciais) e social (revelar as ‘entradas’ pode violar as expectativas de privacidade). Os formuladores de políticas devem estar atentos para que os sistemas adotem os mesmos padrões em que os humanos tradicionalmente tomam decisões. (ACM, 2017) A organização Human Rights Watch reconhece o potencial do machine learning e tecnologias relacionadas que podem ser usadas para promover os direitos humanos, ao mesmo tempo em que se preocupa com a possibilidade desses sistemas facilitarem a discriminação intencional ou inadvertida contra certos indivíduos ou grupos de pessoas (HUMAN RIGHTS WATCH, 2018). A Declaração de Toronto, celebrada entre a Human Rights Watch e uma coalizão de grupos envolvidos com direitos humanos e tecnologia, convocou governos e setor privado a garantirem que os sistemas automatizados respeitem princípios de igualdade e nãodiscrinação, estabelecendo especialmente quanto à transparência e accountability: 32 “Garantir transparência e accountability 32. Os Estados devem garantir e exigir accountability e a máxima transparência possível em relação ao uso de sistemas de machine learning pelo setor público. Isso deve incluir explicabilidade e inteligibilidade no uso dessas tecnologias, para que o impacto sobre indivíduos e grupos afetados possa ser efetivamente examinado por entidades independentes, responsabilidades estabelecidas e os atores responsabilizados. Os Estados devem: a) Divulgar publicamente onde os sistemas de machine learning são usados na esfera pública, fornecendo informações que expliquem em termos claros e acessíveis como os processos de tomada de decisão automatizados são alcançados e documentando as ações tomadas para identificar, documentar e mitigar ações discriminatórias ou outras qu possam violar direitos. b) Permitir a análise e a supervisão independentes usando sistemas auditáveis. c) Evitar o uso de 'black box systems' que não possam ser submetidos a padrões significativos de accountability e transparência, evitando o uso desses sistemas em contextos de alto risco”. (HUMAN RIGHTS WATCH, 2018) Segundo a World Wide Web Foundation (2017, p. 16) tornar um algoritmo mais accountable “significa garantir que os danos possam ser avaliados, controlados e corrigidos”. New e Castro (2018) sustentam que o accountability de algoritmos tem por objetivo: promover resultados desejáveis ou benéficos; proteger contra resultados indesejáveis ou prejudiciais; e garantir que as leis que se aplicam às decisões humanas possam ser efetivamente aplicadas às decisões algorítmicas. A transparência pode melhorar a visão dos processos e informações organizacionais, ao mesmo tempo em que oferece oportunidades de conhecimento sobre eles, reduzindo a possibilidade de omissão de informações, permitindo o controle sobre os produtos e serviços, facilitando a pesquisa e aumentando a confiança entre as organizações e a sociedade (NUNES; CAPPELLI; RALHA, 2017). Em 2017, a Association for Computing Machinery (ACM) divulgou um conjunto de princípios (Tabela 4) destinado a apoiar os benefícios da tomada de decisão algorítmica, ao mesmo tempo em que aborda as preocupações já discutidas. Tabela 4 - Princípios para transparência e accountability de algoritmos Princípios para a Transparência e Accountability de algoritmos Proprietários, projetistas, construtores, usuários e outras partes interessadas dos sistemas analíticos devem estar cientes dos possíveis vieses envolvidos Consciência em seu projeto, implementação e uso, e os possíveis danos que os vieses podem causar aos indivíduos e à sociedade. Os reguladores devem encorajar a adoção de mecanismos que permitam o Acesso e reparação questionamento e a reparação para indivíduos e grupos que sejam negativamente afetados por decisões informadas por algoritmos. As instituições devem ser responsabilizadas pelas decisões tomadas pelos Accountability algoritmos que usam, mesmo que não seja viável explicar em detalhes como os algoritmos produzem seus resultados. Sistemas e instituições que usam a tomada de decisão algorítmica são encorajados a produzir explicações sobre os procedimentos seguidos pelo Explicação/Esclarecimento algoritmo e as decisões específicas que são tomadas. Isto é particularmente importante em contextos de políticas públicas. 33 Origem dos dados Auditabilidade Validação e teste Uma descrição da maneira pela qual os dados de treinamento foram coletados deve ser mantida pelos construtores dos algoritmos, acompanhada de um levantamento dos potenciais vieses induzidos por humanos ou algoritmos no processo de coleta de dados. O escrutínio público dos dados oferece a máxima oportunidade para correções. No entanto, as preocupações com a privacidade, a proteção de segredos comerciais ou a revelação de análises que possam permitir que atores mal-intencionados manipulem o sistema podem justificar a restrição de acesso a indivíduos qualificados e autorizados. Modelos, algoritmos, dados e decisões devem ser registrados para que possam ser auditados nos casos em que houver suspeita de dano. As instituições devem usar métodos rigorosos para validar seus modelos e documentar esses métodos e resultados. Em particular, eles devem rotineiramente realizar testes para avaliar e determinar se o modelo gera danos discriminatórios. Instituições são encorajadas a tornar públicos os resultados de tais testes. Fonte: Adaptado a partir de (ACM, 2017) Segundo a World Wide Web Foundation (2017), outro ator importante que vem atuando nas discussões interdisciplinares sobre como a transparência e accountability de algoritmos pode ser mais claramente definida é a comunidade acadêmica Fairness, Accountability and Transparency in Machine Learning (FATML), organizada em 2014, por cientistas da computação, desenvolvedores e pesquisadores, que lançou, em 2016, um conjunto de cinco princípios orientadores de “accountable algorithms” (Tabela 5). Com essa iniciativa a comunidade FATML se propôs a auxiliar desenvolvedores e gerentes de produto a projetar, desenvolver e implementar sistemas algorítmicos de maneira a torná-los accountable ao público. Nesse contexto, o accountability inclui a obrigação de relatar, explicar ou justificar a tomada de decisões algorítmicas, bem como mitigar quaisquer impactos sociais negativos ou possíveis danos. (DIAKOPOULOS et al., 2016) Tabela 5 - Princípios para algoritmos accountable - FATML Algoritmos Accountable - Justiça, Accountability e Transparência em Aprendizado de Máquina Justiça Assegurar que as decisões algorítmicas não criem impactos discriminatórios ou injustos ao comparar grupos demográficos diversos. Assegurar que as decisões algorítmicas, bem como quaisquer dados que Explicabilidade conduzam essas decisões, possam ser explicadas aos usuários finais e outras partes interessadas em termos não técnicos. Permitir que terceiros interessados investiguem, compreendam e revisem o comportamento do algoritmo por meio da divulgação de informações que Auditabilidade permitam o monitoramento, a verificação ou a crítica, inclusive por meio do fornecimento de documentação detalhada, APIs tecnicamente adequadas e termos de uso. Disponibilizar vias de reparação externas visíveis para efeitos adversos Responsabilidade individuais ou sociais de um sistema de decisão algorítmica e designar uma pessoa responsável pelo tratamento tempestivo de tais questões. Identificar, registrar e articular fontes de erros e incertezas no algoritmo e Precisão e correção respectiva fonte de dados de modo que as implicações de casos esperados e inadequados possam ser compreendidas e informem os procedimentos de mitigação. Fonte: Adaptado a partir de Diakopoulos et al. (2016) 34 New e Castro (2018) argumentam que muitos autores confundem “transparência” com “explicabilidade” nas discussões sobre como apresentar os algoritmos. Transparência refere-se à divulgação do código ou dados de um algoritmo (ou ambos), enquanto explicabilidade se refere ao conceito de tornar os algoritmos interpretáveis para os usuários finais, por exemplo, descrevendo como os algoritmos funcionam ou usando algoritmos capazes de articular as razões para suas decisões. Nesse particular, a União Européia tornou a explicabilidade uma verificação primária dos danos potenciais da tomada de decisão algorítmica, garantindo em seu General Data Protection Regulation - GDPR o direito de uma pessoa obter “informação significativa” sobre certas decisões tomadas por um algoritmo. Em direção análoga, a Secretária da França para Assuntos Digitais, Mounir Mahjoubi, afirmou que o governo não deve usar um algoritmo se não puder explicar suas decisões. (NEW; CASTRO, 2018) No contexto brasileiro, a Lei Geral de Proteção de Dados – LGDP (Lei 13.709/2018) assegurou o direito à explicação2, que deriva do princípio da transparência e diz respeito ao direito de receber informações suficientes e inteligíveis que permita ao titular dos dados entender a lógica e os critérios utilizados para tratar seus dados pessoais para uma ou várias finalidades, e o direito à revisão3 de decisões totalmente automatizadas, que compreende o direito do titular de requisitar a revisão, por um humano, de uma decisão totalmente automatizada que possa ter um impacto nos seus interesses, principalmente os relacionados à definição do seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade (MONTEIRO, 2018). A redação original4 do art. 20 da Lei 13.709/2018 (LGPD) assegurava o direito de solicitar a revisão, por um ser humano, de uma decisão tomada unicamente com base em tratamento automatizado. No entanto, a possibilidade de revisão por um humano restou vetada, em julho de 2019, pelo Presidente da República, remanescendo somente a possibilidade de revisão por outra máquina (também por algoritmos), conforme razões a seguir: 2 Art. 20 (...) § 1º O controlador deverá fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial. (Lei nº 13.709/2018) 3 Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade. (Lei nº 13.709/2018, com redação dada pela Lei nº 13.853, de 2019) 4 Art. 20. O titular dos dados tem direito a solicitar revisão, por pessoa natural, de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, inclusive de decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade. 35 “A propositura legislativa, ao dispor que toda e qualquer decisão baseada unicamente no tratamento automatizado seja suscetível de revisão humana, contraria o interesse público, tendo em vista que tal exigência inviabilizará os modelos atuais de planos de negócios de muitas empresas, notadamente das startups, bem como impacta na análise de risco de crédito e de novos modelos de negócios de instituições financeiras, gerando efeito negativo na oferta de crédito aos consumidores, tanto no que diz respeito à qualidade das garantias, ao volume de crédito contratado e à composição de preços, com reflexos, ainda, nos índices de inflação e na condução da política monetária” (BOLSONARO, 2019) Segundo Marrafon e Medon (2019), a revisão humana acerca das decisões tomadas a partir de dados pessoais é uma salvaguarda constitucional e democrática que tenderia a evitar danos aos cidadãos mais carentes que não possuem outro acesso a bens que geram cidadania e ficam dependentes da análise do “sistema”, haja vista a ausência de transparência e os efeitos perversos das análises exclusivamente automatizadas. Em síntese, a LGPD garante aos indivíduos o direito a ter acesso a informações sobre que tipos de dados pessoais seus são utilizados para alimentar algoritmos responsáveis por decisões automatizadas, incluindo a possibilidade de conhecer os critérios utilizados para tomar a decisão automatizada e de solicitar a revisão da decisão quando esta afetar os interesses dos titulares (MONTEIRO, 2018, p. 13). Dessa forma, as leis de proteção de dados se prestam a regular o uso e o tratamento de dados pessoais, com vistas a não só proteger a privacidade, mas também outros direitos fundamentais e liberdades individuais. Em 2018, a Nova Zelândia produziu um relatório para avaliar os algoritmos existentes e seu uso pelas agências do governo. O relatório aborda algoritmos que informam ou resultam em decisões que impactam significativamente indivíduos ou grupos, consistindo em um primeiro passo para aumentar a transparência e accountability do uso de algoritmos pelo governo neo-zelandês. Referido trabalho fornece uma visão geral de como as agências governamentais participantes, daquele país, estão usando algoritmos para apoiar seu trabalho, como eles foram desenvolvidos e as salvaguardas adotadas. Identificaram-se, também, boas práticas dentro das agências e oportunidades para apoiar agências usando algoritmos na tomada de decisões, com o objetivo de aumentar a conscientização pública e a confiança em torno de seu uso. (STATS NZ, 2018) O relatório do governo neo-zelandês estabelece seis princípios (Tabela 6) para o uso efetivo e seguro de dados e análises pelas agências do governo, tendo sido formatados para assegurar a transparência e promover as melhores práticas: 36 Tabela 6 - Princípios para o uso seguro e efetivo de dados e sistemas analíticos 1. 2. 3. 4. 5. 6. Princípios para o uso seguro e efetivo de dados e sistemas analíticos O uso de dados e análises deve ter benefícios claros para os cidadãos (neozelandeses). Dados e análises de dados são ferramentas que apoiam a Entregar benefício tomada de decisões e é essencial que a coleta e uso de dados públicos, por público claro agências governamentais, considerem e demonstrem benefícios positivos ao público. A transparência é essencial para o accountability, visto que proporciona colaboração, parceria e responsabilidade compartilhada. Isso inclui garantir que os cidadãos (neozelandeses) saibam quais dados são mantidos sobre eles; Manter a a segurança de tais dados; quem tem acesso a ele; e como é usado. transparência O uso de dados e os processos analíticos devem ser bem documentados, de acordo com toda a legislação pertinente e diretrizes do setor estatal. Explicações das decisões - e as atividades analíticas por trás deles - deve estar em linguagem clara, simples e fácil de entender. Ter em mente as pessoas por trás dos dados e como protegê-las contra o uso indevido de informações. É essencial considerar a privacidade e as implicações éticas de qualquer processo analítico que se baseie em dados Foco nas pessoas coletados sobre pessoas, como o uso de dados e análises para a tomada de decisões que possam ter impactos na vida real. As informações pessoais só devem ser mantidas pelo tempo necessário. Embora os dados sejam uma ferramenta poderosa, todos os processos analíticos têm limitações inerentes à sua capacidade de prever e descrever resultados. Estas limitações, às vezes, não são distribuídas uniformemente, o que significa que podem perpetuar ou intensificar os resultados ruins para Entender as grupos específicos. limitações Avaliações regulares para verificar se há viés e outros elementos nocivos e abordar qualquer excesso de confiança nas correlações são essenciais no desenvolvimento e operação de processos analíticos. Retroalimentar o design dos sistemas com os resultados obtidos pode ajudar a garantir que não sejam gerados resultados injustos ou discriminatórios. Usar os dados certos no contexto certo pode substancialmente melhorar os modelos decisórios e analíticos, evitando resultados potencialmente prejudiciais. Garantir que os dados Os tomadores de decisão precisam estar cientes sobre como os dados são estejam adequados ao coletados e analisados, incluindo a correção, precisão, consistência, propósito integridade e qualidade dos dados e ter um cuidado especial ao reutilizar dados que foram originalmente coletados para outra finalidade. Garantir dados e modelos analíticos adequados ao propósito ajudará a evitar riscos como preconceito ou discriminação. Processos analíticos são uma ferramenta para informar tomada de decisão e nunca deve substituir inteiramente a supervisão humana. Garantir que decisões significativas baseadas em dados envolvam julgamento e avaliação humana e processos de tomada de decisão automatizados sejam Manter a supervisão regularmente revistos para certificar de que eles permanecem adequados ao humana propósito inicial. Para garantir o accountability, as decisões baseadas em métodos ou processos automatizados que afetam as pessoas deve ser divulgado abertamente, além de oferecer revisão apropriada e mecanismos de feedback desenvolvidos para preservar direitos e liberdades fundamentais. Fonte: Stats NZ (2018) A pesquisa sobre tecnologias aplicadas ao e-Gov vem aumentando nos últimos anos, sendo a promoção da transparência um de seus objetivos chave. No entanto, o governo brasileiro não tem tratado desta questão sistematicamente, podendo-se afirmar que a 37 transparência no e-gov brasileiro (e-transparência) está em estágio inicial do seu processo de maturidade. (NUNES; CAPPELLI; RALHA, 2017) Camp (2006) trata a questão da transparência de software sob o prisma do movimento de código aberto afirmando que a sua característica crítica é a possibilidade de ser lido por humanos. Stallman (1999), fundador do movimento do software livre, considera que o código computacional habilita e controla as ações dos usuários, sendo que para alcançar a verdadeira autonomia eles devem ser capazes de examinar, alterar e redistribuir o código, especialmente quando as atividades do governo estão envolvidas. Meunier (2008) define a transparência de software como uma condição em que todas as suas funções são divulgadas para os usuários. Leite e Cappelli (2010) argumentam que um software é considerado transparente se a informação que ele trata é transparente (transparência de informação) e, se ele próprio é transparente, informando seu funcionamento, o que faz e por quê (transparência do processo). Leite e Cappelli (2010) entendem que a transparência deve ser tratada no contexto da especificação de requisitos do software, como um requisito não funcional (RNF). Os requisitos não funcionais não se relacionam ao resultado final do software e são conhecidos como requisitos de qualidade, pois tratam, por exemplo, de requisitos como desempenho, confiabilidade, usabilidade, entre outros. (MACEDO, 2014) Cappelli (2009) aborda, em sua tese, o problema de entender, implementar e avaliar a transparência nos processos e informações organizacionais, construindo uma definição e sistematização da transparência por meio de um catálogo de transparência. Este trabalho resultou na elaboração do Transparency SIG (Softgoal Interdependency Graph) que define princípios para a transparência como características representadas em um catálogo de requisitos não funcionais (RNF) (CHUNG et al., 2000), e operacionalizações para sistematizar a incorporação da transparência nos processos e informações da organização. O Transparency SIG é composto por nós e links (Figura 1), onde cada nó é uma característica de transparência, enquanto cada link representa o tipo de contribuição entre eles (break, hurt, unknown, help e make). Existem cinco grupos de características: acessibilidade, usabilidade, informatividade, compreensibilidade e auditabilidade. Cada um é desdobrado em subcaracterísticas e para cada um deles é proposto um conjunto de operacionalizações e mecanismos para orientar a introdução da transparência nos processos e informações organizacionais. (CAPPELLI, 2009) 38 Figura 1 - Transparency SIG – versão final Fonte: Cappelli (2009) Leite e Cappelli (2010) apontam que a transparência de software tem sido requerida por diversos motivos como a utilização em sistemas eletrônicos de votação, gerenciamento de riscos, atividades de governo e para propiciar maior segurança, confiança e accountability da informação. Em relação a este último aspecto, Weitzner et al. (2008, p. 3) destacam que information accountability “significa que o uso da informação deve ser transparente de forma a ser possível determinar se um dado uso é apropriado sob um conjunto de regras e que o sistema permita que indivíduos e instituições sejam responsabilizados [to be held accountable] pelo uso indevido”. Macedo (2014) afirma que, no Brasil, dentre as iniciativas de aumento da transparência de software podem-se destacar os documentos do Governo Federal Brasileiro (BRASIL. SLTI/MP, 2010, 2014; GRAY et al., 2011) e o trabalho realizado pelo Grupo de Pesquisa de Engenharia de Requisitos da PUC-Rio (Grupo ER – PUC-Rio). A autora observa que essas iniciativas contribuem para o atendimento de requisitos impostos pela legislação, além de operacionalizar as características de transparência de acessibilidade, usabilidade, informativo, entendimento e auditabilidade. O catálogo de transparência proposto por Cappelli (2009) é utilizado como base para o trabalho do Grupo ER – PUC-Rio (Tabela 7), que adicionou aos atributos e características uma série de questões a serem perquiridas durante o desenvolvimento de um sistema de software, a fim de se promover transparência. 39 Tabela 7 – Síntese do Catálogo de transparência - Grupo ER – PUC-Rio Síntese do Catálogo de Transparência - Grupo ER – PUC-Rio Descrição Capacidade de manter uma única forma/ manter regularidade Capacidade de organização/apresentação capaz de permitir o uso com menor esforço. Simplicidade Capacidade de não apresentar dificuldades ou obstáculos Operabilidade Capacidade de estar pronto para uso (operacional) Usabilidade Intuitividade Capacidade de ser utilizado sem aprendizado prévio Adaptabilidade Capacidade de ser alterado de forma a atender novas necessidades ou mudança de contexto Desempenho Capacidade de operar no tempo estipulado Validade Capacidade de ser avaliado por experimento ou observação para identificar se está de acordo com as expectativas dos usuários Controlabilidade Capacidade de ser dirigido, fiscalizado e orientado Verificabilidade Capacidade de identificar se o que está sendo feito está correto Auditabilidade Rastreabilidade capacidade de seguir a construção ou evolução de um software, suas mudanças e justificativas Explicação Capacidade de informar a razão e o propósito do software e de suas características Portabilidade Capacidade de ser usado em diferentes ambientes Acessibilidade Disponibilidade Capacidade de ser acessado quando for necessário Publicidade Capacidade de se tornar público Dependência Capacidade de identificar a relação entre as partes de um todo Compositividade Capacidade de construir ou formar a partir de diferentes partes Entendimento Detalhamento Capacidade de ser descrito em minúcias Divisibilidade Capacidade de ser separado em partes coesas Concisão Capacidade de utilizar o estritamente necessário Clareza Capacidade de ser nítido e compreensível Consistência Capacidade de ser isento de contradição, e ao longo do tempo obter resultados equivalentes para várias medições de um mesmo item Integridade Capacidade de estar inteiro (no sentido de não faltar nenhuma das partes) Corretude Capacidade de ser isento de erros ou faltas Informativo Acurácia Capacidade de estar próximo do valor de referência dentro de limites previamente estabelecidos Atualidade Capacidade de refletir a última informação ou mudança Completeza Capacidade de não faltar nada do que é exigido Comparabilidade Capacidade de ser confrontado com outro para lhe determinar diferença, semelhança ou relação Fonte: (“Catálogo Transparência - Grupo de Engenharia de Requisitos PUC-Rio”, [s.d.]) Atributos Características Uniformidade Amigabilidade 3. PROCEDIMENTOS METODOLÓGICOS Esta seção abordará os aspectos metodológicos adotados na pesquisa, onde serão apresentadas as características da pesquisa, suas respectivas fases, a seleção dos casos, a coleta de dados, os procedimentos para validação do roteiro de avaliação de transparência e accountability em serviços públicos digitais e o tratamento dos dados coletados. A presente pesquisa pode ser definida como exploratória, descritiva e aplicada, quanto aos fins, e de campo, documental e estudo de caso, quanto aos meios, na esteira da classificação proposta por Vergara (1998). 40 O método utilizado foi a análise de conteúdo, que segundo Bardin (2016), pode ser definido como um conjunto de técnicas de análise de comunicação que visa, por procedimentos sistemáticos e objetivos de descrição do conteúdo, obter indicadores (quantitativos ou não) que viabilizem a inferência de conhecimentos relativos às condições de produção ou recepção das mensagens. Richardson (2012) esclarece que a análise de conteúdo é focada na compreensão de um discurso, para se perceber suas características e extração dos momentos mais importantes, destacando que a análise por categorias em que se decodifica um texto em vários elementos, classifica-os para formarem agrupamentos analógicos e categorizados. O autor alerta, ainda, que é uma técnica de difícil estimativa, com relação ao trabalho necessário para um nível aceitável de confiabilidade. A análise de conteúdo usa diversos procedimentos para levantar inferências válidas a partir de um texto, sendo que o referido método busca classificar palavras, frases ou mesmo parágrafos em categorias de conteúdo, cabendo ao pesquisador interpretar e explicar os resultados por meio de teorias relevantes (BARDIN, 2016). A autora divide as fases da análise de conteúdo em: (a) pré-análise, (b) exploração do material e (c) tratamento dos dados, a inferência e a interpretação. A primeira fase destina-se à escolha dos documentos a serem analisados, a formulação de hipóteses e objetivos, assim com a elaboração de indicadores que fundamentem a interpreção final. Na segunda fase se realizam operações de codificação, decomposição ou enumeração, eventualmente apoiados por softwares. Na última fase, os dados brutos são tratados de maneira a serem significativos e válidos. O estudo adota abordagem qualitativa, visto como a tentativa de uma compreensão detalhada dos significados e características situacionais apresentadas pelos entrevistados, em lugar da produção de medidas quantitativas de características ou comportamentos. Essa preocupação por revelar as convicções dos entrevistados é comum da etnografia, observação participante, pesquisa-ação, e os vários outros tipos de pesquisa qualitativa. Para muitos pesquisadores qualitativos as convicçöes subjetivas das pessoas têm primazia explicativa sobre o conhecimento teórico do investigador. (RICHARDSON, 2012, p. 90–91) A pesquisa qualitativa é fundamentalmente interpretativa, pois o pesquisador interpreta os dados, sendo certo que nessa modalidade de pesquisa importa menos a quantidade de entrevistados e mais a qualidade deles, já que o que se busca explicar é o fenômeno estudado (CRESWELL, 2007). Gorard (2013, p. 4–5) ensina que “desenho de pesquisa não é fundamentalmente sobre técnicas ou procedimentos. É mais a respeito de cuidado e atenção aos detalhes, 41 motivados pela paixão pela segurança de nossas conclusões obtidas através da pesquisa. Em sua forma mais simples, o desenho de pesquisa é sobre convencer uma audiência de pessoas céticas que decisões importantes que estão por trás das conclusões da pesquisa são as mais seguras possíveis. (...) É tarefa dos cientistas sociais fazer com que estas decisões sejam as mais infalíveis possível”. Os métodos qualitativos enfatizam a representação da realidade através dos olhos dos participantes, enfocando o respondente e suas reflexões, opiniões e comportamentos (LEÃO; MELLO; VIEIRA, 2009). Dessa forma, uma pesquisa qualitativa tem início com uma questão de pesquisa e com observações detalhadas do mundo ao invés de objetivos e hipóteses (ALI; BIRLEY, 1999). No tocante ao objetivo e grau em que o problema de pesquisa está colocado, a pesquisa se deu de forma exploratória na fase piloto (fase 2), haja vista a intenção de ganhar maior conhecimento sobre o tema e aprofundar questões a serem estudadas (MATTAR, 2014). “A classificação de pesquisas em exploratórias ou conclusivas é muito menos precisa do que outras classificações, pois todas as pesquisas têm aspectos exploratórios e são raras aquelas cujo problema de pesquisa e (ou) objetivos estejam tão bem definidos que possam prescindir de atividades de pesquisa exploratória. Normalmente, uma pesquisa apresenta uma parte inicial exploratória que ajudará no delineamento da parte conclusiva” (MATTAR, 2014, p. 45). No mesmo sentido, Vergara (1998, p. 45) afirma que “a investigação exploratória é realizada em área na qual há pouco conhecimento acumulado e sistematizado. Por sua natureza de sondagem, não comporta hipóteses que, todavia, poderão surgir durante ou ao final da pesquisa”. As etapas sucessivas à fase-piloto (fases 3 e 4) consistiram em pesquisa descritiva e aplicada, visto que se destinaram a verificar e descrever como o fenômeno vem ocorrendo no cotidiano. Vergara (1998, p. 45) aponta que “a pesquisa descritiva expõe características de determinada população ou de determinado fenômeno. Pode também estabelecer correlações entre variáveis e definir sua natureza. Não tem compromisso de explicar os fenômenos que descreve, embora sirva de base para tal explicação. (...) A pesquisa aplicada é fundamentalmente motivada pela necessidade de resolver problemas concretos; mais imediatos, ou não”. Os procedimentos metodológicos, pormenorizados nas seções seguintes, podem ser resumidos conforme Tabela 8. 42 Tabela 8 - Resumo dos procedimentos metodológicos Resumo dos procedimentos metodológicos Análise de conteúdo (BARDIN, 2016; VERGARA, 2005) Exploratória, descritiva e aplicada Quanto aos fins (VERGARA, 1998) Documental, de campo e estudo de caso Quanto aos meios (VERGARA, 1998) Qualitativa Abordagem (CRESWELL, 2007; RICHARDSON, 2012) Documentos, relatos e percepções de Fontes de Evidência especialistas Entrevistas, questionário e análises Procedimentos de Coleta documentais Não probabilística (conveniência e julgamento) Amostragem (CHURCHILL, 1998; FINK, 2003; MATTAR, 2014) Roteiro de entrevistas e roteiro de Instrumentação avaliação validado por juízes Análise de conteúdo e Procedimento de Análise estatísticas textuais (BARDIN, 2016; SALVIATI, 2017) Fonte: elaborado pelo autor Método Caracterização do estudo Procedimentos adotados 3.1. Fases da pesquisa A pesquisa pode ser dividida em seis fases: a) desenvolvimento conceitual e metodológico da pesquisa, b) contato inicial com o campo de pesquisa (fase-piloto); c) elaboração e validação de roteiro de avaliação de transparência e accountability em serviços públicos digitais, d) aplicação do roteiro de avaliação em múltiplos casos, e) apresentação e análise dos resultados da pesquisa; f) conclusões de pesquisa (Figura 2). 43 Figura 2 – Fases da Pesquisa Fase 2: fase piloto Fase 1: desenvolvimento conceitual e metodológico Academia, PF, SERPRO e SGD/ME Questão de pesquisa Entrevistas Problematização teórica Transcrição e codificação Aspectos metodológicos Evidências empíricas Fase 3: elaboração e validação de roteiro de avaliação de transparência e accountability em serviços públicos digitais Elaboração de roteiro (teoria e casos piloto) Validação de roteiro preliminar por juízes Cálculo do CVC dos itens e adequação final Formatação do roteiro final Fase 4: aplicação do roteiro de avaliação em múltiplos casos ComprasNet Entrevistas Transcrição e codificação Sisu Entrevistas Transcrição e codificação Naturalizar-se Entrevistas Transcrição e codificação Evidências empíricas Fases 5 e 6: apresentação e análise dos resultados da pesquisa; conclusões de pesquisa Fonte: Adaptado a partir de Balestrin (2005) 3.1.1. Fase 1: Desenvolvimento conceitual e metodológico da pesquisa A primeira fase foi dedicada ao desenvolvimento inicial do referencial teórico e metodológico da pesquisa, que permitiu o aprimoramento e aperfeiçoamento dos objetivos geral e específicos, além da realização de extenso levantamento bibliográfico e documental para elaboração do roteiro de entrevista utilizado na fase-piloto (Apêndice A). A seleção dos artigos científicos, atualizada em novembro de 2019, baseou-se nos diretórios disponibilizados pela CAPES e Google Scholar, utilizando como palavras-chave os termos “algorithm”, “transparency”, “public services” e “accountability”, no título, assunto ou palavras-chave, sem restrição quanto ao ano de publicação, haja vista se tratar de temática recente. Foram identificados 46 estudos nos periódicos CAPES e 39 no Google Scholar. O refinamento da seleção levou em consideração os trabalhos relativos à transparência e accountability de novas tecnologias aplicadas no setor público. 44 Adicionalmente foram realizadas buscas com as mesmas palavras-chave, utilizando a ferramenta de busca Google, que resultou na seleção de documentos publicados por organizações que se dedicam ao estudo da transparência de algoritmos e sistemas em geral (ACM, 2017; DIAKOPOULOS et al., 2016; WORLD WIDE WEB FOUNDATION, 2017), assim como no contexto da administração pública (STATS NZ, 2018). 3.1.2. Fase 2: Contato inicial com o campo de pesquisa (fase-piloto) Uma vez realizado o levantamento bibliográfico e documental, verificou-se a escassez de trabalhos científicos na área e a inexistência de instrumento específico para avaliação de transparência e accountability em serviços digitais. A fim de compreender melhor o campo de pesquisa e aprimorar os aspectos teóricos e metodológicos da pesquisa, realizou-se fase-piloto com estudos exploratórios destinados a confirmar a inexistência de instrumento específico para avaliação de transparência e accountability em serviços digitais e identificar as dimensões ou categorias relevantes para a análise do construto. Segundo Yin (2001, p. 75), “estudos de caso piloto podem revelar inadequações no projeto inicial ou podem ajudar a adaptá-lo”, ressaltando que um “teste-piloto não é um préteste (...) o caso-piloto é utilizado de uma maneira mais formativa, ajudando o pesquisador a desenvolver o alinhamento relevante das questões - possivelmente até providenciando algumas elucidações conceptuais para o projeto de pesquisa” (YIN, 2001, p. 100). Destaque-se, por fim, que a escolha do caso piloto pode se dar “por várias razões que nada têm a ver com os critérios usados para se selecionar os casos finais no projeto de estudo de caso. Por exemplo, os informantes constantes ao local do estudo-piloto podem ser extraordinariamente compatíveis e acessíveis, ou o local pode ser geograficamente conveniente, ou então pode conter uma quantidade extraordinária de dados e documentos” (YIN, 2001, p. 100) A fase-piloto ocorreu por meio de consultas a membros da Academia e entrevistas semi-estruturadas com especialistas na área de governo eletrônico e desenvolvimento de serviços digitais no contexto da administração pública, sendo dois conceituados professores da Northwestern University e Manchester University, três peritos criminais federais gestores de tecnologia da informação na Polícia Federal, dois gerentes de departamento do SERPRO e o Coordenador Geral de Relacionamento e Portfólio da Secretaria de Governo Digital do Ministério da Economia. Nessa etapa, as entrevistas semi-estruturadas foram guiadas pelo roteiro constante no Apêndice A. 45 Esses contatos tiveram como finalidade (a) compreender melhor o campo de pesquisa (b) identificar os principais aspectos e dimensões a serem abordados pelos serviços públicos digitais para assegurar transparência e accountability ao cidadão usuário, (c) coletar informações que pudessem subsidiar a criação de roteiro de avaliação de transparência e accountability em serviços públicos digitais. Segundo Pasquali (1998), as fontes de itens para medição de construtos podem derivar da teoria, de entrevistas ou outros testes que medem o mesmo construto. Manzini (2004, p. 4), por sua vez, destaca que o “uso da entrevista é indicado quando a natureza da informação se tratar de fenômeno que ficaria difícil ou impossível de ser observado”. O autor destaca, ainda, que o entrevistador não deve tornar-se refém das perguntas elaboradas previamente, visto que é da natureza da entrevista semi-estruturada a possibilidade de questionamentos complementares na tentativa de compreender a informação que está sendo dada. Manzini (2004, p. 6) sugere, ainda, que a “adequação das perguntas pode ser investigada a partir de três classes de análise: 1) adequação da linguagem (vocabulário, jargão, clareza e precisão, uso de palavra não específica ou vaga); 2) adequação da forma das perguntas (tamanho das perguntas, averiguação da dificuldade de elaboração mental por parte do entrevistado, impacto emocional de determinadas palavras, frases manipulativas, perguntas com múltipla finalidade) e 3) seqüência de apresentação das perguntas no roteiro (das mais fáceis de serem respondidas para as mais difíceis e utilização de blocos temáticos)”. 3.1.3. Fase 3: Elaboração e validação de roteiro de avaliação de transparência e accountability em serviços públicos digitais O roteiro de avaliação em sua versão preliminar (Apêndice B) foi criado a partir de informações coletadas na fase piloto, realizadas com 6 gestores envolvidos com a implantação de serviços públicos digitais (Polícia Federal, Secretaria de Governo Digital do Ministério da Economia e SERPRO), além de pesquisa documental e bibliográfica. (ACM, 2017; CAPPELLI, 2009; DIAKOPOULOS et al., 2016; FAGAN, 2017; GILLINGHAM, 2019; SPAGNUELO; BARTOLINI; LENZINI, 2016; STATS NZ, 2018) Consolidada a versão preliminar, o roteiro foi submetido a juízes especialistas, por correio eletrônico (Apêndice G), para validação de conteúdo, seguindo as orientações de Pasquali (2010). 3.1.4. Fase 4: Aplicação do roteiro de avaliação em múltiplos casos O roteiro de avaliação em sua versão final, após as adequações sugeridas pelos juízes (Apêndice C), foi submetido a responsáveis pela gestão dos sistemas ComprasNet 46 (Ministério da Economia), Sisu (Ministério da Educação) e Naturalizar-se (Ministério da Justiça e Segurança Pública), a fim de avaliar o tratamento que tais serviços digitais vêm dispensando à transparência e accountability. A aplicação do roteiro de avaliação se deu por meio de entrevistas, realizadas em novembro de 2019, com os seguintes atores: a) ComprasNet: o Coordenador-Geral dos Sistemas de Compras Governamentais e o ex-Coordenador-Geral dos Sistemas de Compras Governamentais do Ministério da Economia e Diretor de Tecnologia da Informação do Ministério da Educação; b) Sisu: o Coordenador-Geral e Coordenador-Geral Substituto de Programas de Ensino Superior da Secretaria de Educação Superior do Ministério da Educação (entrevista conjunta); c) Naturalizar-se: Coordenador Geral de Política Migratória e o Coordenador de Processos Migratórios do Ministério da Justiça e Segurança Pública. Nesse particular, vale repisar a lição de Creswell (2007) que ensina que a pesquisa qualitativa é fundamentalmente interpretativa, sendo certo que nessa modalidade de pesquisa importa menos a quantidade de entrevistados e mais a qualidade deles, já que o que se busca explicar é o fenômeno estudado. 3.1.5. Fase 5: Apresentação e análise dos resultados da pesquisa Na quinta fase os resultados da fase-piloto e dos casos avaliados à luz do roteiro elaborado na fase 3 foram detalhadamente descritos. As entrevistas realizadas na fase-piloto e na análise de múltiplos casos foram gravadas, transcritas e submetidas à análise de conteúdo, seguindo os preceitos de Bardin (2016). Os resultados encontrados na avaliação dos múltiplos casos foram pormenorizados seguindo a sequência das dimensões constantes do roteiro de avaliação do Apêndice D (acessibilidade; consciência; acesso e reparação; accountability; explicação; origem dos dados, privacidade e justiça; auditoria; validação, precisão e teste). Por fim, procedeu-se ao exame comparativo dos casos avaliados, realizando a respectiva discussão teórica de cada dimensão estudada. 3.1.6. Fase 6: Conclusões de pesquisa Na sexta e última fase os resultados foram matizados à luz da teoria e dos objetivos da pesquisa, destacando os principais desdobramentos para o mundo prático e acadêmico, as limitações da pesquisa e as indicações para trabalhos futuros. 47 3.2. Seleção dos casos A fase empírica deste estudo debruçou-se sobre serviços públicos digitais como unidade de análise. Nesse sentido, o Portal Gov.br, instituído pelo Decreto 9.756/2019, consolida um projeto de unificação dos canais digitais do Governo Federal, sendo o meio centralizado para acesso aos serviços públicos digitais. Em abril de 2019, os indicadores de desempenho do Portal de Serviços informavam a disponibilidade de 2.892 serviços, de 181 órgãos, sendo 41,1% deles totalmente digitais (BRASIL, 2019a). Em novembro de 2019, o Portal Gov.br, que sucedeu o Portal de Serviços, informava a disponibilidade de 3.265 serviços, de 183 órgãos, sendo 51,8% deles totalmente digitais (BRASIL, 2019b). A figura 3 estratifica o nível de digitalização dos serviços disponíveis no Portal Gov.br, além de demonstrar a evolução dos serviços digitais oferecidos de 2017 a 2019. Figura 3 – Nível de digitalização e número de serviços digitais Fonte: (BRASIL, 2019b) Como visto, há um sem número de instituições e serviços digitais que poderiam ser objeto do presente estudo, visto que há uma ‘população’ de mais de 3000 serviços disponibilizados na plataforma Gov.br. Considerando o tipo de pesquisa, a acessibilidade aos elementos da população, a representatividade desejada ou necessária, a disponibilidade de tempo, recursos financeiros e humanos, optou-se por uma amostragem não probabilística, segundo a qual a seleção dos elementos da população para compor a amostra depende ao menos em parte do julgamento do pesquisador (MATTAR, 2014). Fink (2003) informa que as amostras não probabilísticas são escolhidas com base no julgamento do pesquisador, tendo em vista as características da população alvo e as 48 necessidades da pesquisa. Prossegue o autor, ressaltando que nessa técnica de amostragem alguns membros da população alvo elegíveis tem a chance de serem escolhidos e outros não. De toda forma, nenhuma amostra é perfeita, havendo sempre algum grau de viés ou erro. Para assegurar que uma amostra tenha as características e o grau de representatividade descrito, deve-se (a) estabelecer objetivos de pesquisa específicos e precisos, (b) ter critérios de elegibilidade claros e definidos, (c) aplicar rigorosamente os métodos de amostragem, (d) justificar o tamanho da amostra e, por fim, (e) ter um índice de resposta adequada. (FINK, 2003) A amostragem não probabilística pode dar origem a amostras por conveniência ou acidentais, amostras intencionais ou por julgamento e amostras por quotas ou proporcionais (OLIVEIRA, 2001). Amostras por conveniência se justificam em um estágio exploratório da pesquisa, como uma base para geração de hipóteses e insights (CHURCHILL, 1998). A amostragem por julgamento pode ser útil quando é necessário incluir um pequeno número de unidades na amostra (OLIVEIRA, 2001), sendo sua característica essencial a seleção intencional dos elementos da população de forma que a amostra ofereça as contribuições necessárias (CHURCHILL, 1998). Na fase piloto foram consultados membros da Academia estudiosos do tema e ouvidos especialistas em serviços públicos digitais vinculados à Polícia Federal, ao SERPRO e à Secretaria de Governo Digital do Ministério da Economia (SGD/ME). Em relação aos especialistas da Polícia Federal, a seleção se deu por conveniência, em razão da acessibilidade do pesquisador a tais profissionais. No caso do SERPRO, a escolha se deu por julgamento, em virtude de ser a maior empresa pública de prestação de serviços em tecnologia da informação do Brasil e responsável pela manutenção de diversos serviços públicos estratégicos. Por fim, a seleção da Secretaria de Governo Digital também se deu por julgamento, tendo em vista que esta secretaria tem entre suas funções definir diretrizes, normatizar e coordenar projetos de simplificação de serviços e políticas públicas, de transformação digital de serviços públicos, de governança e compartilhamento de dados e de utilização de canais digitais (BRASIL, 2019c). Na fase de aplicação do roteiro de avaliação de transparência e accountability em serviços públicos digitais, foram avaliados os serviços digitais ‘Naturalizar-se’, ComprasNet e Sistema de Seleção Unificada - Sisu. A escolha do sistema ‘Naturalizar-se’ se deu por conveniência e acessibilidade, além de representar um serviço digitalizado, em 2019, pela estratégia adotada recentemente pelo Ministério da Economia5. Já os serviços ComprasNet e 5 https://www.infomoney.com.br/mercados/em-busca-de-economia-governo-federal-digitaliza-quase-500servicos/ 49 Sisu foram selecionados de forma intencional, em razão da relevância do primeiro para as compras públicas de diversos entes federativos e da dimensão e importância do segundo no acesso ao ensino superior brasileiro. Nesse particular, Eisenhardt (1989) aponta que os estudos de casos múltiplos são considerados mais convincentes e robustos porque permitem, além da análise individual, a análise entre os casos. Eisenhardt (1989) destaca, ainda, que as análises entre os casos identificam padrões, fornecendo elementos para a construção de hipóteses e o desenvolvimento de teorias. A seleção dos casos deve ter em mente os objetivos da pesquisa e o número suficiente para permitir a devida análise. Os casos são considerados adequados se representam o fenômeno estudado, de forma a responder as questões de pesquisa. Por fim, não há um número mínimo de casos para a utilização da metodologia. (YIN, 2001) 3.3. Coleta de dados A coleta de dados da pesquisa utilizou fontes primárias e secundárias. Segundo Mattar (2014, p. 35), são “fontes primárias ou diretas de dados as que são portadoras de dados brutos, ou seja, dados que nunca foram coletados, tabulados e analisados”, enquanto que são “fontes secundárias ou indiretas de dados as que possuem dados que já foram coletados, tabulados e analisados, ou seja, foram informados – e estão à disposição para consulta”. Arruda e Filho (2013) informa que os dados primários são aqueles que tem como origem a coleta realizada diretamente pelo pesquisador, enquanto que os dados secundários já foram tratados, processados e analisados por outros. Na primeira fase, os dados secundários foram agregados com o uso de pesquisa bibliográfica e documental, investigando artigos científicos sobre o assunto, documentos de organizações públicas e privadas que começam a debater os impactos das decisões informadas por algoritmo na vida cotidiana, legislação nacional sobre proteção de dados e estratégia de governo digital, além de bancos de dados públicos dos Ministérios da Economia, Educação, Justiça e Segurança Pública. A coleta de dados do tipo documental permite obter a linguagem e as palavras dos participantes, destacando as fontes de evidência que o pesquisador precisa para responder aos questionamentos do estudo (FILHO ARRUDA; FARIAS FILHO, 2013). De acordo com Flick (2009), os documentos não são apenas uma representação simples dos fatos ou da realidade, eles são produzidos, visando a um objetivo e a algum tipo de uso e devem ser vistos como um 50 meio de comunicação. O autor sugere que o pesquisador, ao utilizar documentos, deve considerar quem os produziu e quem os utiliza em um contexto natural, devendo-se evitar que a atenção concentre-se apenas no conteúdo, mas que esteja, também, no seu contexto, na sua utilização e função (FLICK, 2009). Na fase-piloto, foram consultados acadêmicos e realizadas entrevistas com gestores de tecnologia da informação vinculados à Polícia Federal, ao SERPRO e à Secretaria de Governo Digital do Ministério da Economia (SGD/ME), com vistas a (a) compreender o tratamento que essas organizações públicas conferiam à transparência a accountability nos serviços digitais por elas oferecidos, e (b) refinar um instrumento de coleta de dados para avaliação dos serviços digitais nos referidos quesitos. As entrevistas são úteis quando os participantes não podem ser diretamente observados (CRESWELL, 2007). Ademais, justifica-se seu uso quando a pesquisa possui a necessidade de captar informações sobre opiniões, expectativa, motivação e informações passadas. A entrevista se subdivide em três tipos: estruturada, semiestruturada e livre. A estruturada é o conjunto de perguntas com linguagem direta a fim de obter a informação desejada pelo entrevistador, além de usar um roteiro previamente definido. Na semiestruturada, as questões são mais abertas e exigem respostas mais profundas. Os questionamentos possuem um formato mais flexível e o entrevistado tem uma atuação mais dinâmica e livre. A última, entrevista livre, consiste numa abordagem mais geral do assunto e o entrevistado fica menos direcionado em sua resposta (FILHO ARRUDA; FARIAS FILHO, 2013). Na terceira fase, construiu-se um roteiro de avaliação de transparência e accountability em serviços públicos digitais com base na literatura, documentos pesquisados e elementos auferidos na fase piloto. Em seguida, passou-se ao processo de validação do roteiro, por meio de questionário (Apêndice B) enviado a juízes especialistas por email. Nesse questionário, os avaliadores puderam atribuir notas, em uma escala Likert de 1 a 5, aos itens, no que se refere aos quesitos de clareza de linguagem utilizada (CL), pertinência prática (PP), relevância teórica (RT) e dimensão teórica (PASQUALI, 2010). Os dados coletados por meio desse questionário destinaram-se ao cálculo do coeficiente de validação de conteúdo - CVC (HERNÁNDEZ-NIETO, 2002) dos itens do instrumento, de maneira a se conferir validade e confiabilidade à pesquisa. Na quarta fase, foram realizados estudos de múltiplos casos, com a aplicação do roteiro elaborado e validado na fase precedente, por meio de entrevistas semi-estruturadas. Segundo Flick (2009), a entrevista semi-estruturada coloca para o entrevistado questões mais 51 ou menos abertas, na esperança que elas sejam livremente respondidas. Conforme explica Flick (2009), o entrevistado possui um extenso conhecimento sobre o tema da entrevista, incluindo suposições explícitas (expressas pelo entrevistado de forma espontânea) e implícitas, que para explicitá-las, são necessários apoios metodológicos. As entrevistas devem conter tópicos introduzidos por questões abertas, perguntas de acordo com a teoria e concluídas com uma questão confrontativa (FLICK, 2009). As entrevistas foram gravadas pelo pesquisador, com autorização dos entrevistados, sob a garantia do anonimato, e posteriormente degravadas para realização da análise de conteúdo. Foram realizadas 11 entrevistas, entre maio e novembro de 2019, com duração total de 4 horas e 30 minutos. Na fase piloto, as entrevistas duraram em média 12 minutos. As entrevistas da fase de casos múltiplos levaram em média 30 minutos. 3.4. Validação de roteiro de avaliação de transparência e accountability de serviços publicos digitais – Validade e confiabilidade da pesquisa O roteiro preliminar de avaliação (Apêndice B) foi criado a partir de informações coletadas nas entrevistas da fase piloto, além de pesquisa documental e bibliográfica (ACM, 2017; CAPPELLI, 2009; DIAKOPOULOS et al., 2016; FAGAN, 2017; SPAGNUELO; BARTOLINI; LENZINI, 2016; STATS NZ, 2018)(ACM, 2017; CAPPELLI, 2009; DIAKOPOULOS et al., 2016; STATS NZ, 2018; WORLD WIDE WEB FOUNDATION, 2017). Consolidada a versão preliminar, o roteiro foi submetido a juízes especialistas, por correio eletrônico (Apêndice G), utilizando o questionário do Apêndice B, para validação de conteúdo, seguindo as orientações de Pasquali (2010). A validade de conteúdo do instrumento “avalia subjetivamente a correspondência entre os itens individuais e o conceito por meio de julgamento de especialistas, pré-teste com múltiplas subpopulações ou outros meios” (HAIR et al., 2005, p. 111), a fim de garantir que sejam consideradas, além de questões empíricas, questões práticas e teóricas. Pasquali (2010) recomenda o mínimo de três e o máximo de cinco juízes, de reconhecido saber (teórico e prático) na área específica (HERNÁNDEZ-NIETO, 2002). Entre os critérios relevantes para a seleção de juízes, a literatura destaca: ter experiência na matéria, publicar e pesquisar sobre o tema, ser perito na estrutura conceitual envolvida, ter conhecimento metodológico sobre a construção de questionários e escalas, disponibilidade dos profissionais e até mesmo pessoas leigas para validação de termos e frases (ALEXANDRE; COLUCI, 2011). 52 Nesse sentido, foram selecionados, conforme Tabela 9, pesquisadores na área de tecnologia da informação e administração, com o grau de doutorado, para avaliar os itens do roteiro preliminar (Apêndice B). Tabela 9 – Perfil resumido dos Juízes Perfil dos Juízes Paulo Henrique de Souza Bermejo Luiz Ojima Sakuda Luciano Cunha de Sousa Carlos Denner dos Santos Júnior Hércules Antônio do Prado Doutor em Engenharia e Gestão do Conhecimento e Mestre em Engenharia de Produção (área de concentração em Inteligência Aplicada) ambos pela Universidade Federal de Santa Catarina (UFSC) e, pós-doutorado em Inovação pela Bentley University em Massachusetts/EUA e Certificação Executiva em Tecnologia e Inovação pelo Massachusetts Institute of Technology (MiT). É professor associado da Universidade de Brasília e coordenador do Núcleo de P&D para Excelência e Transformação do Setor Público - NEXT/UnB. Atua como docente permanente e orientador no Programa de Pós-Graduação em Administração (Mestrado e Doutorado) da Universidade Federal de Brasília (UnB). Possui mais de 25 anos de experiência profissional exercendo funções nas áreas de gestão, engenharia, tecnologia e de inovação em empresas públicas e privadas. Seus principais interesses de pesquisa são Eficiência, Tecnologia e Inovação. É autor de 6 livros e 117 trabalhos publicados em revistas científicas e eventos especializados. Antes de iniciar como docente da UnB, Paulo Bermejo atuou como Assessor de Estratégia e Inovação na Secretaria Executiva do Ministério da Educação entre junho de 2015 a maio de 2016 e como docente da Universidade Federal de Lavras (2006-2016), onde acumulou a função de Pró-Reitor Adjunto de Pós-Graduação (2009 a 2011). Foi bolsista de produtividade / Pesquisador mineiro FAPEMIG 2013-2015 e de Desenvolvimento Tecnológico e Científico do CNPq, categoria DTC-A 2016-2017. Doutor em Engenharia de Produção pela POLI-USP. Professor do Centro Universitário FEI, da FIA Business School e da Fundação Vanzolini. Bacharel em administração pública e mestrado em administração de empresas na FGV-EAESP, o último com intercâmbio na ESSEC. Foi professor nos programas de MBA da FGV e da BSP, e da pós-graduação do ITA. Seus interesses de pesquisa incluem empreendedorismo, inovação, indústrias criativas e digitais (especialmente jogos digitais), e-sports, modelos de negócios, ecossistemas de negócios, estratégia corporativa, políticas públicas, plataformas industriais, plataformas multilaterais e ensino de administração. Doutor em Administração, com pesquisa na área de Políticas Públicas de Inovação para o Setor de Energia. Mestrado em Economia, com pesquisa na área de Políticas Públicas de Inovação para o Setor de Software. Especialização em Engenharia Elétrica - Mecatrônica pela Universidade de Brasília. Extensão em Criptografia e Segurança na Informática pela Universidade de Brasília e graduação em Engenharia Elétrica - ênfase em Eletrônica, pela Universidade Federal de Uberlândia. Integra a carreira de estado de Analista de Comércio Exterior do Ministério da indústria, Comércio Exterior e Serviços, Brasil. No MDIC atuou como Coordenador de Informática e, atualmente, é Diretor do Departamento de Tecnologias Inovadoras. Na Faculdade Processus é Coordenador de Iniciação Científica. Doutor em Management Information Systems (Southern Illinois University Carbondale, SIU, Estados Unidos). Mestre em Administração (UFMG). Pós-Doutorado (Université du Quebec à Montréal/2019; UFPE/2019; University of Nottingham/2011; USP/2009-2011). Trabalha na interseção entre administração e computação, desenvolvendo conhecimento científico de ponta sobre a criação e a gestão de novos negócios e tecnologias da informação com aplicações na administração pública e seus impactos no mercado em geral. Professor adjunto do Departamento de Administração e do PPGA da Universidade de Brasília, coordenador do Grupo de Pesquisa no CNPq Sociedados - sobre o Uso Estratégico e Competitivo de Dados (Abertos) e Software (Livre), coordenador adjunto do PPGA/UnB (mestrado e doutorado), e o coordenador do DINTER entre UnB-UNIMONTES. Pesquisas desenvolvidas com o patrocínio do CNPq, CAPES, University of Nottingham, Fulbright, FAPESP e USP. Doutor em Ciência da Computação em 2001, pela UFRGS, com estágio doutoral na University of Pittsburgh, EUA, mestrado em Engenharia de Sistemas e Computação pela COPPE/UFRJ (Instituto Alberto Luiz Coimbra de Pós-graduação e Pesquisa de Engenharia) em 1989 e graduação em Processamento de Dados em 1976 pela Universidade Federal de São Carlos. Atua principalmente em Inteligência Artificial aplicada às organizações e desenvolve pesquisas nas áreas de sistemas baseados em conhecimento, gestão do conhecimento, aprendizagem organizacional, informática na educação e inteligência competitiva. Foi analista da Empresa Brasileira de Pesquisa Agropecuária. É docente do Mestrado em Governança, Tecnologia e Inovação da Universidade Católica de Brasília e Editor-assistente da Revista Gestão do Conhecimento e Tecnologia da Informação. Foi Diretor Técnico e Administrativo-Financeiro da Fundação de Apoio à Pesquisa Científica e Tecnológica (Fundação Eliseu Alves), membro do Conselho Curador da mesma fundação, membro do corpo de avaliadores de cursos de graduação do Instituto Nacional de Estudos e Pesquisas (INEP). Fonte: elaborado pelo autor 53 O roteiro preliminar foi estruturado em 38 itens, distribuídos em 8 dimensões teóricas. Os juízes avaliaram os itens do roteiro, por meio do questionário constante do Apêndice B, quanto aos critérios da clareza de linguagem utilizada (CL), pertinência prática (PP), relevância teórica (RT) e dimensão teórica, mediante uma escala do tipo Likert (1 a 5), em que 1 representa “pouquíssima”, 2 representa “pouca”, 3 representa “média”, 4 representa “muita” e 5 representa “muitíssima”. Aprofundando na análise dos referidos critérios, Pasquali (2010) observa que a clareza de linguagem utilizada deve observar as características da população respondente, visando aferir se a linguagem do item é suficientemente clara, compreensível e adequada. A pertinência prática considera a importância do item para o instrumento, a fim de constatar se o item avalia o conceito de interesse. A relevância teórica considera o grau de associação entre o item e a teoria, visando analisar se o item é representativo do comportamento que se quer medir ou de uma das dimensões dele. A dimensão teórica avalia a adequação do item à teoria estudada. Após a análise do roteiro preliminar pelos juízes, os dados coletados por meio do questionário do Apêndice B foram consolidados em planilha eletrônica (Tabela 10), utilizandose o Microsoft Excel, para o cálculo do coeficiente de validação de conteúdo dos itens, assim como para consolidar a quantidade de observações e sugestões realizadas em relação aos itens do instrumento. O cálculo do teste de coeficiente de validação de conteúdo - CVC (HERNÁNDEZNIETO, 2002), consiste na relação entre a média de pontos obtida para cada item e o valor máximo do item, descontado o cálculo de erro para evitar possíveis vieses (Equação 1). Equação 1 – Fórmula para o cálculo do CVC 𝛴𝑁𝑜𝑡𝑎𝑠 𝐶𝑉𝐶 𝐽 𝑉𝑚á𝑥 1 𝐽 Fonte: Pasquali (2010) Onde 𝞢Notas representa o somatório das notas atribuídas aos itens, J representa o número de juízes que avaliaram o item e Vmáx representa o valor máximo que o item poderia receber. Segundo Hernández-Nieto (2002) são considerados adequados os itens que alcançam coeficiente de validação de conteúdo igual ou superior a 0,8. A vantagem de uso desta técnica corresponde à de avaliação por pares, ou seja, uma avaliação independente, feita por especialistas na matéria que emitem um juízo de valor quanto aos aspectos: clareza de linguagem, pertinência prática e dimensão teórica. Eles atribuem 54 pontos para os dois primeiros numa escala e identificam o terceiro entre os grupos de variáveis propostos. (FENKER; DIEHL; ALVES, 2011) O roteiro preliminar contém 38 itens, dividido em 8 dimensões. Na avaliação dos juízes, os itens 1.1, 3.4, 4.6, 6.2 e 7.5 não alcançaram pontuação suficiente no critério clareza de linguagem. Os itens 1.1, 4.6, 6.2 e 7.5 tiveram sua redação alterada, conforme comentários detalhados no Apêndice C. O item 3.4 foi mantido inalterado por se tratar de questão prevista em legislação. O item 1.3 do roteiro preliminar foi excluído em virtude de não ter alcançado o coeficiente mínimo de 0,8 no critério relevância teórica. O item 2.2 não obteve avaliação de, no mínimo 3 juízes, em todos os três critérios, motivo pelo qual optou-se por excluí-lo do roteiro final. Já o item 2.3 não alcançou o mínimo de 3 avaliações para o cálculo do CVC, mas optouse por mantê-lo no instrumento final em razão do reconhecimento da pertinência prática por 2 juízes. Por fim, foram analisadas as sugestões dos juízes avaliadores, conforme apontado nas colunas intituladas “OBS” da Tabela 10 e detalhadas no Apêndice C. Assim, após os ajustes sugeridos pelos juízes, o roteiro final foi consolidado em 35 itens, divididos em 8 dimensões (Apêndice D). 55 Tabela 10 - Roteiro de avaliação de transparência e accountability de serviços públicos digitais – Coeficiente de validação de conteúdo Roteiro de avaliação de transparência e accountability de serviços públicos digitais – Coeficiente de validação de conteúdo Dimensão Itens 1.Acessibilidade 2.Consciência 3. Acesso reparação e 4.Accountability 5. Explicação 6.Origem dados, privacidade Justiça dos 7.Auditoria 8.Validação, precisão e teste e 1.1 1.2 1.3 1.4 1.5 1.6 2.1 2.2 2.3 2.4 3.1 3.2 3.3 3.4 4.1 4.2 4.3 4.4 4.5 4.6 5.1 5.2 5.3 5.4 6.1 6.2 6.3 6.4 6.5 7.1 7.2 7.3 7.4 7.5 8.1 8.2 8.3 8.4 CL 1 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 Juiz 1 PP RT 1 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 OBS Sim Sim Sim Sim Sim Sim CL 4 5 4 4 4 5 5 4 4 5 5 5 5 5 5 5 4 5 4 4 5 4 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 Juiz 2 PP RT 5 4 5 4 4 4 4 4 4 4 5 5 5 5 5 5 4 4 4 4 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 4 5 5 5 5 5 5 5 4 4 5 5 5 5 5 5 5 5 5 4 OBS Sim CL 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 3 5 5 5 5 5 5 5 3 2 5 5 5 Juiz 3 PP RT 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 OBS Sim Sim Sim Sim Sim Sim Sim CL - Juiz 4 PP RT - OBS Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim Sim CL 5 5 3 4 2 5 3 4 5 5 3 5 4 2 4 5 5 4 3 3 5 4 5 4 5 2 4 2 5 5 5 5 5 2 5 5 2 5 Juiz 5 PP RT 5 5 5 5 3 2 4 5 5 4 3 5 4 5 4 4 5 4 5 5 3 5 5 5 5 4 4 5 4 4 4 5 5 5 3 5 4 5 5 5 5 5 4 4 4 4 3 3 5 5 5 3 5 3 5 5 5 5 4 5 4 5 4 5 4 4 4 3 4 4 4 3 OBS Sim CL CVC PP RT 0,75 0,96 0,85 0,83 0,80 1,00 0,80 0,96 0,85 0,83 0,95 0,90 0,90 0,90 0,70 0,90 0,83 0,96 3 3 2 2 1 1 0,83 0,95 1,00 0,90 0,90 0,95 0,96 0,90 2 3 2 1 0,90 0,90 0,96 1 1,00 1,00 1,00 0 0,95 1,00 0,95 0 0,76 0,90 0,96 0 0,90 0,96 0,90 0,90 0,76 0,90 0,90 0,96 0,83 0,96 0,90 0,96 0,96 0,96 0,96 1 1 0 1 1 0 0,96 0,96 0,96 1 0,83 0,96 0,90 0,90 0,90 0,83 0,90 0,90 0,83 0 0 0 1,00 0,75 0,95 0,85 1,00 1,00 1,00 1,00 1,00 0,95 1,00 0,90 0,90 1,00 1,00 0 0 0 0 1 1,00 1,00 1,00 1,00 0,75 0,95 0,90 0,90 0,83 0,95 1,00 0,96 0,96 0,83 0,90 0 0 0 0 0 0,85 1,00 0,85 1,00 0,96 0,96 0,95 0,95 0,96 0,96 0,95 0,85 0 0 1 0 OBS Fonte: elaborado pelo autor 56 3.5. Análise e tratamento dos dados Segundo Creswell (2007), o processo de análise de dados se baseia na extração de sentidos de textos e imagens, envolvendo a preparação dos dados, a condução de diversas análises, aprofundamento no entendimento, representação de tais dados e uma interpretação mais ampla dos significados. A análise e tratamento dos dados começa com o retorno dos primeiros dados, com vistas a verificar se todas as questões foram respondidas, se há dados faltantes e se os questionamentos estão mal redigidos ou difíceis de compreender (FINK, 2003). A fase de campo se iniciou com o piloto que redundou na consulta de 2 acadêmicos e na entrevista de 6 profissionais envolvidos com a implantação de serviços públicos digitais da Polícia Federal, SERPRO e Secretaria de Governo Digital do Ministério da Economia, com o objetivo de melhor compreender o campo de pesquisa. As entrevistas foram gravadas e transcritas com o serviço em nuvem disponibilizado pela startup Amberscript (www.amberscript.com/pt/). Esse serviço permite ao usuário transcrever, de forma automática, áudio em texto, utilizando técnicas de inteligência artificial e reconhecimento de voz. Após essa primeira fase de transcrição, os textos e áudios foram repassados a um profissional contratado para ajustar eventuais erros de grafia da transcrição automatizada. Cada entrevista foi registrada em arquivo de texto individual, de forma a possibilitar a análise de conteúdo e servir, posteriormente, de dados de entrada para a análise estatística realizada pelo software Iramuteq. Creswell (2007) especifica a análise de dados nos seguintes passos: (1) organizar e preparar os dados para análise (Ex: transcrição de entrevistas); (2) ler todo o material para extrair o sentido geral das informações; (3) iniciar a análise com um processo de codificação (organizar os dados em grupos); (4) usar o processo de codificação para gerar uma descrição do cenário ou das pessoas além das categorias ou dos temas para análise; (5) prever como a descrição e os temas serão representados na narrativa qualitativa; (6) o passo final envolve fazer uma interpretação ou extrair significado dos dados. Na fase de elaboração e validação de roteiro de avaliação de transparência e accountability em serviços públicos digitais, os dados coletados por meio de questionários (Apêndice B) foram tabulados (Tabela 10), utilizando-se o Microsoft Excel. As notas dos cinco juízes foram registradas em colunas independentes, sendo que para cada item as notas foram armazenadas separadamente em relação aos critérios clareza de linguagem utilizada (CL), pertinência prática (PP), relevância teórica (RT). Os itens estavam previamente divididos por dimensão teórica, tendo sido os juízes orientados a realizar comentários, caso não concordassem com a divisão proposta (Apêndice B). Além disso, foram registrados os itens que receberam 57 comentários, na coluna “OBS”, de modo a orientar a adequação do roteiro em relação aos itens criticados. Uma vez tabulados os referidos dados, passou-se ao cálculo do coeficiente de validação de conteúdo, aplicando-se a Equação 1 (PASQUALI, 2010), com auxílio do Microsoft Excel, segundo os procedimentos descritos na Tabela 11. Tabela 11 - Cálculo do Coeficiente de Validação de Conteúdo utilizando o Microsoft Excel Cálculo do Coeficiente de Validação de Conteúdo utilizando o Microsoft Excel 1. Verifica se o quesito foi avaliado por, no mínimo, 3 juízes: =SE(CONT.VALORES(D7;H7;L7;P7;T7)>=3; 2. Caso a condição apontada no item 1 seja verdadeira: 2.1. calcula a média das notas atribuídas pelos juízes (soma das notas/n° de juízes que avaliou o item), dividindo em seguida por 5 (pontuação máxima permitida por quesito): ((SOMA(D7;H7;L7;P7;T7)/CONT.VALORES(D7;H7;L7;P7;T7))/5) 2.2. do valor obtido em 2.1 subtraia o seguinte: 1 dividido pelo número de juízes que avaliou o item, elevado ao n° de juízes que avaliou o item, conforme demonstrado em Equação 1: -((1/CONT.VALORES(D7;H7;L7;P7;T7))^CONT.VALORES(D7;H7;L7;P7;T7)) 3. Caso a condição apontada no item 1 seja falsa, ou seja, o item não foi avaliado por, no mínimo, 3 juízes, a célula é preenchida com um traço: ;"-") 4. Fórmula completa: =SE(CONT.VALORES(D7;H7;L7;P7;T7)>=3;((SOMA(D7;H7;L7;P7;T7)/CONT.VALORES(D7;H7 ;L7;P7;T7))/5)-((1/CONT.VALORES(D7;H7;L7;P7;T7))^CONT.VALORES(D7;H7;L7;P7;T7));"-") Observação: As células D7;H7;L7;P7;T7 representam as notas atribuídas pelos juízes em um dado quesito da avaliação do CVC, a exemplo da clareza de linguagem utilizada (CL), pertinência prática (PP), relevância teórica (RT). (PASQUALI, 2010) Fonte: elaborado pelo autor Na fase de estudos de casos múltiplos, destinada à aplicação do roteiro de avaliação de transparência e accountability em serviços públicos digitais, foram realizadas entrevistas com 6 profissionais envolvidos na gestão dos sistemas “Naturalizar-se”, ComprasNet e Sisu. De forma análoga ao realizado na fase piloto, as entrevistas foram gravadas e transcritas com o serviço em nuvem disponibilizado pela startup Amberscript (www.amberscript.com/pt/), além de repassadas a um profissional contratado para ajustar eventuais erros e grafias da transcrição automatizada. As entrevistas foram registradas em arquivos individuais, de forma a possibilitar 58 a análise de conteúdo e servir, posteriormente, de dados de entrada para a análise estatística realizada pelo software Iramuteq. A fim de complementar a análise de dados, utilizou-se o software gratuito Iramuteq, acrônimo derivado de Interface de R pour les Analyses Multidimensionnalles de Textes et de Questionnaires. Este software disponibiliza cinco formas de análise de dados textuais, a saber: i) estatísticas textuais clássicas (identifica quantidade e frequência de palavras, palavras únicas (coeficiente de Hapax), identifica e busca palavras de acordo com as classes gramaticais e busca palavras com base na raiz (lematização); ii) pesquisa de especificidades de grupos; iii) classificação hierárquica descendente (por consequência Análise Fatorial de Correspondência); iv) análises de similitude; e v) nuvem de palavras (RAMOS; DO ROSÁRIO LIMA; AMARALROSA, 2019). A análise textual consiste no tratamento de material verbal transcrito, podendo-se analisar textos, entrevistas, documentos e redações, com o fim de descrever um material produzido por um produtor, seja individual ou coletivamente, assim como realizar análise textual com a finalidade relacional, comparando produções diferentes em função de variáveis específicas que descrevem quem produziu o texto (CAMARGO; JUSTO, 2013). As análises estatísticas textuais realizadas com o Iramuteq foram utilizadas de forma complementar, tendo em vista que quando se detém nas freqüências, corre-se o risco de se perder o que está ausente ou é raro, porém relevante para a análise do objeto em estudo (VERGARA, 2005). Para edição do corpus de texto das entrevistas transcritas pelo Iramuteq utilizou-se o software bloco de notas do Windows 10, utilizando o padrão de codificação UTF-8, além das recomendações contidas em Salviati (2017). Nesse particular, a edição do corpus textual passou pela eliminação de sinais proibidos (aspas, apóstrofo, cifrão, porcentagem, asterisco, etc), revisão gramatical, padronização de grafias, eliminação de expressões desnecessárias (né, tá, etc) e frases não condizentes com o assunto, e especialmente “complementação de todas as frases incompletas: cada frase deve encerrar um sentido completo e não deve possuir palavras subtendidas. Complementar com as palavras necessárias, sem modificar o sentido” (SALVIATI, 2017, p. 17). Com o auxílio do Iramuteq foram realizadas as análises de estatísticas textuais, nuvem de palavras e análise de similitude. 59 4. ANÁLISE E DISCUSSÃO DE RESULTADOS Nesta seção serão descritos e discutidos os principais resultados encontrados na fase piloto, nos múltiplos casos avaliados e na comparação realizada entre eles. Para tanto, esta seção foi dividida em 5 subseções, sendo as 4 primeiras dedicadas à exposição pormenorizada dos resultados e a última destinada a analisar comparativamente os casos avaliados, assim como discutí-los à luz do referencial teórico. 4.1. Principais resultados da fase-piloto O contato inicial com o tema da pesquisa se deu com o levantamento bibliográfico de pesquisas sobre a avaliação e medição de transparência e accountability em serviços públicos digitais. Não se logrou encontrar trabalho acadêmico específico que abordasse essa temática, a fim de aplicar eventual instrumento já validado à realidade brasileira. A fim de compreender melhor o campo de pesquisa e aprimorar os aspectos teóricos e metodológicos das proposições de pesquisa, realizou-se fase-piloto que transcorreu por meio de entrevistas semi-estruturadas com especialistas na área de governo eletrônico e desenvolvimento de sistemas no contexto da administração pública, sendo três peritos criminais federais gestores de tecnologia da informação na Polícia Federal, dois gerentes de departamento do SERPRO e o Coordenador Geral de relacionamento e portfólio da Secretaria de Governo Digital do Ministério da Economia. Nessa etapa, as entrevistas semi-estruturadas foram guiadas pelo roteiro constante no Apêndice A. Além disso, foram consultados os professores Nicholas Diakopoulos (E7 – Tabela 12; Apêndice E) e Richard Heeks (E8 – Tabela 12; Apêndice F) sobre a existência de instrumento específico de medida de transparência e accountability em serviços digitais e dimensões a serem analisadas nessa área. Ambos professores afirmaram não conhecer instrumento específico, indicando literatura que pudesse auxiliar no trabalho. Tabela 12 – Casos-piloto – Perfil dos entrevistados Entrevistado Órgão E1 PF E2 PF Fase piloto – Perfil dos entrevistados Qualificação Engenheiro de computação, mestre em Ciências da computação e Perito Criminal Federal. Ex-chefe do Serviço de Desenvolvimento de Sistemas da Diretoria de Tecnologia da Informação da Polícia Federal. Experiência no desenvolvimento, implantação, sustentação, e manutenção de sistemas de informação. Graduado em Engenharia Eletrônica e Processamento de Dados, Mestre em Banco de dados e Perito Criminal Federal. Coordenador de Informática da Diretoria de Tecnologia da Informação da Polícia Federal. Tem experiência em gestão de projetos na Polícia Federal, TJRJ e Secretaria de Grandes Eventos do Ministério da Justiça. 60 E3 PF E4 SERPRO E5 SERPRO E6 SGD/ME E7 Northwestern University E8 Manchester University Graduada em Engenharia Elétrica, Mestre em Administração, MBA em Gestão Executiva e Perito Criminal Federal. Chefe do Serviço de Desenvolvimento de Sistemas da Diretoria de Tecnologia da Informação da Polícia Federal. Graduado em Processamento de Dados. Especialização em Governança. Gerente de departamento no SERPRO. Atua em Superintendência que tem uma forte ligação com a Secretaria de Governo Digital do Ministério da Economia. Graduado em Processamento de Dados. Certificação em gerenciamento de projetos. Gerente de departamento no SERPRO. Atua na gerência de projetos de tecnologia da informação junto a diversos Ministérios. Graduado em Comunicação Social e Jornalismo, especializado em gestão de assuntos públicos. Mestre em Economia. Ocupa o cargo de Especialista em Políticas Públicas e Gestão Governamental. Coordenador Geral de Relacionamento e Portfólio da Secretaria de Governo Digital do Ministério da Economia. O referido setor é responsável por apoiar os órgãos do governo federal em seus planos de transformação digital. Nicholas Diakopoulos é professor assistente de Comunicação na Northwestern University, Tow Fellow na Columbia University School of Journalism e Professor Associado II na University of Bergen Department of Information Science and Media Studies. Ele possui Ph.D. em Ciências da Computação pela “School of Interactive Computing at Georgia Tech”. Ele desenvolve pesquisas na área computacional e dados jornalísticos com ênfase em “algorithmic accountability and transparency”. O professor Diakopoulos escreveu diversos artigos sobre transparência e accountability de algoritmos no setor público. (DIAKOPOULOS, 2019) Richard Heeks é professor de Informática do Desenvolvimento no Instituto de Política e Gerenciamento de Desenvolvimento da Universidade de Manchester, Reino Unido. Ele é diretor do Centro de Informática para Desenvolvimento da Universidade. Heeks é especialista em projetos de governo eletrônico, sendo convidado regularmente pela ONU e Banco Mundial para palestras sobre o tema. (MANCHESTER, 2019) Autor do Artigo: “Information Systems and Public Sector Accountability” (HEEKS, 1998) Fonte: elaborado pelo autor Esses contatos iniciais tiveram como finalidade (a) compreender melhor o campo de pesquisa (b) identificar os principais aspectos e dimensões a serem abordados pelos serviços públicos digitais para assegurar transparência e accountability ao cidadão usuário, (c) coletar informações que pudessem subsidiar a criação de roteiro de avaliação de transparência e accountability em serviços públicos digitais. Figura 4 – Operacionalização da fase-piloto Fase Piloto 1: PF Fase Piloto 2: SERPRO Fase Piloto 3: SGD/ME Fase Piloto 4: Realização de Entrevista Realização de Entrevista Realização de Entrevista Acadêmicos Transcrição da Entrevista Transcrição da Entrevista Transcrição da Entrevista consultados Análise dos resultados Análise dos resultados Análise dos resultados Evidências empíricas Evidências empíricas Evidências empíricas Apêndices E e F Refinamento dos aspectos teóricos e metodológicos da pesquisa Fonte: adaptado a partir de Balestrin (2005) 61 Na fase piloto, os especialistas consultados foram unânimes quanto à necessidade e importância dos serviços públicos digitais serem transparentes. No entanto, 3 especialistas apontaram que a transparência não é uma preocupação que se encontra em primeiro plano na concepção e gestão de um serviço público digital, sendo relevante destacar a visão de um dos entrevistados: A promoção da transparência na implantação desses serviços públicos digitais não tem sido uma preocupação, pelo menos o que eu tenho vivenciado isso hoje. (...) Existem preocupações mais básicas, entendeu? Do ponto de vista técnico, digamos assim, eu estou mais preocupado em saber como integrar [bases de dados] do que em promover essa transparência. Na minha visão isso não tem sido um foco. (...) o foco por enquanto é simplificação do serviço. Diminuição do tempo do atendimento, porque essa demanda pelo serviço cresceu, aí eu sou forçada a tentar diminuir o tempo, diminuir o custo no atendimento, então algumas coisas tem aplicado isso. O foco pelo menos nosso, no meu entendimento não tem sido transparência. (E2) A transparência em um sistema ou serviço digital pode ser tratada sob a perspectiva das informações que ele trata e armazena (transparência de informação) e do seu funcionamento, o que faz e por quê (transparência do processo) (LEITE; CAPPELLI, 2010). Todos os especialistas consultados expressaram entendimento quanto à transparência de informação, segundo os preceitos da Lei de Acesso à Informação, mas desconheciam a abordagem relativa à transparência do processo. Os especialistas consultados concordaram, ainda, quanto à possibilidade de a transparência sofrer restrição em determinadas hipóteses, sendo a privacidade a mais citada, além de proteção a informações classificadas. Durante as entrevistas, também se ponderou que a promoção da transparência e accountability em serviços digitais possui alto custo e complexidade, sendo conveniente analisar cada caso específico. No mesmo sentido, o relatório do ‘European Consumer Consultative Group’ afirma que, considerando a existência de inúmeros sistemas de tomada de decisão automatizados, as instituições que controlam ou auditam esses processos devem se concentrar naqueles socialmente mais relevantes (EUROPEAN CONSUMER CONSULTATIVE GROUP, 2018). Indagados quanto aos obstáculos para implementação de transparência em serviços públicos digitais, os especialistas citaram: o “apego” dos órgãos aos dados, informações fragmentadas em vários bancos de dados, complexidade e alto custo de se proporcionar a transparência do processo, carência de recursos humanos nos setores de tecnologia da informação dos órgãos públicos federais e dificuldades tecnológicas em relação a sistemas mais antigos. Uma vez informados sobre o debate acerca da transparência do processo em serviços 62 digitais, de modo a possibilitar o accountability por parte do usuário, os especialistas destacaram: “Nem sempre é fácil dar transparência dessas regras [processo adotado pelo algoritmo do serviço digital] ao consumidor do dado, isso pode ser muito custoso, resumir como você chegou a determinado resultado para fins de auditoria. (...) explicar essa regra pode ser extremamente complexo e eventualmente até confundir quem está consumindo essa informação”. (E1) “Não vejo uma preocupação na transparência em relação ao processo, ao que está implementado no sistema não (...) o usuário tem que confiar que o sistema está observando as regras (...) A preocupação sobre a transparência no processo não existe (...) Eu vou ter que acreditar de qualquer jeito em algo que o órgão está me informando, então eu não vi, eu não sei qual seria a abordagem disso, como isso seria feito. Transparência no processo é muito custoso, muito trabalhoso. Não é factível dar transparência no processo para todos os sistemas”. (E2) “Eu acho que, assim, até existe essa preocupação da transparência como um processo, mas eu não vejo ela sendo colocada em primeiro plano, em prática. Em alguns momentos se preocupa mais com o resultado final do que com essa jornada. Do dado em si. Isso, mas acredito que isso deva mudar nos próximos anos, a fim de se conferir transparência no passo a passo do sistema”.(E4) “A transparência como um processo é um ponto que eu como prestadora de serviço tenho muito receio, fico muito em dúvida, sabe? Eu não sei até que ponto realmente seria necessário ter essa transparência completa para o usuário. É, gera custos(...) Eu acho que a gente tem que pesar o custo benefício. Justamente porque quanto maior a transparência, maior exige em termos de controle, de administração e se o ônus da gestão for mais do que a benéfica daqueles resultados, eu acho que ele é questionável. Trazer uma certa transparência para a sociedade vai depender do nível, vai causar um custo maior de gestão. Aumenta a complexidade do sistema também e aí eu acho que já pesa bastante, para saber do serviço eu sei o tanto que às vezes é difícil para a gente conseguir dar essa transparência e ao mesmo tempo que a gente dá transparência, o fim dela, o resultado dela nem sempre resolve, sabe? Às vezes abre uma série de outros questionamentos e aí você acaba gerando outros custos de gestão que não estavam previstos ou que não seriam necessários se você não tivesse dando tanta transparência. A gente vive uma dicotomia aqui em alguns serviços”. (E5) Dentre as legislações, manuais, padrões e boas práticas sobre transparência em serviços digitais, citadas pelos especialistas, podemos destacar: e-Ping (Padrões de Interoperabilidade de Governo Eletrônico), e-Mag (Modelo de Acessibilidade em Governo Eletrônico), Decreto nº 8.638/2016 (Política de Governança Digital), Decreto nº 10.046/2019 (Governança no compartilhamento de dados), Lei nº 13.709/2018 (Lei Geral de Proteção de Dados Pessoais), Decreto n° 8.936/2016 (Plataforma de cidadania digital e serviços públicos digitais), o Decreto n° 9.094/2017 (Simplificação do atendimento prestado aos usuários dos serviços públicos) e o Decreto n° 9.756/2019 (Institui o portal Gov.br e unifica os canais digitais do Governo Federal), kit de transformação de serviços (ECONOMIA, 2019). Os principais elementos levantados junto aos especialistas na fase piloto subsidiaram, em complemento ao indicado pela literatura, a elaboração do roteiro preliminar de 63 avaliação de transparência e accountability em serviços públicos digitais (Apêndice B). Na tabela 14, elencamos os principais elementos auferidos nas entrevistas e os relacionamos aos itens constantes do roteiro preliminar. Tabela 13 – Casos-Piloto – Quadro resumo dos elementos coletados Casos Piloto – Quadro resumo dos elementos coletados Entrevistado E1 E2 E3 Principais elementos  Enxerga a transparência no contexto do fornecimento de dados não sigilosos, não privados, sendo um direito do cidadão.  O órgão público deve planejar o fornecimento de dados ao cidadão da forma mais direta possível seja na forma de planilha ou de painéis dinâmicos.  O cidadão deve ser capaz de usar as informações ou confrontá-las com outras fontes para utilização em estudos ou questionar o desempenho de determinado serviço público.  Somente dados classificados poderiam ter seu acesso restrito.  Aponta uma tendência de crescimento dos portais de transparência dos órgãos que fornecem informações ao cidadão.  Entende que a melhor estratégia para a promoção da transparência é a disponibilização de painés de Business Intelligence, nos quais o usuário possa aplicar os filtros que ele entender convenientes.  Indica como padronizações importantes a serem seguidas o e-Ping (padrão de interoperabilidade), e-Mag (padrão de acessibilidade) e padrões para dados abertos.  Indica como dificuldades para a promoção da transparência o “apego do órgão aos dados” e a fragmentação da informação em várias bases de dados.  Entende que a transparência do caminho percorrido pelo algoritmo é algo que tem custo elevado. Acrescenta que muitas vezes explicar a regra pode ser muito complexo e confundir o usuário, devendo ser tratado conforme o serviço.  Atualmente, a transparência tem sido entendida tão somente como a disponibilização de informações ao cidadão e não com o serviço esclarecer como ele chegou em determinado resultado.  Entende que o cidadão deve ter o direito de saber como determinado serviço digital alcançou um dado resultado.  Indica como legislação de referência a Estratégia do Governo Digital.  Acredita que informar o cidadão sobre como determinado resultado foi obtido pode ser mais difícil que a própria finalidade do sistema, decorrendo disso essa não ser uma grande preocupação dos gestores de TI.  Entende que a transparência em serviços digitais passa pela integração entre as bases de dados, de forma a se evitar fraudes e auditar os acessos realizados. A integração de bases de dados facilita a vida do usuário e reduz a burocracia.  Verifica que informações disponíveis em portais de transparência podem se prestar a fins impróprios.  Acredita que a transparência em serviços digitais não tem sido tratada como prioridade. Informa que na fase atual as preocupações são mais básicas, a exemplo de integrar bases de dados, simplificar serviços ao cidadão e diminuir tempo e custo de atendimento em vista da demanda crescente. Implicações para o Roteiro Preliminar (Apêndice B) Item criado a partir da contribuição do entrevistado: item 1.6 Contribuições do entrevistado corroboram os seguintes itens: 1.4, 1.5, 1.6, 4.5, 4.6, 6.3, 6.4, 64 E4 E5 E6  Aponta que uma estratégia relevante para a promoção da transparência é a possibilidade de o usuário consultar o andamento do processo de seu interesse.  Considera que informar o usuário sobre o procedimento adotado pelo algoritmo/serviço digital seria “muito custoso”. Aduz que que as regras de serviços públicos estão no edital, o usuário tem que confiar no sistema. O cidadão que se sentir prejudicado pode usar os meios administrativos e judiciais.  Informa que a grande característica de transparência dos serviços digitais que está surgindo é a aderência à Lei Geral de Proteção de Dados - LGPD. Durante muito tempo não houve transparência na forma como o dado do cidadão era tratado, tanto no âmbito público como privado. A partir da aderência à LGPD, o cidadão terá mais tranquilidade na forma como os dados serão usados.  Tem a percepção de que a promoção da transparência e a aderência à LGPD andam em paralelo com o desenvolvimento da solução tecnológica. Ressalta que, “no SERPRO frequentemente há eventos com especialistas na área jurídica e de tecnologia para tratar desses assuntos, além de grupos de discussão interna”.  Em sua experiência, esclarecer o usuário sobre como um serviço digital alcançou determinado resultado é uma preocupação, mas que não tem sido colocada em prática. Normalmente se preocupa mais com o resultado final do que com a jornada. Essa transparência no processo seria uma tendência ainda não colocada em prática.  O serviço deve ter um foco definido, facilidade de acesso ao usuário, usabilidade, alta disponibilidade e um fluxo facilitado da localização e mapeamento da informação, semelhante ao que o Governo Federal pretende fazer com o Gov.br (central de informações do governo).  Essa transparência pode acarretar celeridade no atendimento, possibilidade do usuário atuar quando já algum impedimento no processo. Além disso, os serviços digitais estão diminuindo o custo, recursos humanos e ampliando a possibilidade de fiscalização.  A entrevistada tem dúvidas sobre a necessidade de um algoritmo/serviço esclarecer como chegou a determinado resultado, visto que o próprio edital de eventual seleção já daria essa transparência. Há que se pensar em custo/benefício, de forma que o ônus da gestão não seja maior que a benesse do resultado. Além disso, a transparência do processo aumenta a complexidade do desenvolvimento.  Aponta que no SERPRO, atualmente, há uma atenção especial para a LGPD.  Os serviços digitais devem possibilitar ao cidadão realizar pedidos de forma rápida e barata, acompanhar os requerimentos, com tempo de atendimento transparente.  Deve-se informar ao cidadão qual é a jornada que tem que percorrer para ter acesso aos serviços (informar todas as etapas).  Disponibilizar canal para o cidadão se manifestar ao final do serviço.  As informações de cunho pessoal devem ser protegidas, em respeito à privacidade do cidadão.  Dentre as legislações mais relevantes aponta os Decretos n° 8.936/16, n° 9.094/17 e n° 9.756/19. Além disso, indicou o kit de transformação de serviços disponibilizado no site da plataforma de cidadania digital (ECONOMIA, 2019).  A promoção da transparência encontra dificuldades tecnológicas em relação a sistemas mais antigos, além da limitação de cultura organizacional. Nem todos os servidores tem imbuído o espírito de que é público por padrão e o sigilo é a exceção. Itens criados a partir das considerações do entrevistado sobre a Lei Geral de Proteção de Dados: 3.1, 3.2, 3.3, 3.4, 4.2, 4.4, 6.4, 7.5 Itens criados a partir das considerações do entrevistado sobre a Lei Geral de Proteção de Dados: 3.1,3.2, 3.3, 3.4, 4.2, 4.4, 6.4, 7.5 Itens criados a partir das considerações do entrevistado e da legislação de referência indicada: 4.5, 4.6, 6.5 Contribuições do entrevistado corroboram os seguintes itens: 1.4, 1.5, 4.4, 6.4. 65 E7 E8  Apontou a coincidência de ter sido consultado em momento que refletia sobre a mesma questão, qual seja, a criação de um instrumento para avaliar a transparência em serviços digitais (Apêndice E)  Informou desconhecer a existência de instrumento para avaliar a transparência em serviços digitais, propondo a criação de uma escala própria (Apêndice F) Fonte: dados da pesquisa 4.2. ComprasNet O ComprasNet é um portal de compras do Governo Federal, criado em 1998, pelo extinto Ministério do Planejamento, Orçamento e Gestão – MP, atual Ministério da Economia, para informar a sociedade sobre as licitações e contratações realizadas pelo governo, assim como realizar processos eletrônicos de aquisição de bens e serviços (SICAF, 2019). A transparência proporcionada pelo portal dificulta a ocorrência de expedientes ilegais de cerceamento da divulgação e de direcionamento das propostas. (ALVES; SILVA; FONSECA, 2008). O sistema ComprasNet operacionaliza a licitação por pregão eletrônico, modalidade amplamente utilizada (Figura 5), que proporciona uma sessão pública, em ambiente eletrônico, entre os licitantes (vendedores) e a Administração Pública (compradora). O sistema deve ser utilizado por órgãos e entidades do Poder Executivo Federal e por Estados e Municípios que recebem transferências voluntárias da União. Como advento do Decreto n° 10.024/2019, o pregão eletrônico passou a ser utilizado não só para contratações de bens e serviços comuns, mas também para serviços comuns de engenharia. (BRASIL, 2019d) Figura 5 – Estatísticas de utilização do pregão eletrônico em 2018 Fonte: (BRASIL, 2019d) A importância do sistema ComprasNet é sintetizada por Alves, Silva e Fonseca (2008) da seguinte maneira: O portal Comprasnet representa o início do deslocamento de uma administração pública burocrática (baseada apenas em controles legais) para uma administração pública gerencial (baseada em resultados), ao possibilitar, dentre outras coisas, o 66 controle social das transações realizadas na web e a consulta a diversos dados estatísticos. Isso não significa que os controles legais devam ser abandonados, mas sim, aperfeiçoados. A legislação do pregão é o primeiro grande exemplo, pois simplifica os processos e reduz prazos. (ALVES; SILVA; FONSECA, 2008, p. 102) As compras públicas do governo brasileiro tem observado as diretrizes da Nova Gestão Pública, na medida em que buscam maior eficiência nos processos de compras, responsabilização (accountability) dos servidores envolvidos, delegação de decisões aos pregoeiros, descentralização de compras aos órgãos e transparência por meio eletrônico (OURA et al., 2012). Segundo a OCDE, a falta de publicidade propicia a corrupção, motivo pelo qual transparência e accountability são condições essenciais na promoção da integridade e prevenção de corrupção em compras públicas (OECD, 2007). Com o objetivo de avaliar a transparência e accountability do sistema “ComprasNet”, foram entrevistados, em novembro de 2019, (a) o Coordenador-Geral dos Sistemas de Compras Governamentais e (b) o ex-Coordenador-Geral dos Sistemas de Compras Governamentais do Ministério da Economia e Diretor de Tecnologia da Informação do Ministério da Educação, seguindo o roteiro final do Apêndice D. Os resultados e respectivas discussões serão articulados seguindo a ordem das dimensões previstas no Roteiro Final (Apêndice D). Em relação à ‘acessibilidade’ verificou-se que o sistema está disponível no portal internet (https://www.comprasgovernamentais.gov.br/) e em formato (https://www.comprasgovernamentais.gov.br/index.php/comprasnet-mobile). A mobile primeira versão do aplicativo contempla funções que ampliam a competitividade e transparência nas compras públicas, mas outras funcionalidades serão disponibilizadas como informações das demais modalidades de compra feitas na forma eletrônica, radar de compras, chat e outras (BRASIL, 2019e). Ambos os entrevistados concordaram que a utilização do sistema é complexa e pouco intuitiva. Atribuíram essa complexidade às limitações das tecnologias utilizadas ao longo dos anos e a complexidade normativa da legislação de licitações. Um dos entrevistados apontou que as informações armazenadas pelo ComprasNet poderiam ser disponibilizadas de uma forma mais intuitiva ao cidadão, p. ex., “o cidadão quer saber quanto custa um quilo de café em um órgão tal, eu acho que isso falta muito”. Ele 67 prossegue dizendo que os dados deveriam ser disponibilizados em formato aberto, por meio de API6, para possibilitar a realização de estudos pelas instituições de pesquisa. Por se tratar de um sistema antigo, os primeiros módulos do ComprasNet não observaram o padrão de acessibilidade e-Mag. No entanto, nos módulos mais novos, a empresa contratada SERPRO aplica o referido protocolo que consta, inclusive, das minutas padrão de contrato dessa natureza. Na dimensão ‘consciência’, apurou-se que os interessados e os seus pontos de vistas foram identificados quando do desenvolvimento do serviço. Recentemente, verificou-se, ainda, um fortalecimento desse movimento nas melhorias que são implementadas no sistema, com a utilização de oficinas de design thinking, oficinas de inovação e mapeamento de atores. Quanto aos possíveis vieses e eventuais danos potenciais aos fornecedores dos órgãos públicos decorrentes de alguma operação automatizada desse serviço, os entrevistados apresentaram posicionamentos divergentes. Um dos entrevistados entendeu que o sistema ComprasNet esclarece o usuário de forma suficiente. O segundo entrevistado apontou que existem hipóteses em que o usuário pode ser penalizado, “mas ele não tem clareza e ciência de que a ação que ele está realizando pode gerar isso”. Os entrevistados concordaram que o serviço não esclarece aos usuários do sistema sobre os benefícios públicos oriundos da coleta e do uso de seus dados. No que se refere ao ‘acesso e reparação’ verificou-se que o serviço disponibiliza mecanismos de questionamento e de revisão de consequências negativas e decisões informadas pelo algoritmo, que permitem ao usuário realizar impugnações, como a central de mensagens (aplicativo mobile) e a central de atendimento (portal internet e telefone). O encarregado pelo tratamento de dados pessoais e contato designado em caso de ocorrência de problemas do sistema ComprasNet, segundo um dos entrevistados, é o SERPRO, que também era responsável pela central de atendimento do serviço. O segundo entrevistado acrescentou que além da central de atendimento foi criado um chatbot7 para interação com os usuários. 6 Acrônimo provém do inglês Application Programming Interface, é um conjunto de rotinas e padrões estabelecidos por um software para a utilização das suas funcionalidades por aplicativos que não pretendem envolver-se em detalhes da implementação do software, mas apenas usar seus serviços (FOLDOC, 1995) 7 Chatbot (ou chatterbot) é um programa de computador que tenta simular um ser humano na conversação com as pessoas. O objetivo é responder as perguntas de tal forma que as pessoas tenham a impressão de estar conversando com outra pessoa e não com um programa de computador. Após o envio de perguntas em linguagem natural, o programa consulta uma base de conhecimento e em seguida fornece uma resposta que tenta imitar o comportamento humano (FOLDOC, 1999) 68 O serviço ComprasNet dispõe de um plano de contingência e resposta em caso de consequências indesejadas ou ocorrências de incidentes de segurança que possam acarretar risco ou dano aos titulares dos dados. O entrevistado qualificou o plano de contingência como bom, tendo em vista o prolongado tempo de funcionamento do sistema e a baixa ocorrência de interrupções. Especificamente quanto ao ‘accountability’, ao serem questionados se o serviço possibilita a colaboração dos cidadãos em todas as fases do ciclo das políticas públicas e na criação e melhoria dos serviços, os entrevistados responderam que não há espaço para essa troca de experiências e impressões, além de indicar um certo desinteresse do cidadão nessa prática: “Não, eu acho também que a gente não se preocupa tanto com isso e eu acho que o cidadão também não se preocupa muito com isso, acho que é dos dois lados”. “Não, não, a nossa coleta avulsa é bem frágil, ela é mesmo quando se determina que vai atacar algum ponto e aí abre esse espaço, mas um ambiente aberto e contínuo é frágil”. De forma complementar, um dos entrevistados foi indagado se o sistema oferece recursos que permitam ao fornecedor usuário verificar a ocorrência de algum erro de processamento ou aplicação inadequada de regra. A esse questionamento o entrevistado respondeu de forma esclarecedora: “Não, não tem, é pouco transparente, uma vez eu tive a oportunidade de sentar na mesa com vários fornecedores e pedi que eles me respondessem com toda a sinceridade: ‘vocês acham que o ComprasNet é um sistema que é bem feito e dá o resultado verdadeiro ou vocês acham que a gente manipula?’, mais da metade falou que achava que a gente manipulava. (...) Eles acham que a gente fica lá apertando o botão para escolher quem ganha. (...) Eu acredito que não [há confiança por parte do cidadão] Eu acredito que isso é bem o reflexo do que a gente vê da sociedade em termos de corrupção. Eu acho que eles não acreditam que a gente faz um trabalho justo e honesto não”. Segundo os entrevistados, são fornecidas, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para eventuais decisões automatizadas do serviço, seja por meio da Ouvidoria, seja pelas documentações disponibilizadas. Não existe a possibilidade de acesso ao código fonte do ComprasNet por parte de terceiros interessados, em razão de segurança e direitos autorais. O sistema permite o acompanhamento serviço por suas diversas etapas, embora não seja muito intuitivo, segundo a percepção do entrevistado. Na dimensão ‘explicação’ os entrevistados concordaram que o serviço não explica em termos não técnicos os procedimentos que são seguidos quanto as decisões específicas que são tomadas pelo sistema. Eles atribuem isso à complexidade da legislação de licitações ser traduzida para o cidadão. 69 Em termos técnicos, um dos entrevistados destacou que o serviço disponibiza um dicionário de dados no portal dados.gov.br, uma API para acesso a serviços de compras governamentais, além de documentação de regras de negócios em vários pontos no portal de compras. Em relação à existência de infográficos que mostrem a forma como os dados estão sendo usados e os possíveis resultados para as pessoas, verificou-se que o Ministério da Economia está implementando um painel de business intelligence com diversas informações do ComprasNet. Segundo os entrevistados, o sistema não descreve suficientemente as políticas e regras de negócio que são utilizadas no serviço digital, tendo em vista que todo o procedimento de compras governamentais deve observar as disposições normativas. Na ‘origem dos dados, privacidade e Justiça’ as informações auferidas nas entrevistas mostraram que os gestores têm grande preocupação quanto à prevenção de manipulação de dados e resultados nesse serviço. Em ambas as entrevistas se abordou a questão de utilização de robôs pelos usuários, ressaltando os entrevistados que a utilização do robô para automatização de lances não é ruim em si, ao contrário do que seria um robô “invadir o sistema e controlar o lance para garantir o resultado, aí é outra história”. A utilização de robôs de forma ética auxilia o fornecedor a participar de diversos pregões eletrônicos simultâneos, visto que o importante para a Administração é alcançar a melhor proposta. Há uma preocupação dos gestores do ComprasNet quanto à igualdade de condições dos licitantes, de maneira que eventuais decisões do algoritmo não criem impactos discriminatórios ou injustos, salvo eventual discrímen previsto em legislação. Outro entrevistado corroborou esta preocupação, mas ressaltou que a maior parte das discriminações realizadas no procedimento (p. ex: porte do fornecedor) ficam a cargo de instrução manual realizada pelos gestores de compras dos órgãos. O ComprasNet possui integração com bases de dados de terceiros como Receita Federal, Procuradoria Geral da República e Caixa Econômica Federal. As informações são sempre utilizadas no contexto de compras governamentais e são tratadas e protegidas pelo SERPRO. Nessa seara de proteção de dados, um dos entrevistados relatou certa divergência de entendimentos entre a Controladoria Geral da União e o Ministério da Economia, visto que as informações do ComprasNet possuem um valor estratégico comercial e o seu fornecimento massivo poderia desequilibrar uma disputa. 70 O usuário pode avaliar a satisfação em relação ao sistema por meio da central de atendimento (chatbot, e-mail e telefone). No que tange à dimensão ‘auditoria’, os entrevistados informaram que o sistema armazena modelos, algoritmos, alterações de dados e decisões para rastreamento e auditoria em caso de suspeita de dano. Não há, contudo, permissão para que terceiros interessados analisem e revisem o comportamento do sistema. Um dos entrevistados informou que há auditoria realizada pelo Tribunal de Contas da União, por força da legislação, sendo que esta corte de contas conta com acesso integral à base de dados. No tocante à existência de supervisão humana sobre o resultado de eventuais decisões automatizadas, as respostas dos entrevistados foram divergentes. Um dos entrevistados disse que o sistema é muito automatizado e que o pregoeiro, em que pese acompanhar o processo, confia plenamente no resultado do algoritmo, ou nas palavras do entrevistado “ele leva [o resultado do sistema] como verdade”. Outro entrevistado entende que os gestores de compras que acompanham o pregão eletrônico têm condições de perceber resultados equivocados e exemplificou que “a gente agora recentemente [percebeu] isso, o sistema gerou inconsistências nos resultados e a gente recebeu esses questionamentos dos resultados devido a uma supervisão humana”. Finalmente, em relação à dimensão ‘validação, precisão e teste’, apurou-se que os módulos mais recentes do sistema consideram a validação de modelos, documentação de métodos e resultados, embora não se possa dizer o mesmo em relação aos módulos desenvolvidos no início de operação do serviço. Os entrevistados informaram que não são realizados testes periódicos para avaliar e determinar se o modelo gera danos discriminatórios, alcança os objetivos e evita efeitos adversos, uma vez que o sistema está em uso constante. No entanto, destacaram que a própria comunidade de usuários gera informações dessa natureza, consistindo em uma espécie de controle social. Identificado algum dano discriminatório ou efeito adverso, um dos entrevistados ponderou que são realizados testes “ad hoc”. Por fim, exsurgiu das entrevistas que os valores de referência para uma entrada e resultados inaceitáveis são conhecidos, mas carecem do devido tratamento: Sistemicamente falando não [há tratamento dos valores de referência], agora há ferramentas no sistema para uma ação manual que aí você pode controlar isso, mas sistemicamente não. (...) [Por exemplo] Um fornecedor que deu um preço extremamente baixo, que você manifestadamente [verifica que] é inexequível, vamos dizer assim, mas o sistema não bloqueia, se o pregoeiro não for lá e disser: “isso aqui é inexequível, quero tirar”. Se não depender dessa ação do pregoeiro o sistema passa. (...) A ideia é inclusive trabalhar com toda a camada de inteligência artificial, tudo isso já está mapeado, a questão mesmo é que ainda não foi feito, então a resposta 71 oficial é que não tem, mas já está sendo construído em uma visão de mapa para os próximos dois anos. 4.3. Sistema de seleção unificada - Sisu O Sistema de Seleção Unificada (Sisu) é o sistema informatizado, em funcionamento desde 2010, gerenciado pelo Ministério da Educação (MEC), pelo qual instituições públicas de educação superior oferecem vagas a candidatos participantes do Exame Nacional do Ensino Médio (Enem). O candidato interessado se inscreve no sistema e indica até duas opções entre as vagas ofertadas pelas instituições de ensino superior, indicando se deseja concorrer a vagas de ampla concorrência ou a vagas reservadas de acordo com a Lei nº 12.711/2012, de 29 de agosto de 2012 (Lei de Cotas) ou outras políticas afirmativas existentes. Ao final da etapa de inscrição, o sistema seleciona automaticamente os candidatos mais bem classificados em cada curso. (EDUCAÇÃO, 2019) O Brasil utiliza, desde 1911, a sistemática do vestibular para ingresso no ensino superior. Em 2010, esse sistema passou a dividir espaço com o Sisu. (ABREU; CARVALHO, 2014). O Sisu oferta aos estudantes uma nova forma de ingresso no ensino superior, de forma alternativa ao vestibular. As vantagens de utilização do Sisu podem ser sintetizadas: (a) redução do custo do processo seletivo e aumento de eficiência na alocação das vagas, (b) maior mobilidade geográfica aos estudantes, (c) maior inclusão de alunos pertencentes a grupos subrepresentados no ensino superior brasileiro – alunos de escolas públicas, filhos de famílias de baixa renda, pobres, pretos, pardos e indígenas (NOGUEIRA et al., 2017). Abreu e Carvalho (2014) apontam que o sistema descentralizado do vestibular leva o concorrente a um trade-off, de forma que lhe resta concorrer à vaga de seu curso de preferência ou a outro curso com maiores chances de aprovação. Os autores afirmam que esse sistema resulta em alocação ineficiente das vagas e maiores taxas de evasão. No intuito de avaliar a transparência e accountability do Sistema de Seleção Unificada (Sisu), realizou-se, em novembro de 2019, uma entrevista conjunta com o Coordenador-Geral e Coordenador-Geral Substituto de Programas de Ensino Superior da Secretaria de Educação Superior do Ministério da Educação, cujos principais pontos serão articulados, segundo a ordem das dimensões previstas no Roteiro Final (Apêndice D), e discutidos a seguir. Em relação à dimensão ‘acessibilidade’ verificou-se que o Sisu está disponível no portal www.sisu.mec.gov.br e pelo aplicativo mobile sisu.mec.gov.br/mobile para os candidatos e no portal http://sisugestao.mec.gov.br/ para as instituições de ensino participantes. 72 Conforme dados apurados na PNAD Contínua 2018, em 2017, 98,7% das pessoas que acessavam a internet o faziam pelo telefone celular, contra 52,3% que utilizavam o computador (IBGE, 2018). Há, ainda, a disponibilização de planilhas com informações do Sisu no site do Ministério da Educação e no portal de dados abertos do Governo Federal. Além disso, outras informações da base de dados do Sisu podem ser acessadas em sala segura do INEP, à semelhança do que ocorre com as bases de dados desse instituto (INEP, 2017). O fluxo do sistema é simples e intuitivo: (a) o candidato acessa o Sisu com os dados da inscrição do ENEM; (b) escolhe até duas opções de curso; (c) realiza a pesquisa de vagas pelo nome do município, nome da instituição ou nome do curso; (d) verifica a quantidade de vagas e modalidades disponíveis (ampla concorrência e ações afirmativas); (e) confere a documentação exigida pela instituição para a matrícula e conclui a inscrição. Os gestores entrevistados afirmaram que os módulos mais recentes do sistema observam os quesitos de acessibilidade do e-Mag, não podendo afirmar o mesmo em relação aos módulos mais antigos, que iniciaram em 2010. Na dimensão ‘consciência’, verificou-se que a coleta de dados dos candidatos pelo sistema se destina à finalidade de seleção para uma vaga no ensino superior. Os candidados são alertados para as regras contidas em um edital e portaria específicos, editados pelo Ministério da Educação. Além disso, os dados relativos à participação do candidato na seleção podem servir de base para relatórios e outras informações de divulgação, observadas as disposições da Lei de Acesso à Informação. A criação do sistema se baseou na experiência e conhecimento dos gestores públicos envolvidos no projeto à época de sua criação, não tendo havido, segundo os entrevistados qualquer “levantamento de questionário, não foi criado nenhum instrumento de pesquisa” envolvendo os usuários interessados. No que se refere ao ‘acesso e reparação’, os gestores entrevistados informaram, quanto aos mecanismos de questionamento e revisão de consequências negativas do serviço digital, sobre a existência da Central de Atendimento do Ministério da Educação, por telefone e e-mail, onde os pontos de insatisfação dos candidatos são triados por uma equipe até a resolução final pelos gestores. Já as instituições de ensino participantes tem um acesso direto aos gestores do sistema no Ministério do Educação. A indicação de encarregado pelo tratamento de dados pessoais e criação de planos de contingência e resposta em caso de consequências indesejadas ou incidentes de segurança do serviço digital estão sendo trabalhados pelo setor de tecnologia da informação do Ministério 73 da Educação no bojo da adaptação dos sistemas à Lei Geral de Proteção de Dados, que estabeleceu um prazo para essa adequação até agosto de 2020. Especificamente quanto ao ‘accountability’, os entrevistados informaram que os candidatos que utilizam o serviço têm à sua disposição a Ouvidoria do Ministério da Educação para que possam colaborar com a melhoria do sistema. Além disso, a equipe gestora analisa as perguntas frequentes que chegam na central de atendimento, de modo a corrigir as principais falhas no processo seletivo seguinte. As informações a respeito dos critérios e procedimentos utilizados pelo Sisu são esclarecidas aos candidatos por meio do edital do Ministério da Educação que inaugura o processo seletivo. Os gestores informaram que não é possível o acesso de terceiros interessados ao código fonte do sistema. Os gestores relataram uma grande preocupação com a segurança da informação, sendo objeto de cobranças ao setor de tecnologia da informação a observância e cumprimento das normas de proteção de dados pessoais. Afirmaram não haver qualquer reclamação quanto à vulnerabilidade do sistema. O Sisu permite ao candidato acompanhar todas as fases do processo seletivo por meio da área segura do site, em consonância com o disposto no Decreto n° 8.936/2016. Na dimensão ‘explicação’, os gestores entrevistados entendem que o serviço fornece aos usuários informações suficientes, em termos não técnicos, sobre o seu funcionamento: “Depois que o estudante faz as suas opções de curso, o sistema avisa para ele se ele foi aprovado, qual o prazo que ele tem para ir na instituição, se ele foi reprovado, em que colocação que ele está na lista de espera, então ele consegue acompanhar via sistema todo o desenvolvimento do processo seletivo, isso é muito transparente para ele”. Não são disponibilizadas informações técnicas quanto ao funcionamento do serviço digital. Os gestores informaram que as únicas informações disponíveis são as regras constantes dos editais e portarias editados pelo Ministério da Educação que regulam o processo seletivo. Também não são disponibilizados infográficos sobre a operação do sistema, em que pese a publicação de informações estatísticas, em planilhas eletrônicas estáticas, no site do Ministério da Educação. A ‘origem dos dados, privacidade e justiça’, é assegurada por mecanismos de segurança comumente utilizados em serviços dessa natureza, como a utilização de captcha, que previne a manipulação do sistema por robôs. Além disso, os entrevistados esclarecem que “a nossa base da informação é o dado do Enem, então ninguém consegue manipular o dado dele do Enem, porque a gente extrai o dado diretamente do INEP, então não 74 tem como alguém querer manipular informações do sistema, porque o sistema já está alimentado com essa informação verídica”. Em relação a eventual discriminação proporcionada pelo algoritmo do serviço, os entrevistados deixam claro que o sistema é parametrizado para que as vagas sejam disponibilizadas cumprindo a Lei das Cotas, cabendo às instituições participante verificar se os candidatos cumprem os requisitos. Nesse sentido, esclarecem que “o sistema em si não tem influência nenhuma sobre... Não tem influência nenhuma e não faz nenhuma priorização”. O Sisu utiliza dados gerados pelo ENEM, como nome e resultado final, assegurando o sigilo e a privacidade dos candidatos. Em que pese as informações geradas pelo ENEM não se destinem precipuamente à seleção do Sisu, são por ele utilizadas com a cautela de manuteção do sigilo e acurácia. O serviço não disponibiliza pesquisa de satisfação online para o usuário, sendo possível, segundo os gestores, que eventual reclamação ou sugestão seja realizada por meio da Central de Atendimento do Ministério da Educação, por email ou telefone. No que tange à dimensão ‘auditoria’, os entrevistados foram questionados sobre o armazenamento de alterações de dados e decisões para rastreamento e auditoria em caso de suspeita de algum dano, informando que: “a gente tem muita demanda judicial aqui que pede o rastreamento das informações, então está tudo rastreado sim, a gente sabe exatamente qual tela que ele navegou, em que segundo que ele navegou, em qual tela, qual botão que ele apertou, fica tudo registrado”. Não há qualquer tipo de supervisão humana sobre os resultados disponibilizados pelo Sisu, assim como os gestores não oportunizam que terceiros interessados analisem, compreendam e revisem o comportamento do sistema. Segundo os gestores, “eventual equívoco vai ser identificado por meio do controle social”. Nesse particular, ao serem questionados sobre a existência no sistema de algum mencanismo pelo qual o usuário possa identificar a ocorrência de algum erro no resultado final, os gestores responderam que não há essa espécie de checagem, acrescentando que o sistema “está muito maduro, esse algoritmo já roda há muito tempo e nunca deu problema, então a gente já tem muita segurança que ele funciona direitinho”. Não há uma política de governança específica do Sisu que assegure o resultado esperado e garanta segurança no tratamento de dados, tendo afirmado os gestores do sistema que esse serviço está submetido à política de governança geral de tecnologia da informação do Ministério da Educação. 75 Finalmente, em relação à dimensão ‘validação, precisão e teste’, os entrevistados informaram que o Sisu está bem documentado, visto que as empresas terceirizadas contratadas para o desenvolvimento da solução possuem essa obrigação prevista em contrato. A cada processo seletivo realizado pelo Sisu, o sistema fica paralisado por até de 40 dias para fazer testes de carga e de capacidade. O Sisu armazena erros e incertezas gerados pelo sistema a fim de permitir a melhoria dos procedimentos. 4.4. Naturalizar-se O serviço “Naturalizar-se”, do Ministério da Justiça e Segurança Pública, disponível no endereço https://www.gov.br/pt-br/servicos/naturalizar-se-brasileiro, permite que uma pessoa imigrante adquira voluntariamente a nacionalidade brasileira, desde que atenda aos requisitos estabelecidos em lei, decreto e normas correlatas. A naturalização pode ser realizada nas modalidades ordinária, extraordinária, provisória e definitiva. (BRASIL, 2019f) A automação e digitalização do serviço possui as seguintes etapas: (a) requerimento eletrônico, (b) inclusão de documentos eletrônicos, (c) agendamento de atendimento na Polícia Federal, (d) diligências e parecer da Polícia Federal, (e) análise pelo Deparmento de Migrações do Ministério da Justiça e Segurança Pública, (f) Publicação de portaria de naturalização no Diário Oficial da União (art. 230 do Decreto 9.199/2017) (BRASIL, 2019f). Em 2019, com a nova modelagem do processo e a digitalização dos serviços, o tempo de decisão sobre processos de naturalização caiu de 500 para 5 dias. Estas ações, em conjunto, fizeram com que as análises e publicações de decisões aumentassem cerca de 1.000%, subindo de 170 para quase 2.000 análises por mês (Figura 6). Em 2018, foram analisados 1.983 processos de naturalização, enquanto que até outubro de 2019 já foram analisados 7.583. (JUSTIÇA, 2019) 76 Figura 6 – Evolução das publicações de naturalização 2018/2019 (Deferimentos e indeferimentos) Fonte: (JUSTIÇA, 2019) Esse serviço foi um dos escolhidos pelo Ministério do Economia para receber, em 2019, o apoio da Secretaria de Governo Digital em seu processo de digitalização. O serviço pode ser encontrado pelo cidadão na plataforma centralizada Gov.br (https://www.gov.br/ptbr) e o órgão público pode gerenciar o processo eletrônico na plataforma Lecom BPM (https://www.lecom.com.br/), contratada pelo Ministério da Economia. A fim de alcançar celeridade no processo de digitalização de serviços, o Ministério da Economia está adotando a tecnologia BPMS (Business Process Management Suites/System) que consiste em uma espécie de ferramenta responsável pela automação e execução de serviços, controlando e monitorando as etapas das atividades e tarefas realizadas em uma organização. Entre as vantagens desse método de digitalização pode-se citar a maior agilidade e redução de custos com processos 100% digitais, simplificação do acesso pelo cidadão e acompanhamento online, melhora no controle das tarefas e prazos. (LECOM, 2019) No intuito de avaliar a transparência e accountability do sistema “Naturalizar-se”, foram entrevistados, em novembro de 2019, o Coordenador Geral de Política Migratória e o Coordenador de Processos Migratórios do Ministério da Justiça e Segurança Pública, seguindo o roteiro final do Apêndice D. Os resultados e respectivas discussões serão articulados seguindo a ordem das dimensões previstas no Roteiro Final (Apêndice D). Em relação à ‘acessibilidade’ o serviço Naturalizar-se está disponível na plataforma unificada Gov.br (https://www.gov.br/pt-br), sendo que os dados são mantidos e 77 disponibilizados pelo sistema em formato aberto e estruturado. Na visão dos entrevistados o sistema é intuitivo e exige poucas interações do usuário, ressalvando que o serviço solicita um grande número de informações para a concessão da naturalização. Os entrevistados informam, ainda, que foi observado o modelo de acessibilidade em governo eletrônico (e-Mag), tendo em vista que esse serviço está sendo desenvolvido no âmbito de um “contrato do Ministério da Economia, que pretende digitalizar mais de 3.000 serviços, então pela magnitude do projeto que é de inclusão digital”. Na dimensão ‘consciência’ ficou esclarecido que o usuário recebe diversas informações e advertências no momento em que preenche o cadastro de usuário no portal Gov.br, de forma a deixar claro os benefícios decorrentes da coleta de seus dados. Além disso, a página do sistema Naturalizar-se disponibiliza as explicações, os documentos necessários e os requisitos do serviço. No desenvolvimento do serviço os usuários não foram diretamente ouvidos, mas foram consideradas o histórico de reclamações e sugestões coletadas por meio da Ouvidoria e Serviço de Informação ao Cidadão: “foram ouvidos em ouvidoria que expressavam toda a demora, a principal reclamação era a demora e falta de informações do site e tudo. Então foram atendidos sim indiretamente pelas respostas da ouvidoria, a gente tentou considerar o máximo possível quanto ao desenvolvimento do sistema, para facilitar, para já ter uma forma que o sistema tentasse ajudá-lo a preencher as informações, porque às vezes ele não sabe muito bem o que ele quer. Por exemplo, tem vários tipos de naturalização: ordinária, extraordinária, provisória, cada uma com os seus próprios requisitos, então a ideia do sistema é que de acordo com o que ele consiga aplicar, especificar o que ele quer, os requisitos vão aparecer no próprio sistema, ele não teria que adivinhar, não é um sistema que ele consegue colocar todos os anexos sem ser instado a fazer. Então o sistema já ajuda ele a fazer um requerimento mais bem feito: ‘coloque tal documento’ (...)” No que se refere ao ‘acesso e reparação’, os mecanismos de questionamento e revisão de consequências negativas do Naturalizar-se passam pela Ouvidoria, além do “próprio sistema [que] vai permitir recursos, já tem uma cadeia de instâncias decisórias se por acaso houver uma decisão equivocada ele vai abrir no sistema para recorrer e vai ser revisto o ato se ele estiver correto”. Além disso, todos os serviços componentes da plataforma Gov.br contém mecanismos de denúncia, solicitação, sugestão e simplificação, conforme Figura 7. 78 Figura 7 – Portal Gov.br - Mecanismos de denúncia, solicitação, sugestão e simplificação Fonte: Brasil (2019f) Especificamente quanto ao ‘accountability’, os entrevistados entendem que o cidadão tem a possibilidade de colaborar na melhoria dos serviços, uma vez que tais informações são repassadas aos gestores para fins de análise e eventual incorporação ao projeto. Durante as entrevistas, os gestores indicaram que o serviço Naturalizar-se não adota decisões automatizadas em seu fluxo. Entretanto, por força da Lei de Acesso à Informação, são fornecidas, sempre que solicitadas, informações sobre os critérios e procedimentos utilizados pelo sistema. O serviço permite, ainda, o acompanhamento da solicitação por todas as suas etapas, por meio da plartaforma e do email processos.migracoes@mj.gov.br, nos termos do previsto no Decreto n° 8.936/2016. Na dimensão ‘explicação’ os entrevistados esclareceram que o serviço descreve as políticas e regras de negócio utilizadas pelo sistema no site. Não há disponibilidade de material em termos técnicos e não técnicos que indique o papel que o algoritmo exerce no processamento do serviço. Quanto à existência de infográficos que exibam a maneira como os dados estão sendo usados e os possíveis resultados, verificou-se que somente a plataforma de administração do sistema dispõe de fluxos que permitem realizar essa verificação. Em relação à ‘origem dos dados, privacidade e justiça’ o serviço Naturalizar-se herda características relevantes dos serviços que utilizam a plataforma Gov.br/Lecom, adotando em seus formulários mecanismos que previnem a manipulação do sistema por atores maliciosos, até porque tais precauções são requisitos impostos pelo Tribunal de Contas da União em contratos dessa natureza. São utilizados dados que foram coletados para outras 79 finalidades, com a cautela de serem acessados somente por servidores autorizados. Por fim, outras características herdadas da plataforma Gov.br/Lecom são a proteção dos dados quanto à privacidade e sigilo, além da disponibilização de ferramenta de avaliação de satisfação dos usuários. No que tange à dimensão ‘auditoria’ verificou-se que a plataforma em que fica hospedado o serviço Naturalizar-se armazena alterações de dados e decisões para rastreamento em caso de suspeita de dano. Não há previsão para que terceiros interessados analisem e revisem o comportamento desse sistema. Segundo os gestores, são adotadas políticas de governança que garantam os resultados esperados e a segurança no tratamento dos dados. Na avaliação dos gestores não há decisão propriamente automatizada nesse sistema, decorrendo todas as decisões de naturalização de interação humana. Finalmente, em relação à dimensão ‘validação, precisão e teste’ apurou-se que o desenvolvimento do serviço considerou a validação de modelos, documentação de métodos e resultados, uma vez que a referida metodologia BPMS é precedida de extenso levantamento e documentação do fluxo do procedimento. Considerando o recente desenvolvimento desse serviço digital, os entrevistados informaram que ainda não são realizados testes periódicos para avaliar danos discriminatórios, cumprimento de objetivos e efeitos adversos. Pelo mesmo motivo, ainda não estão sendo devidamente tratados valores de referência para entradas e resultados inaceitáveis. 4.5. Análise comparativa dos casos e discussão Nesta seção os casos avaliados serão analisados em conjunto, de forma comparativa, de modo a explorar semelhanças e diferenças, encontrar os princípios de variação de um determinado fenômeno ou os padrões mais gerais de um fenômeno em um grau maior de abstração. Os estudos comparativos em ciências sociais geralmente utilizam o desenho de pesquisa centrado em poucos casos, a fim de permitir a análise mais aprofundada, considerando um espectro mais amplo de combinações de variáveis explicativas. (BALESTRO; VARGAS; MACHADO JUNIOR, 2007) Há estudos que enfatizam as diferenças e outros que focam nas semelhanças. O primeiro usa a teoria para ajudar na identificação das diferenças relevantes, auxiliando o pesquisador na formulação e refinamento da explicação geral do fenômeno de interesse. O segundo tipo busca as semelhanças entre os casos, verificando se são relevantes do ponto de 80 vista causal e conduzindo o pesquisador a formular uma explicação geral para o fenômeno. (BALESTRO; VARGAS; MACHADO JUNIOR, 2007) Na Tabela 15 são apresentadas as avaliações de cada item (Apêndice D) em relação aos casos estudados. O item avaliado como atendido receberá o sinal , o item não atendido será sinalizado com , restando as indicações N/A (não se aplica) e N/S (gestor não soube informar). Tabela 14 - Avaliação de transparência e accountability – Quadro comparativo Avaliação de transparência e accountability – Quadro comparativo 4.Accountability 3. Acesso e reparação 2.Consciência 1.Acessibilidade Dimensão Síntese do item 1.1.Diferentes plataformas digitais? 1.2.Dados gerados em formato aberto e estruturado? 1.3.Fluxos exigem poucas interações do usuário e apenas os dados essenciais? 1.4.O sistema é intuitivo? 1.5. O eMAG foi observado? 2.1. O usuário é esclarecido quanto aos possíveis vieses e eventuais danos potenciais decorrentes da operação automatizada dos serviços digitais? 2.2.Os interessados e seus pontos de vista foram identificados quando do desenvolvimento do serviço? 2.3.Os usuários são informados sobre os benefícios públicos oriundos da coleta e o uso de seus dados? 3.1.O gestor disponibiliza mecanismos de questionamento e revisão de consequências negativas de decisões informadas por algoritmos? 3.2.Indicação do encarregado pelo tratamento de dados pessoais no site do sistema? 3.3.São disponibilizadas informações de contato para que, se houver problemas, fique claro para os usuários como proceder? 3.4. Há um plano de contingência e resposta em caso de consequências indesejadas ou ocorrência de incidente de segurança que possa acarretar risco ou dano relevante aos titulares dos dados (art. 50, §2°, I, ‘g’, LGPD)? 4.1. O serviço possibilita a colaboração dos cidadãos em todas as fases do ciclo das políticas públicas e na criação e melhoria dos serviços públicos? 4.2.O gestor fornece, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para eventuais decisões automatizadas dos serviços digitais, observados os segredos comercial e industrial? (art. 20, §1° da LGPD) 4.3.O usuário pode ter acesso ao código fonte do sistema (algoritmo)? 4.4.O gestor do serviço adota medidas eficazes e capazes de comprovar a observância e o cumprimento das normas de proteção de dados pessoais e, inclusive, da eficácia dessas medidas. (art. 6°, X da LGPD) 4.5.O sistema esclarece as etapas do serviço e permite o acompanhamento da solicitação por cada uma delas? (Decreto n° 8936/16) Naturalizar-se ComprasNet Sisu                                  N/S                  81 5. Explicação 6.Origem dos dados, privacidade e Justiça 7.Auditoria 8.Validação, precisão e teste 5.1.Explicações do algoritmo em termos não técnicos? 5.2.Informações técnicas sobre o algoritmo 5.3.Infográficos (como os dados estão sendo usados e os possíveis resultados para as pessoas) 5.4. Descrição de políticas e regras de negócio 6.1.Adotam-se cautelas que impeçam atores maliciosos de manipular o sistema? 6.2.Adota-se algum mecanismo que assegure que as decisões algorítmicas não criem impactos discriminatórios ou injustos ao comparar dados demográficos diferentes (v.g. raça, sexo, etc.)? 6.3.São utilizados dados que foram originalmente coletados para outras finalidades? Quais as cautelas adotadas? 6.4.O sigilo e a privacidade pessoal dos cidadãos são protegidos na forma da legislação? 6.5. O serviço disponibiliza ferramenta de avaliação da satisfação dos usuários em relação aos serviços públicos prestados? 7.1.O sistema armazena modelos, algoritmos, alterações de dados e decisões para rastreamento e auditoria em caso de suspeita de dano? 7.2.O gestor permite que terceiros interessados analisem, compreendam e revisem o comportamento do algoritmo? 7.3.O gestor permite que a comunidade de pesquisa realize auditorias públicas? 7.4. Existe algum tipo de supervisão humana sobre o resultado de eventuais decisões automatizadas? 7.5.Adotam-se políticas de governança de modo a assegurar que o sistema atinja o resultado esperado e garanta segurança no tratamento dados (art. 50 da LGPD)? 8.1. O processo de desenvolvimento do serviço considerou a validação de modelos, documentação de métodos e resultados? (Sempre que possível o resultado de tais testes devem ser públicos). 8.2. São realizados testes periódicos para avaliar e determinar se o modelo gera danos discriminatórios, alcança os objetivos e evita efeitos adversos? 8.3. O sistema identifica e armazena erros e incertezas geradas pelo algoritmo e suas fontes de dados, de modo a informar os procedimentos de mitigação? 8.4.Os valores de referência para uma entrada e resultados inaceitáveis são conhecidos?                N/S               N/S                  N/A     N/A Fonte: elaborado pelo autor Na dimensão acessibilidade é possível notar que todos os serviços mantêm seus dados em formato aberto e estruturado (item 1.2, Tabela 15), facilitando a criação de mecanismos de transparência ativa, assim como possibilitando a extração dessas informações para eventuais interessados. Nem todos os sistemas avaliados estão disponíveis em mais de uma plataforma digital, incluindo a mobile, sendo certo afirmar que 98,7% das pessoas que acessam a internet o fazem pelo telefone celular, contra 52,3% que utilizam o computador (IBGE, 2018). No que se refere à intuitividade do sistema e a observância do modelo e-Mag, verificou-se que os sistemas mais antigos, constituídos por módulos construídos por tecnologias diversas, tem 82 maior dificuldade na adequação a esses padrões (item 1.5, Tabela 15). Segundo Prado (2009), uma democracia eletrônica só pode ser estabelecida com base em acesso e acessibilidade, de forma que o público tenha acesso às informações governamentais a fim de poder julgá-las convenientemente. Em relação à dimensão consciência se verifica que os serviços com desenvolvimento mais recente (Naturalizar-se e Sisu) se preocupam, na esteira da Lei Geral de Proteção de Dados, em informar os usuários sobre os benefícios públicos oriundos da coleta e o uso de seus dados (item 2.3, Tabela 15). De modo geral, o sistema ComprasNet apresentou baixo nível de adesão aos itens dessa dimensão, provavelmente por se tratar do serviço digital mais antigo (1998) dentre os avaliados. Kemper e Kolkman (2018) reconhecem que a promoção da transparência em algoritmos do setor público deve ser uma preocupação prioritária, mas que tais algoritmos devem ser encarados sob a perspectiva sócio-técnica, de forma que eles não podem ser ‘accountable’ sem uma ‘critical audience’. Nesse aspecto, entende-se que o aumento da criticidade do público pode ser maximizada por um aumento na adesão da dimensão consciência. Na dimensão acesso e reparação, é possível notar a dificuldade das organizações públicas na adaptação às exigências impostas pela Lei Geral de Proteção de Dados que prorrogou o prazo para adequações até agosto de 2020, especialmente quanto à criação de plano de contingência e resposta em caso de consequências indesejadas ou ocorrência de incidente de segurança que possa acarretar risco ou dano relevante aos titulares dos dados (item 3.4, Tabela 15). No decorrer das entrevistas, os gestores entrevistados se mostraram céticos quanto ao cumprimento desse prazo em razão da magnitude que essa tarefa representa e dos limitados recursos humanos e orçamentários disponíveis para a área de tecnologia da informação. Gillingham (2019) ressalta que indivíduos e grupos que sejam negativamente afetados por decisões informadas por algoritmos devem ter acesso a um procedimento para questionar a decisão e o processo pelo qual ela foi tomada. Binns (2017) argumenta que somente o acesso a informações claras permite que um prejudicado por decisões informadas por algoritmo possa buscar a reparação. No tocante à dimensão accountability é relevante destacar que nenhum dos sistemas avaliados franqueiam o acesso ao código fonte dos serviços digitais, seja por questões de segurança, seja por segredo comercial (item 4.3, Tabela 15). Diakopoulos e Kolisca (2016) apontam o acesso ao código fonte como um meio potencial para a promoção da transparência nos processos dos serviços digitais. No entanto, 83 eles discutem que a dificuldade técnica para a compreensão do código fonte limitaria a utilidade dessas informações para o público em geral. Kitchin (2017) lembra que, após o desenvolvimento, o código fonte fica oculto em arquivos executáveis impenetráveis, salvo em sistemas de plataforma em código aberto como o GitHub8. Kitchin (2017) esclarece que a maneira mais óbvia de tentar entender um algoritmo seja examinar seu pseudo-código (conjunto de instruções que pode ser traduzida em código) identificando as regras que determinam como o algoritmo funciona para traduzir os dados de entrada em um resultado. Prossegue o autor dizendo que essa análise, na prática, implica em examinar cuidadosamente os comentários da documentação, do código e do programador, rastreando como o algoritmo funciona para processar dados e calcular resultados (KITCHIN, 2017). Ananny e Crawford (2018) alertam que o acesso ao código fonte proporciona uma transparência parcial, especialmente em sistemas de machine learning, em que os resutlados dos sistemas se adaptam de acordo com a quantidade e qualidade dos dados de entrada. De fato, o que se observou nos sistemas avaliados foi a impossibilidade de se ter acesso ao código fonte dos serviços digitais. Embora o acesso ao código fonte de forma isolada não seja suficiente para assegurar o accountability, a sua divulgação contribui para a análise do comportamento do serviço digital (KROLL, 2015). A França avançou nessa questão incluindo, em 2016, o código fonte dos sistemas públicos na lista dos documentos governamentais que devem ser divulgados (dossiês, relatórios, estudos, atas, transcrições, estatísticas, instruções, memorandos, respostas ministeriais, correspondência, opiniões, previsões e decisões), salvo em caso de ameaça à segurança nacional, política externa, segurança pessoal ou questões sob segredo de justiça (FRANCE, 2016). Na visão dos gestores entrevistados, a participação dos cidadãos na criação e melhoria dos serviços é viabilizada por meio do acesso à Ouvidoria (item 4.1, Tabela 15). Mesmo que a transparência total não seja desejável em alguns casos, é recomendável a instituição de mecanismos públicos de certificação, auditoria e avaliação de sistemas de tomada de decisão automáticos utilizados na gestão pública (GOLDENFEIN, 2019). 8 GitHub é uma plataforma de hospedagem de código-fonte com controle de versão usando o Git. Ele permite que programadores, utilitários ou qualquer usuário cadastrado na plataforma contribuam em projetos privados e/ou Open Source de qualquer lugar do mundo. GitHub é amplamente utilizado por programadores para divulgação de seus trabalhos ou para que outros programadores contribuam com o projeto (DABBISH; STUART; TSAY, 2012) 84 A opacidade de muitos sistemas deriva de direitos de propriedade intelectual ou segredo comercial de modelos estatísticos ou códigos-fonte, também conhecido como ‘legal black box’. De fato, em muitos casos a divulgação pública do funcionamento de determinados sistemas seria inadequada ou provavelmente contestada por empresas que desejam proteger o sigilo. Uma alternativa seria a divulgação apenas às partes interessadas ou a um comitê especializado de maneira reservada, especialmente em casos de interesse público. (LIU; LIN; CHEN, 2019) Em relação à explicação se percebe a escassez de informações técnicas sobre os serviços digitais (item 5.2, Tabela 15). Essas informações técnicas são importantes para que pessoas físicas ou jurídicas especializadas possam analisar o serviço, elaborar estudos e pesquisas, a fim aumentar o nível de confiança da comunidade na forma como o algoritmo trabalha (KIZILCEC, 2016). Ausloos et al. (2018) destaca a importância do direito à explicação (right to explanation) para que o indivíduo afetado possa contestar determinada decisão automatizada. Nesse sentido, o autor aponta que o Regulamento Geral de Proteção de Dados da União Européia, em seu Artigo 15 (1), permite que as pessoas obtenham acesso a informações significativas sobre a lógica, o significado e as consequências da tomada de decisão automatizada, de modo que os indivíduos tenham o direito de contestar tais decisões. Com efeito, à semelhança do previsto na Lei Geral de Proteção de Dados brasileira, o Regulamento Europeu, prevê que os controladores dos sistemas são obrigados a implementar medidas técnicas e organizacionais apropriadas para cumprir esses direitos e garantir uma transparência efetiva (AUSLOOS et al., 2018) Na dimensão origem dos dados, privacidade e justiça se verifica um alto grau de adesão dos serviços digitais aos itens avaliados, ressalvado o item 6.2 (Tabela 15) do serviço Naturalizar-se em que os gestores entrevistados não souberam informar. Percebe-se que todos os sistemas avaliados implementam algum tipo de mecanismo para evitar a manipulação do sistema. À medida que o serviço digital oferece maior transparência, pode ocorrer de os indivíduos “jogarem” com o sistema (“game the system”) (DANAHER, 2016), podendo alguns orientar seus dados para serem vistos favoravelmente pelos algoritmos (GILLESPIE, 2017), outros evitarem detecção de fraude, evitar regulamentações ou ainda, a situação de manipulação se mostrar acessível para alguns grupos mais do que outros, criando assim uma nova disparidade (MARTIN, 2018). 85 Os sistemas ComprasNet e Sisu, na percepção dos entrevistados, evitam impactos discriminatórios por parte do serviço digital. No entanto, esclareceram que eventuais discriminações realizadas estão amparadas na legislação nacional, a exemplo de cotas para alunos negros e de baixa renda no Sisu e dos critérios de desempate que privilegiam aquisições governamentais de micro e pequenas empresas no ComprasNet. Desai e Kroll (2017) apontam importante preocupação sobre a possibilidade do serviço digital criar ou agravar determinada discriminação injusta com base em um atributo específico (raça, gênero, faixa de renda, porte da empresa, naturalidade, etc). Esclarecem os autores que em um ambiente onde os indivíduos estão concorrendo por uma bolsa de estudos, um emprego, uma promoção ou um prêmio, a forma ou o peso como os referidos atributos sensíveis são avaliados podem gerar impactos discriminatórios. De igual forma, as configurações de preferência de navegação e o histórico de pesquisas podem ser utilizados pelos sistemas para direcionar escolhas, anúncios e decisões (DESAI; KROLL, 2017). As tecnologias de aprendizado de máquina tendem a imitar o comportamento humano, mas pode-se ‘desensinar’ (‘unteach’) a máquina a discriminar mais facilmente que o ser humano (RAINIE; ANDERSON, 2017). Na dimensão auditoria se constatou que nenhum dos serviços analisados adota a prática de permitir que a comunidade de pesquisa realize auditorias públicas (item 7.3, Tabela 15), a exemplo do que ocorre com a urna eletrônica, onde diversas instituições e universidades podem analisar o funcionamento do sistema eletrônico de votação. Bennett e Koker (2017) afirmam que em ambientes onde a abertura total não é possível, podem-se adotar mecanismos de auditoria com a participação de órgãos independentes de supervisão. Tais órgãos poderiam avaliar e relatar de forma ampla e pública os resultados de suas análises ao público. Esses órgãos de supervisão ou de pesquisa, desde que possuam capacidade, independência e credibilidade, servem como um ‘proxy’ para o público na avaliação da transparência. Embora tais organismos possam desempenhar um papel relevante no aprimoramento do accountability, não substituem a transparência ampla, quando possível (BENNETT; KOKER, 2017). Desai e Kroll (2017) apontam o surgimento de legislações que começam a prever a necessidade da participação do público antes da criação do serviço público digital e a disponibilização do código aberto para facilitar a realização de "auditorias algorítmicas" a fim de testar como um serviço opera. Não há, ainda, a prática de permitir que terceiros interessados analisem, compreendam e revisem o comportamento do algoritmo (item 7.2, Tabela 15). Kanellopoulos (2018) afirma que uma organização accountable deve permitir que terceiros interessados 86 compreendam e revisem o comportamento de algoritmos (acesso a documentação detalhada, APIs tecnicamente adequadas e termos de uso permissivos), sendo importante que elas permitam auditorias públicas ou por parte de terceiros indicados, em caso de sistemas com informações sensíveis ou confidenciais. Segundo New e Castro (2018), o instituto de inteligência artificial da Universidade de Nova Iorque propôs critérios preliminares para a avaliação de impacto algorítmico de sistemas chave da administração pública, enfocando os principais passos que um órgão pode adotar para identificar um risco de dano, incrementando sua capacidade de avaliar sistemas e permitir que terceiros realizem auditorias nos sistemas públicos. Nessa esteira, o Data Ethics Framework do Governo do Reino Unido (DEPARTMENT FOR DIGITAL, CULTURE, 2018) recomenda que: “Ferramentas de ciência de dados devem ser disponibilizadas para análise sempre que possível [...] Mesmo que o modelo não possa ser divulgado publicamente, deve-se disponibilizar metadados sobre o modelo de forma contínua, como seu desempenho em determinados conjuntos de dados. Se o aplicativo for muito sensível, poder-se-á providenciar para que organismos externos selecionados, aprovados pela respectiva organização, examine o modelo em um contexto controlado para fornecer feedback. Pode ser a experiência de outro departamento governamental, academia ou órgão público” (DEPARTMENT FOR DIGITAL, CULTURE, 2018) No mesmo sentido, o relatório intitulado “Algorithms in decision-making”, o Comitê de Ciência e Tecnologia da Câmara dos Comuns do Reino Unido, afirma o seguinte: “o governo deve produzir, publicar e manter uma lista de onde os algoritmos com impactos significativos estão sendo usados no ‘governo central’ e disponibilizá-los para análise, ou se houver questões de propriedade intelectual, em um formato adequado ‘não sensível’” (SCIENCE AND TECHNOLOGY COMMITTEE, 2018, p. 43) Merece destaque, também, o fato do Sisu não prever qualquer tipo de supervisão humana sobre o resultado de eventuais decisões automatizadas (item 7.4, Tabela 15). Goldenfein (2019) lembra que, na Austrália, os gestores públicos defendem a chamada regra de ouro, segundo a qual nenhum robô ou sistema de inteligência artificial deve retirar direitos ou privilégios de alguém de forma que essa decisão não possa, em última análise, ser vinculada a um tomador de decisão humano que possa ser responsabilizado. Na Austrália, não há um regramento expresso sobre a necessidade de accountability de algoritmos, mas há uma regulação parcial sobre ‘automated decision-making’ que exige o ‘human-in-the-loop’: 87 Figura 8 – Human-in-the-loop Fonte: Goldenfein (2019) Na Figura 8 é possível notar três formas de envolvimento do humano com a inteligência artificial: human-in-the-loop (o sistema fornece informação para o humano tomar a decisão), human-on-the-loop (o humano supervisiona a tomada de decisão realizada pelo sistema) e human-out-of-the-loop (o sistema toma a decisão sem qualquer interferência humana). Como visto, a presença da supervisão humana em serviços públicos digitais previne que o cidadão fique sem instrumentos para responsabilizar o gestor público em caso de ocorrência de danos. Na dimensão validação, precisão e teste se percebe uma preocupação no processo de desenvolvimento do serviço com a validação de modelos, documentação de métodos e resultados (item 8.1, Tabela 15), visto que todos os sistemas avaliados possuem documentação relativa ao processo de desenvolvimento do serviço. No entanto, não há grande atenção para a realização de testes periódicos para avaliar e determinar se o modelo gera danos discriminatórios, alcança os objetivos esperados e evita efeitos adversos (item 8.2, Tabela 15). Contudo, percebeu-se que os serviços digitais que estão continuamente disponíveis ao cidadão têm maior dificuldade em implantar uma rotina de testes periódicos. No caso do Sisu, há um teste prévio do sistema toda vez que uma seleção unificada é realizada, gerando um aperfeiçoamento do serviço. Gillingham (2019) expõe que devem ser utilizados métodos rigorosos para documentar e validar os modelos usados para desenvolver algoritmos, bem como devem ser conduzidos testes rotineiros para determinar se o modelo leva à discriminação e danos. O autor ressalta a importância dos testes periódicos, especialmente para algoritmos que continuam aprendendo à medida que novos dados são inseridos em um sistema de informações, haja vista 88 que o viés pode resultar de mudanças na maneira como o algoritmo opera (GILLINGHAM, 2019). A análise conjunta do conteúdo das respostas das entrevistas desta pesquisa foi submetida ao programa de análise textual Iramuteq, o que possibilitou a construção de uma nuvem de palavras e análise de similitudes dos relatos dos gestores dos sistemas avaliados (Figuras 9 e 10). Essa análise complementar auxilia a compreensão das relações lexicográficas. A nuvem de palavras é uma análise lexical simples que permite a visualização de palavraschave em um corpus textual, conferindo maior tamanho e centralidade àquelas de maior importância (SALVIATI, 2017). A análise de similitude mostra um grafo que representa a ligação entre palavras do corpus textual, sendo possível inferir a estrutura de construção do texto e os temas de relativa importância, a partir da coocorrência entre as palavras. Isto auxilia o pesquisador na identificação da estrutura da base de dados (corpus), distinguindo as partes comuns e as especificidades, além de permitir verificá-las em função das variáveis descritivas existentes. (SALVIATI, 2017). Figura 9 - Nuvem de palavras – Estudo de múltiplos casos Fonte: dados da pesquisa 89 A nuvem de palavras (Figura 9) destacou a relevância de conceitos centrais abordados na pesquisa como sistema, serviço, dado, processo, decisão, informação, disponibilizar, usuário e público. Essa análise textual coincide em parte com os achados da fase piloto, em que os vocábulos mais recorrentes foram transparência, serviço, órgão, sistema, informação, usuário, governo, processo, digital, integração, dificuldade, custo e resultado. Figura 10 – Análise de similitudes –Estudo de múltiplos casos Fonte: dados da pesquisa A análise de similitude mostra um grafo que representa a ligação entre palavras do corpus textual, sendo possível inferir a estrutura de construção do texto e os temas de relativa 90 importância, a partir da coocorrência entre as palavras (SALVIATI, 2017). Nessa pesquisa o foram identificados dezoito agrupamentos no corpus textual das entrevistas, chamados de halos, conforme apresentado na Figura 10. A análise de similitudes do estudo de múltiplos casos (Figura 10) evidencia a centralidade do vocábulo ‘sistema’, unidade de análise enfocada pela pesquisa (halo 18). Este núcleo tem forte interação com a palavra ‘serviço’ (halo 1), ‘dado’ (halo 12), processo (halo 9), e decisão (halo 19). Alguns agrupamentos têm conteúdo temático a exemplo do halo 3 que se refere ao Sisu e halos 13 e 17 relativos ao ComprasNet. Nota-se que o sistema (halo 18) gerencia e manipula dados (halo 12), devendo disponibilizar informação (halos 13 e 14) de forma transparente (halo 13), com vistas à prestação de um serviço (halo 1). No halo 10 se percebe a ideia de que o sistema adote um modelo que evite discriminações. No halo 16 é possível notar a coocorrência de palavras que sugerem a necessidade de testes para determinar a necessidade de correções no sistema. 5. CONCLUSÃO O campo de estudos da transparência em serviços digitais, especialmente aqueles vinculados ao interesse e serviços públicos, tem se debruçado sobre a importância de se submeter ao escrutínio público os “ingredientes” (dados) e os passos seguidos para a elaboração da “receita” (algoritmo) (OLHEDE; WOLFE, 2018; WILLSON, 2017). A eficiência ou maior acessibilidade dos serviços digitais deve vir acompanhada de maior transparência e accountability, a fim de que se possa atestar sua legitimidade. Com efeito, a demanda por transparência tem batido à porta dos serviços públicos prestados por meios digitais. Isto porque não se tem dúvida que a transparência é condição imprescindível para a promoção do accountability (GOEDE; J. NEUWIRTH, 2014). No entanto, ainda são incipientes os estudos destinados a identificar os critérios a serem seguidos pelos serviços públicos digitais e respectivos algoritmos que se pretendam transparentes. A pesquisa partiu do marco teórico da transparência e accountability na seara pública, especialmente em relação aos serviços públicos oferecidos por meio digital, com vistas a propor um modelo de avaliação próprio. O modelo de avaliação foi proposto a partir de elementos coletados na literatura e por meio de consulta a especialistas em fase piloto. O produto desse trabalho, consignado em roteiro preliminar (Apêndice B), foi submetido a 5 juízes para validação e posteriormente aplicados em 3 serviços digitais disponibilizados pelo Governo Federal brasileiro (Figura 2). 91 Considerando a importância crescente da transparência das ações dos governos, o presente estudo teve como objetivo verificar a transparência e accountability proporcionada ao cidadão em serviços públicos digitais (e-serviços) oferecidos pela Administração Pública Federal. Como objetivos específicos buscou-se: (a) identificar as dimensões ou categorias relevantes para a análise de transparência e accountability em serviços digitais (e-serviços); (b) propor um modelo para avaliação de serviços digitais da Administração Pública; (c) avaliar os indicadores de transparência e accountability de serviços digitais selecionados à luz do modelo proposto. Nos capítulos iniciais, se traçou um panorama das questões envolvendo transparência e accountability de serviços públicos digitais, apontando os modelos e recomendações propugnados por Cappelli (2009), ACM (2017), Diakopoulos et al. (2016) e Stats NZ (2018). Em seguida, partiu-se dos referidos modelos e recomendações para identificar as dimensões e categorias relevantes para a análise de transparência e accountability em serviços digitais. Avançou-se, contudo, no mapeamento dessas dimensões e categorias por meio de consultas a especialistas, vinculados à Polícia Federal, SERPRO e Secretaria de Governo Digital do Ministério da Economia, em uma fase piloto, descritas nos itens 3.2.2 e 4.1. As dimensão e categorias identificadas na fase anterior (acessibilidade, consciência, acesso e reparação, accountability, explicação, origem dos dados, privacidade e justiça, auditoria, validação, precisão e teste) foram consolidadas em um roteiro preliminar de avaliação de transparência e accountability de serviços públicos digitais (Apêndice B). Posteriormente, o roteiro preliminar foi submetido a cinco juízes para validação dos respectivos itens, utilizando a metodologia de coeficiente de validação de conteúdo - CVC (HERNÁNDEZ-NIETO, 2002; PASQUALI, 2010). Por fim, o modelo consolidado constante do roteiro final (Apêndice D) foi utilizado para avaliação dos serviços digitais ‘Naturalizar-se’ (Ministério da Justiça e Segurança Pública), ComprasNet (Ministério da Economia) e Sistema de Seleção Unificada – Sisu (Ministério da Educação). Com efeito, o estudo se guiou pela seguinte pergunta de pesquisa: Como tem sido a implementação de transparência e accountability nos serviços digitais (e-serviços) oferecidos pela Administração Pública Federal? No intuito de responder essa pergunta, elaborou-se um roteiro específico e inédito para a avaliação de transparência e accountability em serviços 92 digitais e a respectiva aplicação em serviços vinculados a três ministérios do Governo Federal brasileiro. Diversas evidências empíricas coletadas nessa pesquisa corroboram considerações encontradas na literatura, conforme será articulado a seguir. Segundo Prado (2009), uma democracia eletrônica só pode ser estabelecida com base em acesso e acessibilidade, de forma que o público tenha acesso às informações governamentais a fim de poder julgá-las convenientemente. A acessibilidade dos sistemas avaliados demonstrou a preocupação em manter os dados em formato aberto e estruturado, facilitando a criação de mecanismos de transparência ativa, assim como possibilitando a extração dessas informações em caso de necessidade. Há uma tendência de disponibilização dos serviços digitais em plataforma mobile, visto que 98,7% das pessoas que acessam a internet o fazem pelo telefone celular, contra 52,3% que utilizam o computador (IBGE, 2018). Além disso, os serviços digitais mais recentes devem observar o e-Mag - Modelo de Acessibilidade em Governo Eletrônico (BRASIL. SLTI/MP, 2014). De modo geral, verificou-se que não se encontra em primeiro plano a necessidade de informar o usuário do serviço digital de possíveis vieses e danos decorrentes dos sistemas, assim como esclarecer os benefícios decorrentes da coleta de dados privados. Essa evidências corroboram ACM (2017) que ensina que modelos computacionais podem ser distorcidos como resultado de vieses contidos em seus dados de entrada ou algoritmos. Nesse sentido, decisões adotadas por algoritmos preditivos podem ser ‘opacas’ devido a muitos fatores, incluindo o técnico (o algoritmo pode não ser de fácil explicação), econômico (o custo de fornecer transparência pode ser excessivo, incluindo o comprometimento de segredos comerciais) e social (revelar as ‘entradas’ pode violar as expectativas de privacidade). Os fatores técnico e econômico foram destacados nas entrevistas da fase piloto, onde ficou claro que promover a consciência do usuário quanto aos passos seguidos pelo algoritmo poderia aumentar significativamente a complexidade e o custo do desenvolvimento do serviço digital. Na dimensão acesso e reparação se verificou um alto grau de adesão aos itens avaliados, embora os serviços analisados ainda esteja em processo de adequação à Lei Geral de Proteção de Dados. Na dimensão accountability, os gestores entrevistados consideraram como suficiente a participação dos cidadãos na criação e melhoria dos serviços por meio do acesso à ouvidoria. Em todos os serviços avaliados verificou-se a impossibilidade de acesso ao código 93 fonte dos serviços digitais, seja por questões de segurança, seja por segredo comercial. Nesse particular, Janssen e Kuk (2016a) apontam que ainda é difícil promover o accountability dos algoritmos, haja vista a evolução contínua proporcionada pelas novas tecnologias, sistemas, dados, pessoas e fluxo de prioridades políticas. Kroll (2015) acrescenta que os algoritmos ou alguns de seus inputs podem ser secretos, a implementação pode ser secreta ou o processo pode não estar precisamente descrito, motivo pelo qual se um cidadão ou uma autoridade suspeitar de algo errado ou desejar verificar se as decisões estão sendo adotadas de acordo com a política em vigor terá dificuldades nessa fiscalização. Citron (2007) afirma que as pessoas tendem a aceitar que os processos automatizados são verdadeiros e precisos. De fato, a avaliação da dimensão explicação nos serviços digitais selecionados mostrou uma certa escassez de informações técnicas, não técnicas, infográficos e regras de negócio, que permitam compreender e eventualmente criticar a forma de funcionamento do serviço digital. Na dimensão origem dos dados, privacidade e justiça se percebeu um alto grau de adesão dos serviços digitais aos itens avaliados. Nesse particular, ACM (2017) adverte que as preocupações com a privacidade, a proteção de segredos comerciais ou a revelação de análises que possam permitir que atores mal-intencionados manipulem o sistema podem justificar a restrição de acesso a indivíduos qualificados e autorizados. Em seu estudo, Meijer (2014) aponta para o baixo uso de informação pelos cidadãos para monitorar, avaliar e responsabilizar as autoridades públicas (“to hold public authorities into account”), ao contrário do uso mais intensivo feito pela mídia e grupos de interesse. Na dimensão auditoria se nota que as instituições públicas são refratárias à prática de permitir que a comunidade de pesquisa ou terceiros interessados analisem, compreendam e revisem o comportamento do algoritmo, por meio de auditorias públicas. Na dimensão validação, precisão e teste se percebeu, nos serviços avaliados, uma preocupação no processo de desenvolvimento do serviço com a validação de modelos, documentação de métodos e resultados, além de grande atenção para a realização de testes periódicos para avaliar e determinar se o modelo gera danos discriminatórios, alcança os objetivos e evita efeitos adversos, na esteira do que é recomendado por ACM (2017). Essa instituição estimula, ainda, que os resultados dos testes sejam tornados públicos, o que não se verificou nos sistemas avaliados. A pesquisa sobre tecnologias aplicadas ao e-Gov vem aumentando nos últimos anos, sendo a promoção da transparência um de seus objetivos chave. No entanto, Nunes et al. 94 (2017) afirmam que o governo brasileiro não tem tratado desta questão sistematicamente, podendo-se afirmar que a transparência no e-gov brasileiro (e-transparência) está em estágio inicial do seu processo de maturidade. De fato, as evidências encontradas nessa pesquisa demonstram que uma preocupação do poder público em oferecer um serviço mais célere e eficiente, sem proporcionar mecanismos de transparência e accountability suficientes. A presente pesquisa partiu de lacuna apontada por Fink (2018), mas avançou no sentido de propor um modelo de análise de transparência e accountability em serviços públicos digitais. No estudo de Fink (2018), a discussão quanto à transparência dos algoritmos utilizados pelo governo americano foi travada à luz de consultas solicitadas por meio da lei de acesso à informação daquele país. Os resultados obtidos e os procedimentos adotados nessa pesquisa são relevantes para a prática dos gestores públicos que desejam avaliar a transparência e accountability de serviços públicos digitais. A relevância desse trabalho empírico repousa no debate da transparência governamental associado à accountability, entendida como a problemática de construção e aperfeiçoamento de instituições democráticas (LOUREIRO; TEIXEIRA; PRADO, 2008). As dimensões e itens de análise utilizados permitem esquadrinhar a transparência em algoritmos de serviços públicos digitais proporcionando a reaplicação futura e consequente comparação com outros serviços digitais. A contribuição teórica pode ser creditada à combinação inédita dos critérios apontados a fim de se estudar a transparência de um serviço público digital, com vistas à promoção da accountability. Uma das limitações dessa pesquisa decorre da natureza da abordagem qualitativa, uma vez que contempla a subjetividade, a descoberta e a valorização da visão de mundo dos sujeitos. Segundo Vergara (2005), em pesquisas qualitativas as amostras são intencionais, selecionadas por tipicidade ou por acessibilidade, os dados são analisados com técnicas interpretativas e os resultados obtidos não são generalizáveis. Outra limitação deriva da possibilidade de que as respostas às entrevistas não descrevam fielmente o fenômeno, em razão da eventual exposição dos resultados por ocasião da divulgação do relatório da pesquisa. Nesse particular, buscou-se mitigar esse risco esclarecendo aos entrevistados os objetivos da pesquisa, a destinação estritamente científica dos dados e a garantia do anonimato. Além disso, pode-se apontar como limitação o fato dos usuários finais dos serviços não terem sido entrevistados. Pesquisas futuras podem avaliar determinado serviços públicos digitais, de forma longitudinal, com o objetivo que analisar a evolução das características de transparência e 95 accountability verificados nessa seara. Note-se a possibilidade, ainda, de realizar estudo comparativo de serviços digitais brasileiros com sistemas utilizados em outros países, com vistas a apontar melhores práticas. Por fim, em estudos vindouros pode-se expandir a análise dos casos selecionados por meio da triangulação de métodos, como por exemplo a utilização de grupos focais e técnicas Delphi. 96 REFERÊNCIAS ABREU, L.; CARVALHO, J. R. Análise do Jogo Induzido pelo Mecanismo SiSU de Alocação de Estudantes em Universidades. Encontro Nacional de Economia. Anais...2014 ABRUCIO, F. L.; LOUREIRO, M. R. Finanças públicas, democracia e accountability. Economia do setor público no Brasil. Rio de Janeiro: Elsevier, p. 75–102, 2004. ACM. Principles for Algorithmic Transparency and Accountability. [s.l: s.n.]. Disponível em: <https://www.acm.org/binaries/content/assets/publicpolicy/2017_joint_statement_algorithms.pdf>. Acesso em: 10 nov. 2018. AGUNE, R. M.; CARLOS, J. A. GOVERNO ELETRÔNICO E NOVOS PROCESSOS DE TRABALHO. In: EVELYN LEVY; PEDRO ANIBAL DRAGO (Eds.). . GESTÃO PÚBLICA NO BRASIL CONTEMPORÂNEO. São Paulo: Casa Civil, 2005. p. 448. ALBU, O. B.; FLYVERBOM, M. Organizational Transparency : Conditions , and Consequences. Business & Society, p. 000765031665985, 13 jul. 2016. ALCAIDE MUÑOZ, L.; RODRÍGUEZ BOLÍVAR, M. P.; LÓPEZ HERNÁNDEZ, A. M. Transparency in Governments: A Meta-Analytic Review of Incentives for Digital Versus Hard-Copy Public Financial Disclosures. The American Review of Public Administration, v. 47, n. 5, p. 550–573, 12 jul. 2017. ALEXANDRE, N. M. C.; COLUCI, M. Z. O. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc. saúde coletiva, v. 16, n. 7, p. 3061–3068, 2011. ALI, H.; BIRLEY, S. Integrating deductive and inductive approaches in a study of new ventures and customer perceived risk. Qualitative Market Research: An International Journal, v. 2, n. 2, p. 103–110, 13 ago. 1999. ALVES, L. C. O.; SILVA, A. S.; FONSECA, A. C. P. D. DA. Implicações da Adoção do Modelo de Merchant na Avaliação do Uso da TI para Controle Gerencial do Serviço Público Análise do Portal Comprasnet. Contabilidade Vista & Revista, v. 19, n. 1, p. 83–108, 2008. ALVES, M. V. C. Portais de Governo: Uma avaliação na Câmara dos Deputados. Colóquios ed. Brasília: Câmara dos Deputados, 2012. 97 ANANNY, M.; CRAWFORD, K. Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability. New Media and Society, v. 20, n. 3, p. 973–989, 2018. ANDERSON, J.; RAINIE, L. Code-Dependent: Pros and Cons of the Algorithm AgePew Research Center, , 2017. Disponível em: <http://www.pewinternet.org/2017/02/08/codedependent/>. Acesso em: 21 mar. 2019 AUSLOOS, J. et al. Algorithmic Transparency and Accountability in Practice. CHI, 2018. BALESTRIN, A. A dinâmica da complementaridade de conhecimentos no contexto das redes interorganizacionais. [s.l.] Universidade Federal do Rio Grande do Sul, 2005. BALESTRO, M. V.; VARGAS, E. R. DE; MACHADO JUNIOR, E. V. Estratégias Comparativas em Estudos de Caso em Administração. I Encontro de Ensino e Pesquisa em Administralção e Contabilidade. Anais...Recife: ANPAD, 2007 BALL, C. What Is Transparency? Public Integrity, v. 11, n. 4, p. 293–308, 1 set. 2009. BARBOSA, A. F.; FARIA, F. I. DE; PINTO, S. L. Governança eletrônica no setor público. In: e-Desenvolvimento no Brasil e no mundo: subsídios e Programa e-Brasil. São Caetano do Sul: Yendis Editora, 2007. BARDIN, L. Análise de conteúdo. 1. ed. São Paulo: Edições 70, 2016. BAUHR, M.; GRIMES, M. Indignation or Resignation: The Implications of Transparency for Societal Accountability. Governance, v. 27, n. 2, p. 291–320, 1 abr. 2014. BENNETT, L.; KOKER, L. Open Secrets: Balancing Operational Secrecy and Transparency in the Collection and Use of Data By National Security and Law Enforcement Agencies. v. 1, 2017. BERTOT, J. C.; JAEGER, P. T.; GRIMES, J. M. Using ICTs to create a culture of transparency: E-government and social media as openness and anti-corruption tools for societies. Government Information Quarterly, v. 27, n. 3, p. 264–271, jul. 2010. BINNS, R. Algorithmic Accountability and Public Reason. Philosophy and Technology, v. 31, n. 4, p. 543–556, 2017. BOLSONARO, J. MENSAGEM No 288 - Vetos à Lei no 13.709/2018Brasília, 2019. Disponível em: <https://legis.senado.leg.br/sdleg98 getter/documento?dm=7976340&ts=1574367978461&disposition=inline> BRASIL. MINISTÉRIO DO DESENVOLVIMENTO, P. E G. Governo Eletrônico. Disponível em: <https://www.governodigital.gov.br/EGD/historico-1/historico>. Acesso em: 17 mar. 2019. BRASIL. SLTI/MP. Padrões Web em Governo Eletrônico : Cartilha de UsabilidadeMP, , 2010. Disponível em: <https://www.governodigital.gov.br/transformacao/compras/orientacoes/identidade-digitaldo-governo/epwg-padroes-web-em-governo-eletronico/cartilha-de-usabilidade>. Acesso em: 5 abr. 2019 BRASIL. SLTI/MP. Modelo de Acessibilidade em Governo Eletrônico. Brasília: [s.n.]. Disponível em: <https://www.governodigital.gov.br/documentos-e-arquivos/eMAGv31.pdf>. Acesso em: 5 abr. 2019. BRASIL. Decreto de 3 de abril de 2000. Institui Grupo de Trabalho Interministerial para examinar e propor políticas, diretrizes e normas relacionadas com as novas formas eletrônicas de interação., 2000. Disponível em: <http://www.planalto.gov.br/ccivil_03/DNN/2000/Dnn8917.htm>. Acesso em: 17 mar. 2019 BRASIL. DECRETO No 8.638 DE 15, DE JANEIRO DE 2016city, 2016a. Disponível em: <http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2016/Decreto/D8638.htm>. Acesso em: 16 mar. 2019 BRASIL. Decreto no 8.777, de 11 de maio de 2016. Institui a Política de Dados Abertos do Poder Executivo federal., 2016b. Disponível em: <http://www.planalto.gov.br/CCIVIL_03/_Ato2015-2018/2016/Decreto/D8777.htm>. Acesso em: 19 mar. 2019 BRASIL. Estratégia de Governança Digital: Transformação Digital – cidadania e governo. Brasília: Ministério do Planejamento, Desenvolvimento e Gestão, Secretaria de Tecnologia da Informação e Comunicação, 2018. BRASIL. Portal de Serviços do Governo Federal. Disponível em: <https://www.servicos.gov.br/>. Acesso em: 23 mar. 2019a. BRASIL. Painel de monitoramento de serviços federais. Disponível em: <http://painelservicos.servicos.gov.br/>. Acesso em: 21 nov. 2019b. 99 BRASIL. Secretaria de Governo Digital (SGD). Disponível em: <https://www.governodigital.gov.br/sisp/secretaria-de-governo-digital-sgd>. Acesso em: 30 nov. 2019c. BRASIL. Decreto aprimora regras do pregão eletrônico. Disponível em: <https://www.comprasgovernamentais.gov.br/index.php/noticias/1170-decreto-aprimoraregras-do-pregao-eletronico>. Acesso em: 28 nov. 2019d. BRASIL. Comprasnet Mobile. Disponível em: <https://www.comprasgovernamentais.gov.br/index.php/comprasnet-mobile>. Acesso em: 7 dez. 2019e. BRASIL. Naturalizar-se Brasileiro. Disponível em: <https://www.gov.br/ptbr/servicos/naturalizar-se-brasileiro>. Acesso em: 21 nov. 2019f. CAMARGO, B. V.; JUSTO, A. M. Tutorial para uso do software de análise textual IRAMUTEQUniversidade Federal de Santa Catarina - Laboratório de Picologia Social da Comunicação e Cognição - LaccosIRAMUTEQ, , 2013. Disponível em: <http://www.iramuteq.org/documentation/fichiers/tutoriel-en-portugais> CAMP, L. J. Varieties of Software and Their Implications for Effective Democratic Government. Proceedings of the British Academy. Anais...2006Disponível em: <https://papers.ssrn.com/sol3/papers.cfm?abstract_id=905277>. Acesso em: 5 abr. 2019 CAMPOS, A. M. Accountability: quando poderemos traduzí-la para o português? Rev. Adm. Pública, v. 24, n. 2, p. 30–50, 1990. CAPPELLI, C. Uma Abordagem para Transparência em Processos Organizacionais Utilizando Aspectos. [s.l.] PUC-Rio, 2009. Catálogo Transparência - Grupo de Engenharia de Requisitos PUC-Rio. Disponível em: <http://transparencia.inf.puc-rio.br/wiki/index.php/Catálogo_Transparência>. Acesso em: 5 abr. 2019. CELSO, R. P.; SILVA, S. J. DA; COELHO, F. DE S. ANÁLISE COMPARATIVA DAS POLÍTICAS DE GOVERNANÇA ELETRÔNICA NOS BRIC(s). REVISTA DEBATES, v. 6, n. 2, p. 37–63, 2012. CHUNG, L. et al. Non-Functional Requirements in Software Engineering. Boston, MA: 100 Springer US, 2000. CHURCHILL, G. Marketing research: methodological foundations. 2nd. ed. [s.l.] The Dryden Press, 1998. CITRON, D. K. Technological Due Process. Washington University Law Review, v. 85, 2007. CRESWELL, J. W. Projeto de pesquisa: métodos qualitativo, quantitativo e misto. 2. ed. Porto Alegre: Artmed, 2007. CUNHA, M. A. V. C. DA; MIRANDA, P. R. DE M. O uso de TIC pelos governos: uma proposta de agenda de pesquisa a partir da produção acadêmica e da prática nacional. O&S, v. 20, n. 66, p. 543–566, 2013. DABBISH, L.; STUART, C.; TSAY, J. Social coding in GitHub: transparency and collaboration in an open software repository. Proceedings of the ACM 2012 conference on computer supported cooperative work. Anais...2012Disponível em: <https://dl.acm.org/doi/abs/10.1145/2145204.2145396> DANAHER, J. The Threat of Algocracy: Reality, Resistance and Accommodation. Philosophy & Technology, v. 29, p. 245–268, 2016. DEPARTMENT FOR DIGITAL, CULTURE, M. & S. Data Ethics Framework for the public sector. Disponível em: <https://www.gov.uk/guidance/6-make-your-work-transparentand-be-accountable>. Acesso em: 16 dez. 2019. DESAI, D. R.; KROLL, J. A. B. T. TRUST BUT VERIFY: A GUIDE TO ALGORITHMS AND THE LAW. Harvard Journal of Law & Technology, v. 31, n. 1, p. 1+, 25 out. 2017. DIAKOPOULOS, N. Algorithmic Accountability Reporting: On the Investigation of Black Boxes. Columbia Journalism School, 2014. DIAKOPOULOS, N. et al. Principles for Accountable Algorithms and a Social Impact Statement for Algorithms :: FAT ML. Disponível em: <http://www.fatml.org/resources/principles-for-accountable-algorithms>. Acesso em: 10 nov. 2018. DIAKOPOULOS, N. Algorithmic Accountability & Transparency. Disponível em: <http://www.nickdiakopoulos.com/projects/algorithmic-accountability-reporting/>. Acesso 101 em: 25 nov. 2019. DIAKOPOULOS, N.; KOLISKA, M. Algorithmic Transparency in the News Media. Digital Journalism, n. July, 2016. DONKER-KUIJER, M. W.; DE JONG, M.; LENTZ, L. Usable guidelines for usable websites? An analysis of five e-government heuristics. Government Information Quarterly, v. 27, n. 3, p. 254–263, jul. 2010. ECONOMIA, M. DA. Transformação de Serviços Públicos. Disponível em: <http://www.planejamento.gov.br/cidadania-digital/brasil-eficiente-cidadaniadigital/transformacao-de-servicos>. Acesso em: 27 nov. 2019. EDUCAÇÃO, M. DA. Sisu - Tire suas dúvidas. Disponível em: <http://www.sisu.mec.gov.br/tire-suas-duvidas>. Acesso em: 23 nov. 2019. EISCHEN, K. Opening the ‘Black Box’ of Software The micro-foundations of informational technologies, practices and environments. Information, Communication & Society, v. 6, n. 1, p. 57–81, jan. 2003. EISENHARDT, K. M. Building Theories from Case Study Research. Academy of Management Review, 1989. EUROPEAN CONSUMER CONSULTATIVE GROUP. POLICY RECOMMENDATIONS FOR A SAFE AND SECURE USE OF ARTIFICIAL INTELLIGENCE, AUTOMATED DECISION-MAKING, ROBOTICS AND CONNECTED DEVICES IN A MODERN CONSUMER WORLD. [s.l: s.n.]. Disponível em: <https://ec.europa.eu/info/sites/info/files/eccg-recommendation-on-ai_may2018_en.pdf>. FAGAN, C. Algorithmic Accountability: Applying the concept to different country contexts. Washington: [s.n.]. Disponível em: <https://webfoundation.org/docs/2017/07/Algorithms_Report_WF.pdf>. FENKER, E. A.; DIEHL, C. A.; ALVES, T. W. Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ. REVISTA DE CONTABILIDADE DO MESTRADO EM CIÊNCIAS CONTÁBEIS DA UERJ, v. 16, n. 2, p. 30–49, 2011. FILGUEIRAS, F. ALÉM DA TRANSPARÊNCIA: ACCOUNTABILITY E POLÍTICA DA PUBLICIDADE. Lua Nova, v. 84, p. 65–94, 2011. 102 FILHO ARRUDA, E. J. M.; FARIAS FILHO, M. C. Planejamento da pesquisa científica. São Paulo: Atlas, 2013. FINK, A. The Survey Handbook. 2nd. ed. London: Sage Publications, 2003. FINK, K. Opening the government’s black boxes: freedom of information and algorithmic accountability. Information Communication and Society, v. 21, n. 10, p. 1453–1471, 2018. FLICK, U. Introdução à pesquisa qualitativa. 3. ed. Porto Alegre: Artmed, 2009. v. 84 FOLDOC. Application Program Interface, 1995. (Nota técnica). FOLDOC. Chatbot, 1999. (Nota técnica). FOX, J. The uncertain relationship between transparency and accountability. Development in Practice, v. 17, n. 4–5, p. 37–41, 2007. FRANCE. LOI n° 2016-1321 du 7 octobre 2016France, 2016. Disponível em: <https://www.legifrance.gouv.fr/eli/loi/2016/10/7/ECFI1524250L/jo/texte> FREITAS, C. S. DE; LIMA, F. F.; LIMA, F. Q. Os Desafios ao Desenvolvimento de um Ambiente para Participação Política Digital: o Caso de uma Comunidade Virtual Legislativa do Projeto e-Democracia no Brasil. Organizações & Sociedade, v. 22, n. 75, p. 639–658, 2015. FRIEDMAN, B.; NISSENBAUM, H. Bias in computer systems. ACM Transactions on Information Systems, v. 14, n. 3, p. 330–347, 1 jul. 1996. GILLESPIE, T. Algorithmically recognizable: Santorum’s Google problem, and Google’s Santorum problem. Information, communication & society, v. 20, n. 1, p. 63–80, 2017. GILLINGHAM, P. Decision Support Systems, Social Justice and Algorithmic Accountability in Social Work: A New Challenge. Practice, v. 31, n. 4, p. 277–290, 2019. GOEDE, M.; J. NEUWIRTH, R. Good governance and confidentiality: a matter of the preservation of the public sphere. Corporate Governance: The international journal of business in society, v. 14, n. 4, p. 543–554, 29 jul. 2014. GOLDENFEIN, J. ALGORITHMIC DECISION-MAKING ACCOUNTABILITY : Thoughts for buying machine learning algorithms. In: Office of the Victorian Information Commissioner (ed), Closer to the Machine: Technical, Social, and Legal aspects of AI. 103 [s.l: s.n.]. p. 41–145. GORARD, S. Research Design: Creating Robust Approaches for the Social Sciences55 City Road, London, 2013. Disponível em: <https://methods.sagepub.com/book/researchdesign-creating-robust-approaches-for-the-social-sciences> GRANDE, J. I. C.; ARAUJO, M. C. R.; SERNA, M. S. Necesidad de Teoría sobre Gobierno Electrónico Una Propuesta Integradora. Concurso de Ensayos y Monografías del Clad sobre Reforma del Estado y Modernización de la Administración Pública, p. 52, 2002. GRAY, J. et al. Manual dos dados abertos: governo. [s.l: s.n.]. Disponível em: <http://www.w3c.br/pub/Materiais/PublicacoesW3C/Manual_Dados_Abertos_WEB.pdf>. Acesso em: 5 abr. 2019. GREILING, D. Accountability and Trust. In: BOVENS, M.; GOODIN, R. E.; SCHILLEMANS, T. (Eds.). . The Oxford Handbook of Public Accountability. [s.l.] Oxford University Press, 2014. p. 17. GRIMMELIKHUIJSEN, S. G.; WELCH, E. W. Developing and Testing a Th eoretical Framework for Computer-Mediated Transparency of Local Governments. Public Administration Review, v. 72, n. 4, p. 562–572, 2012. GUIMARÃES, T. DE A.; MEDEIROS, P. H. R. A relação entre governo eletrônico e governança eletrônica no governo federal brasileiro. Cadernos EBAPE.BR, v. 3, n. 4, p. 01– 18, 2005. HAIR, J. et al. Fundamentos de métodos de pesquisa em administração. [s.l.] Bookman Companhia Ed, 2005. HEALD, D. Why is transparency about public expenditure so elusive? International Review of Administrative Sciences, v. 78, n. 1, p. 30–49, 22 mar. 2012. HEEKS, R. Information Systems and Public Sector Accountability. Manchester: [s.n.]. Disponível em: <http://unpan1.un.org/intradoc/groups/public/documents/APCITY/UNPAN014657.pdf>. Acesso em: 18 mar. 2019. HEEKS, R. eGovernment for Development - eTransparency Definitions. Disponível em: <http://www.egov4dev.org/transparency/definitions.shtml>. Acesso em: 22 mar. 2019. 104 HERNÁNDEZ-NIETO, R. A. Contributions to statistical analysis. Mérida: Universidad de Los Andes, 2002. HOOD, C. Accountability and Transparency: Siamese Twins, Matching Parts, Awkward Couple? West European Politics, v. 33, n. 5, p. 989–1009, 10 set. 2010. HUMAN RIGHTS WATCH. The Toronto Declaration : Protecting the rights to equality and non-discrimination in machine learning systemsToronto, 2018. Disponível em: <https://www.accessnow.org/cms/assets/uploads/2018/08/The-TorontoDeclaration_ENG_08-2018.pdf> IBGE. Pesquisa Nacional de Amostra por Domicílios Contínua. Rio de Janeiro: [s.n.]. INEP. Serviço de acesso a dados protegidos. Disponível em: <http://inep.gov.br/dados/sedap>. Acesso em: 28 nov. 2019. JANSSEN, M.; KUK, G. The challenges and limits of big data algorithms in technocratic governance. Government Information Quarterly, v. 33, n. 3, p. 371–377, 2016a. JANSSEN, M.; KUK, G. The challenges and limits of big data algorithms in technocratic governance. Government Information Quarterly, v. 33, n. 3, p. 371–377, 2016b. JUKIĆ, T.; VINTAR, M.; BENČINA, J. Ex-ante evaluation: Towards an assessment model of its impact on the success of e-government projects. Information Polity, v. 18, n. 4, p. 343– 361, 13 dez. 2013. JUSTIÇA, M. DA. Tempo de decisão sobre naturalizações cai de 500 para cinco dias. Disponível em: <https://www.novo.justica.gov.br/news/tempo-de-decisao-sobrenaturalizacoes-cai-de-500-para-cinco-dias>. Acesso em: 28 nov. 2019. KANELLOPOULOS, Y. A Model for Evaluating Algorithmic Systems Accountability. Computers and Society, p. 5–8, 2018. KEMPER, J.; KOLKMAN, D. Transparent to whom? No algorithmic accountability without a critical audience. Information Communication and Society, v. 0, n. 0, p. 1–16, 2018. KIM, S.; LEE, J. E-Participation, Transparency, and Trust in Local Government. Public Administration Review, v. 72, n. 6, p. 819–828, nov. 2012. KITCHIN, R. Thinking critically about and researching algorithms. Information, Communication & Society, v. 20, n. 1, p. 14–29, 2 jan. 2017. 105 KIZILCEC, R. F. How much information? Effects of transparency on trust in an algorithmic interface. Conference on Human Factors in Computing Systems - Proceedings, p. 2390– 2395, 2016. KNIGHT, P. T.; FERNANDES, C. C. C.; CUNHA, M. A. e-Desenvolvimento no Brasil e no mundo: subsídios e Programa e-Brasil. [s.l.] Câmara-e.net, 2007. KROLL, J. A. Accountable Algorithms. [s.l.] Princeton University, 2015. LAIA, M. M. DE et al. ELECTRONIC GOVERNMENT POLICIES IN BRAZIL : CONTEXT , ICT MANAGEMENT AND OUTCOMES. Revista de Administração de Empresas, v. 51, n. 1, p. 43–57, 2011. LANE, J.-E. New Public Management. London: Routledge, 2000. LEÃO, A. L. M. DE S.; MELLO, S. C. B. DE; VIEIRA, R. S. G. O papel da teoria no método de pesquisa em Administração. Organizações em contexto, v. 5, n. 10, p. 1–16, 2009. LEÃO, H. A. T.; CANEDO, E. D. Best Practices and Methodologies to Promote the Digitization of Public Services Citizen-Driven: A Systematic Literature Review. Information, v. 9, n. 197, 2 ago. 2018. LECOM. Processos digitais para área do governo. Disponível em: <https://www.lecom.com.br/governo/>. Acesso em: 28 nov. 2019. LEE, C.; CHANG, K.; BERRY, F. S. Testing the Development and Diffusion of EGovernment and E-Democracy: A Global Perspective. Public Administration Review, v. 71, n. 3, p. 444–454, maio 2011. LEITE, J. C. S. DO P.; CAPPELLI, C. Software Transparency. Business & Information Systems Engineering, v. 3, p. 127–139, 2010. LIU, H. W.; LIN, C. F.; CHEN, Y. J. Beyond state v Loomis: Artificial intelligence, government algorithmization and accountability. International Journal of Law and Information Technology, v. 27, n. 2, p. 122–141, 2019. LOUREIRO, M. R.; TEIXEIRA, M. A. C.; PRADO, O. Construção de instituições democráticas no Brasil contemporâneo: transparência das contas públicas. Organizações & Sociedade, v. 15, n. 47, p. 107–119, 2008. LUNA-REYES, L. F. Opportunities and challenges for digital governance in a world of 106 digital participation. Information Polity, v. 22, p. 197–205, 2017. LUNA, D. E. et al. Digital governance and public value creation at the state level. Information Polity, v. 20, p. 167–182, 2015. MABILLARD, V.; ZUMOFEN, R. The complex relationship between transparency and accountability: A synthesis and contribution to existing frameworks. Public Policy and Administration, v. 32, n. 2, p. 110–129, 17 abr. 2017. MACEDO, F. F. DE. TRANSPARÊNCIA DE SOFTWARE COMO APOIO À PUBLICIDADE DA ADMINISTRAÇÃO PÚBLICA. [s.l.] Universidade Federal de Santa Catarina, 2014. MAGNAGNAGNO, O. A.; LUCIANO, E. M.; WIEDENHÖFT, G. C. Redução dos níveis de corrupção no Brasil: Qual o papel da tecnologia da informação e comunicação? Revista Gestão.Org, v. 15, n. Especial, p. 157–170, 2017. MAINWARING, S.; WELNA, C. Democratic accountability in Latin America. [s.l.] Oxford University Press, 2003. MANZINI, E. J. ENTREVISTA SEMI-ESTRUTURADA: ANÁLISE DE OBJETIVOS E DE ROTEIROS. Seminário Internacional sobre pesquisa e estudos qualitativos. Anais...Bauru: 2004Disponível em: <https://www.marilia.unesp.br/Home/Instituicao/Docentes/EduardoManzini/Manzini_2004_e ntrevista_semi-estruturada.pdf>. Acesso em: 16 abr. 2019 MARQUES, M. DA C. DA C. Aplicação dos Princípios da Governança Corporativa Aplicação dos Princípios da Governança Corporativa ao Sector Público. RAC, v. 11, n. 2, p. 11–26, 2007. MARRAFON, M. A.; MEDON, F. Importância da revisão humana das decisões automatizadas na Lei Geral de Proteção de Dados. Revista Consultor Jurídico, 2019. MARTIN, K. Ethical Implications and Accountability of Algorithms. Journal of Business Ethics, 2018. MATTAR, F. N. Pesquisa de Marketing: metodologia, planejamento, execução e análise. 7. ed. Rio de Janeiro: Elsevier, 2014. MEIJER, A. Transparency. In: BOVENS, M.; GOODIN, R. E.; SCHILLEMANS, T. (Eds.). . 107 The Oxford Handbook of Public Accountability. [s.l.] Oxford University Press, 2014. p. 21. MEUNIER, P. Software transparency and purity. Communications of the ACM, v. 51, n. 2, p. 104, 1 fev. 2008. MICHENER, G. FOI Laws Around the World. Journal of Democracy, v. 22, n. 2, p. 145– 159, 2011. MITTELSTADT, B. D. et al. The ethics of algorithms: Mapping the debate. Big Data & Society, v. 3, n. 2, p. 205395171667967, 2016a. MITTELSTADT, B. D. et al. The ethics of algorithms: Mapping the debate. Big Data & Society, v. 3, n. 2, p. 205395171667967, 2016b. MONTEIRO, R. L. Existe um direito à explicação na Lei Geral de Proteção de Dados do Brasil? Instituto Igarapé , v. 39, p. 1–27, 2018. NEW, J.; CASTRO, D. How Policymakers Can Foster Algorithmic Accountability. [s.l: s.n.]. Disponível em: <http://www2.datainnovation.org/2018-algorithmic-accountability.pdf>. NOGUEIRA, C. M. M. et al. PROMESSAS E LIMITES : O SISU E SUA IMPLEMENTAÇÃO NA UNIVERSIDADE FEDERAL DE MINAS GERAIS. Educação em revista, n. 33, p. 31, 2017. NORTHRUP, T. A.; THORSON, S. J. The Web of governance and democratic accountability. Proceedings of the 36th Annual Hawaii International Conference on System Sciences, HICSS 2003. Anais...IEEE Computer Society, 2003 NUNES, V. T. N.; CAPPELLI, C.; RALHA, C. G. Transparency in Information Systems. In: BOSCARIOLI, C.; ARAUJO, R. M.; MACIEL, R. S. P. (Eds.). . I GranDSI-BR Grand Research Challenges in Information Systems in Brazil 2016-2026. [s.l.] Brazilian Computer Society (SBC), 2017. p. 184. O’NEILL, O. Transparency and the Ethics of Communication. In: Transparency: The Key to Better Governance? [s.l.] British Academy, 2006. OECD. The e-government imperative. Paris: OECD Publishing, 2003. OECD. Integrity in Public Procurement - Good Practice from A to Z. [s.l.] OECD Publishing, 2007. 108 OECD. Digital Government Review of Brazil: Towards the Digital Transformation of the Public Sector. Paris: OECD Publishing, 2018. OKOT-UMA, R. W. ELECTRONIC GOVERNANCE: Re-inventing Good Governance. Commonwealth Secretariat London, p. 19, 2000. OLHEDE, S. C.; WOLFE, P. J. The growing ubiquity of algorithms in society: implications, impacts and innovations. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, v. 376, n. 2128, p. 20170364, 13 set. 2018. OLIVEIRA, T. M. V. DE. Amostragem não Probabilística: Adequação de Situações para uso e Limitações de amostras por Conveniência, Julgamento e Quotas. Administração On Line, v. 2, n. 3, p. 1–7, 2001. ORGANIZAÇÃO DAS NAÇÕES UNIDAS. ESTUDO SOBRE GOVERNO ELETRÔNICO DA ORGANIZAÇÃO DAS NAÇÕES UNIDAS 2018. Nova Iorque: [s.n.]. OURA, M. M. et al. O PREGÃO ELETRÔNICO COMO INSTRUMENTO DE CONTROLE DE OPORTUNISMOS NO PROCESSO LICITATÓRIO PÚBLICO. Revista de Gestão e Projetos - GeP, v. 3, n. 2, p. 260–281, 2012. PAPENFUSS, U.; SCHAEFER, C. Improving public accountability by aligning reporting to organizational changes in public service provision – an empirical Internet study of all Austrian, German and Swiss towns and states from an agency-theory perspective Points for practitioners. International Review of Administrative Sciences, v. 76, n. 3, p. 555–576, 2015. PASQUALE, F. The black box society: The secret algorithms that control money and information. [s.l.] Harvard University Press, 2015. PASQUALI, L. Princípios de elaboração de escalas psicológicas. Revista de Psiquiatria Clínica, v. 25, n. 5, p. 206–213, 1998. PASQUALI, L. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed, 2010. PINHO, J. A. G. DE. Investigando portais de governo eletrônico de estados no Brasil: muita 109 tecnologia, pouca democracia. Revista de Administração Pública, v. 42, n. 3, p. 471–493, 2008. PINHO, J. A. G. DE; SACRAMENTO, A. R. S. Accountability: Já podemos traduzi-la para o português? Revista de Administracao Publica, v. 43, n. 6, p. 1343–1368, 2009. PRADO, O. GOVERNO ELETRÔNICO, REFORMA DO ESTADO E TRANSPARÊNCIA: O PROGRAMA DE GOVERNO ELETRÔNICO DO BRASIL. [s.l.] Fundação Getúlio Vargas, 2009. RAINIE, L.; ANDERSON, J. Code-Dependent: Pros and Cons of the Algorithm Age. [s.l: s.n.]. Disponível em: <http://www.pewinternet.org/2017/02/08/code-dependent-pros-andcons-of-the-algorithm-age>. RAMOS, M. G.; DO ROSÁRIO LIMA, V. M.; AMARAL-ROSA, M. P. IRAMUTEQ Software and Discursive Textual Analysis: Interpretive Possibilities. In: [s.l: s.n.]. p. 58–72. RAUPP, F. M.; PINHO, J. A. G. DE. PRESTAÇÃO DE CONTAS NOS PORTAIS ELETRÔNICOS DE ASSEMBLEIAS LEGISLATIVAS: UM ESTUDO APÓS A LEI DE ACESSO À INFORMAÇÃO. Revista Gestão e Planejamento, v. 15, n. 1, p. 144–161, 2014. RICHARDSON, R. J. Pesquisa Social: métodos e técnicas. 3. ed. São Paulo: Atlas, 2012. RUEDIGER, M. A. Governo Eletrônico ou Governança Eletrônica – Conceitos Alternativos no Uso das Tecnologias de Informação para o Provimento de Acesso Cívico aos Mecanismos de Governo e da Reforma do EstadoCaracasUFSC, , 2002. Disponível em: <http://egov.ufsc.br/portal/sites/default/files/anexos/29564-29580-1-PB.pdf>. Acesso em: 17 mar. 2019 RUIJER, E.; MEIJER, A. National Transparency Regimes : Rules or Principles ? A Comparative Analysis of the United States and The Netherlands. International Journal of Public Administration, v. 39, n. 11, p. 895–908, 2016. SALVIATI, M. E. Manual do aplicativo Iramuteq. Planaltina: Iramuteq, 2017. SANDOVAL-ALMAZAN, R.; GIL-GARCIA, J. R. Are government internet portals evolving towards more interaction, participation, and collaboration? Revisiting the rhetoric of egovernment among municipalities. Government Information Quarterly, v. 29, p. S72–S81, jan. 2012. 110 SCIENCE AND TECHNOLOGY COMMITTEE. Algorithms in decision-making. London: [s.n.]. Disponível em: <https://publications.parliament.uk/pa/cm201719/cmselect/cmsctech/351/351.pdf>. SICAF. O que é ComprasNet. Disponível em: <https://e-sicafweb.com.br/oque-ecomprasnet/>. Acesso em: 27 nov. 2019. SPAGNUELO, D.; BARTOLINI, C.; LENZINI, G. Metrics for Transparency. In: [s.l: s.n.]. p. 3–18. SRIVASTAVA, S. C.; TEO, T. S. H.; DEVARAJ, S. You Can’t Bribe a Computer: Dealing with the Societal Challenge of Corruption Through ICT. Mis Quarterly, v. 40, n. 2, p. 511– 526, 2016. STALLMAN, R. The GNU Operating System and the Free Software Movement. In: Open Sources: Voices from the Open Source Revolution. 1. ed. [s.l.] O’Reilly & Associates, 1999. p. 280. STATS NZ. Algorithm assessment report. [s.l: s.n.]. Disponível em: <https://data.govt.nz/use-data/analyse-data/ government-algorithm-transparency>. TAKAHASHI, T. (ED.). Sociedade da Informação no Brasil: livro verde. Brasília: Ministério da Ciência e Tecnologia, 2000. THOMAS, P. G. Accountability. In: PETERS, G.; PIERRE, J. (Eds.). . Handbook of public administration. London: Sage, 2003. p. 549–556. UNITED NATIONS. Benchmarking E-government: A Global Perspective Assessing the Progress of the UN Member States. New York: [s.n.]. Disponível em: <https://publicadministration.un.org/egovkb/portals/egovkb/documents/un/english.pdf>. Acesso em: 18 out. 2018. UNITED NATIONS, E. AND S. C. Definition of basic concepts and terminologies in governance and public administration. New York: 2006Disponível em: <http://unpan1.un.org/intradoc/groups/public/documents/un/unpan022332.pdf>. Acesso em: 18 mar. 2019 VASCONCELLOS, M. et al. Thirty Years of Studies on Transparency , Accountability , and Corruption in the Public Sector : The State of the Art and Opportunities for Future Research 111 Thirty Years of Studies on Transparency , Accountability , and Corruption in the Public Sector : Th. Public Integrity, v. 0, n. 0, p. 1–22, 2018. VAZ, J. C. Administração pública e governança eletrônica: possibilidades e desafios para a tecnologia da informação. In: CUNHA, M. A.; DUARTE, F.; FREY, K. (Eds.). . Governança e as Tecnologias da Informação e Comunicação. Curitiba: Editora Champagnat, 2009. VERGARA, S. C. Projetos e relatórios de pesquisa em Administração. 2. ed. São Paulo: Atlas, 1998. VERGARA, S. C. Métodos de Pesquisa em Administração. São Paulo: Atlas, 2005. WARREN, M. E. Accountability and democracy. In: BOVENS, M.; GOODIN, R. E.; SCHILLEMANS, T. (Eds.). . The Oxford Handbook of Public Accountability. Oxford: Oxford University Press, 2014. p. 39–54. WEITZNER, D. J. et al. Information accountability. Communications of the ACM, v. 51, n. 6, p. 82–87, 1 jun. 2008. WILLSON, M. Algorithms (and the) everyday. Information, Communication & Society, v. 20, n. 1, p. 137–150, 2 jan. 2017. WORLD WIDE WEB FOUNDATION. ALGORITHMIC ACCOUNTABILITY Applying the concept to different country contexts. Washington: [s.n.]. Disponível em: <www.webfoundation.org>. Acesso em: 20 mar. 2019. WORTHY, B. More Open but Not More Trusted? The Effect of the Freedom of Information Act 2000 on the United Kingdom Central Government. Governance, v. 23, n. 4, p. 561–582, 24 set. 2010. YIN, R. K. Estudo de caso: planejamento e métodos. 2. ed. Porto Alegre: Bookman, 2001. ZARSKY, T. The Trouble with Algorithmic Decisions : An Analytic Road Map to Examine Efficiency and Fairness in Automated and Opaque Decision Making. Science, Technology, & Human Values, v. 41, n. 1, p. 118–132, 2016. ZIEWITZ, M. Governing Algorithms : Myth , Mess , and Methods. Science, Technology & Human Values, p. 1–14, 2015. 112 Apêndice A - Roteiro de entrevista semi-estruturada (Fase-piloto) Objetivo da entrevista: Identificar os principais aspectos e dimensões a serem abordados pelos serviços públicos digitais para assegurar transparência e accountability ao cidadão usuário. Critérios de inclusão: Especialista na área de informática ou gestão pública, preferencialmente com mestrado ou doutorado; experiência de pelo menos 2 anos em implantação de serviços públicos digitais, preferencialmente com atuação no Governo Federal. Preâmbulo Este estudo tem como objetivo verificar a transparência e accountability proporcionada ao cidadão em serviços públicos digitais (e-serviços) oferecidos pela Administração Pública Federal. A sua participação neste estudo é de fundamental importância, pois a sua experiência cotidiana proporcionará a compreensão sobre a maneira como a transparência vem sendo tratada no contexto dos serviços públicos digitais. Em hipótese alguma será revelado a sua identidade neste estudo. Para garantir a fidelidade do registro e posterior análise das informações, gostaria de solicitar sua autorização para gravação da entrevista. Roteiro da entrevista Item 1 – Perfil do entrevistado 1. Gostaria que você falasse, de forma sucinta, sobre a sua trajetória acadêmica e profissional. 2. Gostaria que você falasse sobre o seu conhecimento ou experiência envolvendo os serviços públicos digitais. 3. Dados para contato futuro em caso de necessidade de complementação. Transparência e accountability no contexto da administração pública Para os propósitos desta pesquisa, adotaremos o escopo da definição proposta por Hood (2010) segundo a qual accountability consiste no dever de um indivíduo ou organização de responder de alguma forma sobre como eles conduziram suas ações. No tocante à transparência Grimmelikhuijsen e Welch (2012) propõem uma definição abrangente que considera a relação entre Estado e cidadão e a possibilidade de avaliação das atividades estatais. Nesse sentido, os autores afirmam que a transparência pode ser definida como a disponibilização de informação por uma organização que permite aos atores externos monitorar e avaliar o desempenho e as atividades internas. 113 Item 2 – Transparência e accountability nos serviços públicos digitais 1. Em sua opinião, quais características um serviço público digital (software online) deve possuir para ser transparente? 2. Em sua opinião, por que os serviços públicos digitais devem ou não ser transparentes? 3. Existem hipóteses em que os serviços públicos digitais podem restringir a transparência? Quais? 4. Em sua opinião, a implantação de serviços públicos digitais tem levado em consideração a promoção da transparência? a. Em caso positivo, quais estratégias têm sido adotadas para promoção de transparência nos serviços digitais? b. Em sua visão, alguma dessas estratégias não tem funcionado? 5. Há alguma legislação, manual, documento, boas práticas que auxiliem o gestor na promoção da transparência dos serviços públicos digitais? 6. Existem dificuldades para a promoção de transparência em serviços públicos digitais? Quais? Item 3 – Questões finais 1. Conhece outros especialistas no tema que possam contribuir nessa pesquisa? 2. Gostaria de acrescentar mais algum comentário? 114 Apêndice B – Formulário preliminar para validação dos juízes Formulário para validação dos juízes Senhor Juiz-avaliador, Inicialmente, agradeço a gentileza e disponibilidade em colaborar com a presente pesquisa avaliando os itens do instrumento de coleta de dados. Nesse sentido, encaminho à V.Sa. uma versão preliminar de roteiro de avaliação de transparência e accountability de algoritmos em serviços públicos digitais para avaliação, à luz dos seus relevantes e destacados conhecimentos e experiência na área de gestão e tecnologia, com vistas ao aprimoramento do instrumento. A avaliação solicitada pretende confirmar a adequação dos itens ao objetivo do instrumento. Nesse sentido, os objetivos da pesquisa, orientada pelo Prof. Dr. Cleidson Nogueira Dias e aprovada em banca de qualificação da FACE/UnB, são verificar a transparência e accountability proporcionada ao cidadão em serviços públicos digitais (e-serviços) oferecidos pela Administração Pública Federal em determinados Ministérios. Assim, o estudo se guiará pela seguinte pergunta de pesquisa: Como tem sido a implementação de transparência e accountability nos serviços digitais (e-serviços) oferecidos pela Administração Pública Federal? Como objetivos específicos temos: (a) descrever os modelos de análise de transparência e accountability de software na literatura; (b) identificar as dimensões ou categorias relevantes para a análise de transparência e accountability em serviços digitais (e-serviços); (c) identificar os indicadores de transparência e accountability de serviços digitais são utilizados nos casos brasileiros investigados; (d) propor um modelo para avaliação de serviços digitais da Administração Pública Federal O roteiro proposto foi criado a partir de informações coletadas nas entrevistas da fase piloto, realizadas com 6 gestores envolvidos com a implantação de serviços públicos digitais (Polícia Federal, Secretaria de Governo Digital do Ministério da Economia e SERPRO), além de pesquisa documental e bibliográfica. (ACM, 2017; CAPPELLI, 2009; DIAKOPOULOS et al., 2016; STATS NZ, 2018; WORLD WIDE WEB FOUNDATION, 2017). Foram consultados, ainda, o Prof. Nicholas Diakopoulos, por email, e o Prof. Richard Heeks (pela rede social Research Gate) sobre a existência de instrumento análogo para fins de adaptação, tendo sido ambas as respostas negativas. A validação do conteúdo preliminar do roteiro por juízes-avaliadores, segundo Pasquali (2010), consiste na avaliação dos critérios abaixo dispostos, mediante uma escala do tipo Likert (1 a 5), em que 1 representa “pouquíssima”, 2 representa “pouca”, 3 representa “média”, 4 representa “muita” e 5 representa “muitíssima”. Os critérios são: (1) Clareza de linguagem utilizada, tendo em vista as características da população respondente. Pergunta-se: “O senhor acredita que a linguagem do item é suficientemente clara, compreensível e adequada para a população? Em que nível?”; (2) Pertinência prática, considerando a sua importância para o instrumento. Pergunta-se: “O senhor acredita que o item proposto é pertinente para esta população? Em que nível?”; (3) Relevância teórica, considerando o grau de associação entre o item e a teoria. Pergunta-se: O senhor acredita que o conteúdo deste item é representativo do comportamento que se quer medir, ou de uma das dimensões dele, considerando a teoria em questão? Em que nível?”; (4) Dimensão teórica, considerando a adequação do item à teoria estudada. Pergunta-se: “O senhor acredita que este item pertence a que dimensão proposta na primeira coluna?”. Caso entenda que o item não pertence à dimensão proposta, favor registrar no campo de observações. Para escolher de uma das opções sugere-se destacar conforme a seguir: “ 1 | 2 | 3 | 4 | 5 ”. Legenda: LGPD – Lei Geral de Proteção de Dados – Lei 13.709/2018 115 Roteiro de avaliação de transparência e accountability de algoritmos em serviços públicos digitais Dimensão Itens 1.1.O serviço digital está disponível em diferentes plataformas? 1.2. Os dados são mantidos e disponibilizados em formato aberto, interoperável e estruturado? 1.3. O serviço digital disponibiliza mecanismos de ajuda? 1.4. Os fluxos dos procedimentos são simples? (exigem poucas interações do usuário e apenas os dados essenciais) 1.5.O sistema é intuitivo? (desnecessidade de aprendizado prévio, padronização de telas e nomes, vocabulário adequado, destaque das operações mais utilizadas e dos campos obrigatórios) 1.6. O Modelo de Acessibilidade em Governo Eletrônico (eMAG) foi observado no desenvolvimento do sistema? 2.1. O usuário é esclarecido quanto aos possíveis vieses e eventuais danos potenciais decorrentes da operação automatizada dos serviços digitais? 2.2.As limitações do algoritmo do serviço público digital são esclarecidas ao usuário? 2.3.Os interessados e seus pontos de vista foram identificados quando do desenvolvimento do serviço? 2.4.Os usuários são cientificados sobre os benefícios públicos oriundos da coleta e o uso de seus dados? 3.1.O gestor disponibiliza mecanismos de questionamento e revisão de consequências negativas de decisões informadas por algoritmos? 1.Acessibilidade 2.Consciência 3. Acesso reparação e Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade. Lei Geral de Proteção de Dados 3.2. Há a indicação do encarregado pelo tratamento de dados pessoais, de forma clara e objetiva, preferencialmente no sítio eletrônico do gestor do sistema? (art. 41 da LGPD). 3.3.São disponibilizadas informações de contato para que, se houver problemas, fique claro para os usuários como proceder? 3.4. Disponibiliza plano de contingência e resposta em caso de consequências indesejadas ou ocorrência de incidente de Clareza de linguagem (linguagem clara acessível e adequada) 1|2|3|4|5 Pertinência prática (itens propostos são pertinentes) Relevância teórica (grau de associação entre item e teoria) 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 Observações (Caso entenda que o item não pertence à dimensão proposta, favor registrar na observação) 116 4.Accountability 5. Explicação 6.Origem dos dados, privacidade e Justiça segurança que possa acarretar risco ou dano relevante aos titulares dos dados (art. 50, §2°, I, ‘g’, LGPD)? 4.1. Possibilita a colaboração dos cidadãos em todas as fases do ciclo das políticas públicas e na criação e melhoria dos serviços públicos? 4.2.O gestor fornece, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para eventuais decisões automatizadas dos serviços digitais, observados os segredos comercial e industrial? (art. 20, §1° da LGPD) 4.3.O usuário pode ter acesso ao código fonte do sistema (algoritmo)? 4.4.O gestor do serviço adota medidas eficazes e capazes de comprovar a observância e o cumprimento das normas de proteção de dados pessoais e, inclusive, da eficácia dessas medidas. (art. 6°, X da LGPD) 4.5. O serviço digital dá transparência à execução e permite o acompanhamento e o monitoramento dos serviços (Decreto n° 8936/16)? 4.6.O sistema esclarece as etapas do serviço e permite o acompanhamento da solicitação por cada uma delas? 5.1.O sistema explica os procedimentos seguidos pelo algoritmo do serviço digital quanto às decisões específicas que são tomadas, preferencialmente em termos não técnicos? 5.2.O serviço disponibiliza informações técnicas sobre o papel que o algoritmo exerce no processo de tomada de decisão? 5.3.O sistema disponibiliza infográficos que exibam a maneira como os dados estão sendo usados e os possíveis resultados para as pessoas? 5.4. O serviço descreve as políticas e regras de negócio utilizadas pelo sistema? 6.1.Adota-se algum tipo de mecanismo ou cautela que impeçam atores maliciosos de manipular o sistema? 6.2.Garantir que as decisões algorítmicas não criem impactos discriminatórios ou injustos ao comparar dados demográficos diferentes (v.g. raça, sexo, etc.). 6.3.São utilizados dados que foram originalmente coletados para outras finalidades? Quais as cautelas adotadas? 6.4.Proteger o sigilo e a privacidade pessoal dos cidadãos na forma da legislação. Art. 46. Os agentes de tratamento devem adotar medidas de segurança, técnicas e administrativas aptas a proteger os dados pessoais de acessos não autorizados e de situações acidentais ou 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 117 ilícitas de destruição, perda, alteração, comunicação ou qualquer forma de tratamento inadequado ou ilícito. LGPD 7.Auditoria 8.Validação, precisão e teste 6.5. O serviço disponibiliza ferramenta de avaliação da satisfação dos usuários em relação aos serviços públicos prestados 7.1.O sistema armazena modelos, algoritmos, alterações de dados e decisões para rastreamento e auditoria em caso de suspeita de dano? 7.2.O gestor permite que terceiros interessados analisem, compreendam e revisem o comportamento do algoritmo? 7.3.O gestor permite que a comunidade de pesquisa realize auditorias públicas? 7.4. Existe algum tipo de supervisão humana sobre o resultado de eventuais decisões automatizadas? 7.5.Adotam-se políticas de governança e boas práticas para garantir que os padrões e modelos de desenvolvimento de sistemas atinjam o esperado,m se adaptem às mudanças e garantam segurança no tramento dados (art. 50 da LGPD)? 8.1. O processo de desenvolvimento do serviço considerou a validação de modelos, documentação de métodos e resultados? Sempre que possível o resultado de tais testes devem ser públicos. 8.2. São realizados testes periódicos para avaliar e determinar se o modelo gera danos discriminatórios, alcança os objetivos e evita efeitos adversos? 8.3. O sistema identifica e armazena fontes de erro e incerteza em todo o algoritmo e suas fontes de dados, de modo a informar os procedimentos de mitigação? 8.4.Os valores de referência para uma entrada e resultados inaceitáveis são conhecidos? 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 1|2|3|4|5 118 Apêndice C – Adaptações realizadas no roteiro após avaliação dos juízes Roteiro de avaliação de transparência e accountability de algoritmos em serviços públicos digitais Comentário: Título alterado na versão final para “Roteiro de avaliação de transparência e accountability em serviços públicos digitais”, uma vez que se verificou que os itens do instrumento se referiam ao serviço digital amplamente considerado, não se restringindo especificamente ao algoritmo. Dimensão Item preliminar Item adaptado Comentários 1.1.O serviço digital está disponível em diferentes 1.1.O serviço digital está disponível em diferentes Item não alcançou CVC mínimo no critério de clareza plataformas? plataformas digitais? de linguagem. Os juízes sugeriram especificar sobre o tipo de plataforma a que o item se refere. 1.2. Os dados são mantidos e disponibilizados em 1.2.Os dados gerados pelo sistema são mantidos e Juízes sugeriram especificar (a) se os dados se referem formato aberto, interoperável e estruturado? disponibilizados em formato aberto (padrões não- às entradas ou saídas do sistema; (b) definir os termos proprietários e livre de limitações legais no uso), e “aberto, interoperável e estruturado”; (c) verificar a estruturado (formato padronizado)? adequação do item à dimensão acessibilidade. 1.3. O serviço digital disponibiliza mecanismos de Sem correspondência Item não alcançou CVC mínimo no critério de ajuda? relevância teórica, motivo pelo qual se optou por retirálo do instrumento final. 1.Acessibilidade 1.4. Os fluxos dos procedimentos são simples? (exigem 1.3. Os fluxos do sistema exigem poucas interações do Juiz sugeriu revisar redação. poucas interações do usuário e apenas os dados usuário e apenas os dados essenciais? essenciais) 1.5.O sistema é intuitivo? (desnecessidade de 1.4.O sistema é intuitivo? (desnecessidade de aprendizado prévio, padronização de telas e nomes, aprendizado prévio, padronização de telas e nomes, vocabulário adequado, destaque das operações mais vocabulário adequado, destaque das operações mais utilizadas e dos campos obrigatórios) utilizadas e dos campos obrigatórios) 1.6. O Modelo de Acessibilidade em Governo 1.5. O Modelo de Acessibilidade em Governo Eletrônico (eMAG) foi observado no desenvolvimento Eletrônico (eMAG) foi observado no desenvolvimento do sistema? do sistema? 2.1. O usuário é esclarecido quanto aos possíveis vieses 2.1. O usuário é esclarecido quanto aos possíveis vieses e eventuais danos potenciais decorrentes da operação e eventuais danos potenciais decorrentes da operação automatizada dos serviços digitais? automatizada dos serviços digitais? 2.2.As limitações do algoritmo do serviço público Sem correspondência O item não foi avaliado por, no mínimo, 3 juízes em digital são esclarecidas ao usuário? nenhum dos critérios, motivo pelo qual não foi possível calcular o respectivo CVC. Optou-se por excluir o item do instrumento final. 2.Consciência 2.3.Os interessados e seus pontos de vista foram 2.2.Os interessados e seus pontos de vista foram O critério de relevância teórica do item não foi avaliado identificados quando do desenvolvimento do serviço? identificados quando do desenvolvimento do serviço? por, no mínimo, 3 juízes, motivo pelo qual não foi possível calcular o respectivo CVC. Optou-se por manter o item em razão do reconhecimento de sua pertinência prática pelos juízes. 2.4.Os usuários são cientificados sobre os benefícios 2.3.Os usuários são informados sobre os benefícios Juiz sugeriu alterar a expressão “cientificados”. públicos oriundos da coleta e o uso de seus dados? públicos oriundos da coleta e o uso de seus dados? 119 3. Acesso reparação e 4.Accountability 3.1.O gestor disponibiliza mecanismos de questionamento e revisão de consequências negativas de decisões informadas por algoritmos? 3.1.O gestor disponibiliza mecanismos de questionamento e revisão de consequências negativas de decisões informadas por algoritmos? Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade. Lei Geral de Proteção de Dados Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade. Lei Geral de Proteção de Dados 3.2. Há a indicação do encarregado pelo tratamento de dados pessoais, de forma clara e objetiva, preferencialmente no sítio eletrônico do gestor do sistema? (art. 41 da LGPD). 3.3.São disponibilizadas informações de contato para que, se houver problemas, fique claro para os usuários como proceder? 3.4. Disponibiliza plano de contingência e resposta em caso de consequências indesejadas ou ocorrência de incidente de segurança que possa acarretar risco ou dano relevante aos titulares dos dados (art. 50, §2°, I, ‘g’, LGPD)? 3.2. Há a indicação do encarregado pelo tratamento de dados pessoais, de forma clara e objetiva, preferencialmente no sítio eletrônico do gestor do sistema? (art. 41 da LGPD). 3.3.São disponibilizadas informações de contato para que, se houver problemas, fique claro para os usuários como proceder? 3.4. Há um plano de contingência e resposta em caso de consequências indesejadas ou ocorrência de incidente de segurança que possa acarretar risco ou dano relevante aos titulares dos dados (art. 50, §2°, I, ‘g’, LGPD)? 4.1. Possibilita a colaboração dos cidadãos em todas as fases do ciclo das políticas públicas e na criação e melhoria dos serviços públicos? 4.2.O gestor fornece, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para eventuais decisões automatizadas dos serviços digitais, observados os segredos comercial e industrial? (art. 20, §1° da LGPD) 4.3.O usuário pode ter acesso ao código fonte do sistema (algoritmo)? 4.4.O gestor do serviço adota medidas eficazes e capazes de comprovar a observância e o cumprimento das normas de proteção de dados pessoais e, inclusive, da eficácia dessas medidas. (art. 6°, X da LGPD) 4.5. O serviço digital dá transparência à execução e permite o acompanhamento e o monitoramento dos serviços (Decreto n° 8936/16)? 4.6.O sistema esclarece as etapas do serviço e permite o acompanhamento da solicitação por cada uma delas? 4.1. Possibilita a colaboração dos cidadãos em todas as fases do ciclo das políticas públicas e na criação e melhoria dos serviços públicos? 4.2.O gestor fornece, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para eventuais decisões automatizadas dos serviços digitais, observados os segredos comercial e industrial? (art. 20, §1° da LGPD) 4.3.O usuário pode ter acesso ao código fonte do sistema (algoritmo)? 4.4.O gestor do serviço adota medidas eficazes e capazes de comprovar a observância e o cumprimento das normas de proteção de dados pessoais e, inclusive, da eficácia dessas medidas. (art. 6°, X da LGPD) Sem correspondência 4.5.O sistema esclarece as etapas do serviço e permite o acompanhamento da solicitação por cada uma delas? (Decreto n° 8936/16) Item não alcançou CVC mínimo no critério de clareza de linguagem. Não houve sugestão expressa dos juízes, mas se optou por manter o item em razão da exigência de “planos de resposta a incidentes e remediação” previsto na Lei Geral de Proteção de Dados (art. 50, §2°, I, ‘g’). Um dos juízes apontou que esse item poderia substituir o item 2.2 do roteiro preliminar, que restou excluído na versão final do instrumento. O item não foi avaliado por, no mínimo, 3 juízes em nenhum dos critérios, motivo pelo qual não foi possível calcular o respectivo CVC. Item não alcançou CVC mínimo no critério de clareza de linguagem. Um dos juízes sugeriu a aglutinação com o item precedente. 120 5. Explicação 6.Origem dos dados, privacidade e Justiça 7.Auditoria 5.1.O sistema explica os procedimentos seguidos pelo algoritmo do serviço digital quanto às decisões específicas que são tomadas, preferencialmente em termos não técnicos? 5.2.O serviço disponibiliza informações técnicas sobre o papel que o algoritmo exerce no processo de tomada de decisão? 5.3.O sistema disponibiliza infográficos que exibam a maneira como os dados estão sendo usados e os possíveis resultados para as pessoas? 5.4. O serviço descreve as políticas e regras de negócio utilizadas pelo sistema? 6.1.Adota-se algum tipo de mecanismo ou cautela que impeçam atores maliciosos de manipular o sistema? 6.2.Garantir que as decisões algorítmicas não criem impactos discriminatórios ou injustos ao comparar dados demográficos diferentes (v.g. raça, sexo, etc.). 6.3.São utilizados dados que foram originalmente coletados para outras finalidades? Quais as cautelas adotadas? 6.4.Proteger o sigilo e a privacidade pessoal dos cidadãos na forma da legislação. 5.1.O sistema explica os procedimentos seguidos pelo algoritmo do serviço digital quanto às decisões específicas que são tomadas, preferencialmente em termos não técnicos? 5.2.O serviço disponibiliza informações técnicas sobre o papel que o algoritmo exerce no processo de tomada de decisão? 5.3.O sistema disponibiliza infográficos que exibam a maneira como os dados estão sendo usados e os possíveis resultados para as pessoas? 5.4. O serviço descreve as políticas e regras de negócio utilizadas pelo sistema? 6.1.Adota-se algum tipo de mecanismo ou cautela que impeçam atores maliciosos de manipular o sistema? 6.2.Adota-se algum mecanismo que assegure que as decisões algorítmicas não criem impactos discriminatórios ou injustos ao comparar dados demográficos diferentes (v.g. raça, sexo, etc.)? 6.3.São utilizados dados que foram originalmente coletados para outras finalidades? Quais as cautelas adotadas? 6.4.O sigilo e a privacidade pessoal dos cidadãos são protegidos na forma da legislação? Art. 46. Os agentes de tratamento devem adotar medidas de segurança, técnicas e administrativas aptas a proteger os dados pessoais de acessos não autorizados e de situações acidentais ou ilícitas de destruição, perda, alteração, comunicação ou qualquer forma de tratamento inadequado ou ilícito. LGPD Art. 46. Os agentes de tratamento devem adotar medidas de segurança, técnicas e administrativas aptas a proteger os dados pessoais de acessos não autorizados e de situações acidentais ou ilícitas de destruição, perda, alteração, comunicação ou qualquer forma de tratamento inadequado ou ilícito. LGPD 6.5. O serviço disponibiliza ferramenta de avaliação da satisfação dos usuários em relação aos serviços públicos prestados 7.1.O sistema armazena modelos, algoritmos, alterações de dados e decisões para rastreamento e auditoria em caso de suspeita de dano? 7.2.O gestor permite que terceiros interessados analisem, compreendam e revisem o comportamento do algoritmo? 7.3.O gestor permite que a comunidade de pesquisa realize auditorias públicas? 7.4. Existe algum tipo de supervisão humana sobre o resultado de eventuais decisões automatizadas? 6.5. O serviço disponibiliza ferramenta de avaliação da satisfação dos usuários em relação aos serviços públicos prestados? 7.1.O sistema armazena modelos, algoritmos, alterações de dados e decisões para rastreamento e auditoria em caso de suspeita de dano? 7.2.O gestor permite que terceiros interessados analisem, compreendam e revisem o comportamento do algoritmo? 7.3.O gestor permite que a comunidade de pesquisa realize auditorias públicas? 7.4. Existe algum tipo de supervisão humana sobre o resultado de eventuais decisões automatizadas? Um dos juízes sugeriu unificar as dimensões consciência e explicação. Não se acatou a sugestão em razão da literatura consultada tratá-las de forma distinta. Item não alcançou CVC mínimo no critério de clareza de linguagem. O item foi adaptado para o formato de questionamento, focando-se a adoção de mecanismos que mitiguem a ocorrência de discriminação. Item adaptado para o formato de questionamento. 121 8.Validação, precisão e teste 7.5.Adotam-se políticas de governança e boas práticas para garantir que os padrões e modelos de desenvolvimento de sistemas atinjam o esperado, se adaptem às mudanças e garantam segurança no tratamento dados (art. 50 da LGPD)? 8.1. O processo de desenvolvimento do serviço considerou a validação de modelos, documentação de métodos e resultados? Sempre que possível o resultado de tais testes devem ser públicos. 8.2. São realizados testes periódicos para avaliar e determinar se o modelo gera danos discriminatórios, alcança os objetivos e evita efeitos adversos? 8.3. O sistema identifica e armazena fontes de erro e incerteza em todo o algoritmo e suas fontes de dados, de modo a informar os procedimentos de mitigação? 8.4.Os valores de referência para uma entrada e resultados inaceitáveis são conhecidos? 7.5.Adotam-se políticas de governança de modo a assegurar que o sistema atinja o resultado esperado e garanta segurança no tratamento dados (art. 50 da LGPD)? 8.1. O processo de desenvolvimento do serviço considerou a validação de modelos, documentação de métodos e resultados? (Sempre que possível o resultado de tais testes devem ser públicos). 8.2. São realizados testes periódicos para avaliar e determinar se o modelo gera danos discriminatórios, alcança os objetivos e evita efeitos adversos? 8.3. O sistema identifica e armazena erros e incertezas geradas pelo algoritmo e suas fontes de dados, de modo a informar os procedimentos de mitigação? 8.4.Os valores de referência para uma entrada e resultados inaceitáveis são conhecidos? Item não alcançou CVC mínimo no critério de clareza de linguagem. Redação alterada. Em que pese o item ter atingido nota superior a 0,8 em todos os critérios, alterou-se a redação por sugestão de um dos juízes. 122 Apêndice D – Roteiro final Roteiro de avaliação de transparência e accountability em serviços públicos digitais Dimensão Item 1.Acessibilidade 2.Consciência 3. Acesso reparação e 1.1.O serviço digital está disponível em diferentes plataformas digitais? 1.2.Os dados gerados pelo sistema são mantidos e disponibilizados em formato aberto (padrões não-proprietários e livre de limitações legais no uso), e estruturado (formato padronizado)? 1.3. Os fluxos do sistema exigem poucas interações do usuário e apenas os dados essenciais? 1.4.O sistema é intuitivo? (desnecessidade de aprendizado prévio, padronização de telas e nomes, vocabulário adequado, destaque das operações mais utilizadas e dos campos obrigatórios) 1.5. O Modelo de Acessibilidade em Governo Eletrônico (eMAG) foi observado no desenvolvimento do sistema? 2.1. O usuário é esclarecido quanto aos possíveis vieses e eventuais danos potenciais decorrentes da operação automatizada dos serviços digitais? 2.2.Os interessados e seus pontos de vista foram identificados quando do desenvolvimento do serviço? 2.3.Os usuários são informados sobre os benefícios públicos oriundos da coleta e o uso de seus dados? 3.1.O gestor disponibiliza mecanismos de questionamento e revisão de consequências negativas de decisões informadas por algoritmos? Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade. Lei Geral de Proteção de Dados 6.Origem dos dados, privacidade e Justiça 3.2. Há a indicação do encarregado pelo tratamento de dados pessoais, de forma clara e objetiva, preferencialmente no sítio eletrônico do gestor do sistema? (art. 41 da LGPD). 3.3.São disponibilizadas informações de contato para que, se houver problemas, fique claro para os usuários como proceder? 3.4. Há um plano de contingência e resposta em caso de consequências indesejadas ou ocorrência de incidente de segurança que possa acarretar risco ou dano relevante aos titulares dos dados (art. 50, §2°, I, ‘g’, LGPD)? 4.1. O serviço possibilita a colaboração dos cidadãos em todas as fases do ciclo das políticas públicas e na criação e melhoria dos serviços públicos? 4.2.O gestor fornece, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para eventuais decisões automatizadas dos serviços digitais, observados os segredos comercial e industrial? (art. 20, §1° da LGPD) 4.3.O usuário pode ter acesso ao código fonte do sistema (algoritmo)? 4.4.O gestor do serviço adota medidas eficazes e capazes de comprovar a observância e o cumprimento das normas de proteção de dados pessoais e, inclusive, da eficácia dessas medidas. (art. 6°, X da LGPD) 4.5.O sistema esclarece as etapas do serviço e permite o acompanhamento da solicitação por cada uma delas? (Decreto n° 8936/16) 5.1.O sistema explica os procedimentos seguidos pelo algoritmo do serviço digital quanto às decisões específicas que são tomadas, preferencialmente em termos não técnicos? 5.2.O serviço disponibiliza informações técnicas sobre o papel que o algoritmo exerce no processo de tomada de decisão? 5.3.O sistema disponibiliza infográficos que exibam a maneira como os dados estão sendo usados e os possíveis resultados para as pessoas? 5.4. O serviço descreve as políticas e regras de negócio utilizadas pelo sistema? 6.1.Adota-se algum tipo de mecanismo ou cautela que impeçam atores maliciosos de manipular o sistema? 6.2.Adota-se algum mecanismo que assegure que as decisões algorítmicas não criem impactos discriminatórios ou injustos ao comparar dados demográficos diferentes (v.g. raça, sexo, etc.)? 6.3.São utilizados dados que foram originalmente coletados para outras finalidades? Quais as cautelas adotadas? 6.4.O sigilo e a privacidade pessoal dos cidadãos são protegidos na forma da legislação? 7.Auditoria 6.5. O serviço disponibiliza ferramenta de avaliação da satisfação dos usuários em relação aos serviços públicos prestados? 7.1.O sistema armazena modelos, algoritmos, alterações de dados e decisões para rastreamento e auditoria em caso de suspeita de dano? 4.Accountability 5. Explicação Art. 46. Os agentes de tratamento devem adotar medidas de segurança, técnicas e administrativas aptas a proteger os dados pessoais de acessos não autorizados e de situações acidentais ou ilícitas de destruição, perda, alteração, comunicação ou qualquer forma de tratamento inadequado ou ilícito. LGPD 123 8.Validação, precisão e teste 7.2.O gestor permite que terceiros interessados analisem, compreendam e revisem o comportamento do algoritmo? 7.3.O gestor permite que a comunidade de pesquisa realize auditorias públicas? 7.4. Existe algum tipo de supervisão humana sobre o resultado de eventuais decisões automatizadas? 7.5.Adotam-se políticas de governança de modo a assegurar que o sistema atinja o resultado esperado e garanta segurança no tratamento dados (art. 50 da LGPD)? 8.1. O processo de desenvolvimento do serviço considerou a validação de modelos, documentação de métodos e resultados? (Sempre que possível o resultado de tais testes devem ser públicos). 8.2. São realizados testes periódicos para avaliar e determinar se o modelo gera danos discriminatórios, alcança os objetivos e evita efeitos adversos? 8.3. O sistema identifica e armazena erros e incertezas geradas pelo algoritmo e suas fontes de dados, de modo a informar os procedimentos de mitigação? 8.4.Os valores de referência para uma entrada e resultados inaceitáveis são conhecidos? 124 Apêndice E – Consulta ao Professor Nicholas Diakopoulos Re: eTransparency. Algorithm Accountability. De:Douglas Saldanha (douglas@yahoo.com.br) Para:nicholas.diakopoulos@gmail.com Data:quinta-feira, 21 de março de 2019 16:39 BRT Thank you! Em quinta-feira, 21 de março de 2019 10:34:07 BRT, Nicholas Diakopoulos <nicholas.diakopoulos@gmail.com> escreveu: Hi Douglas, You caught me right when I am also thinking a lot about this topic. I would encourage you to look at the following papers for ideas about what dimensions could be made transparent (and therefore what you might use to evaluate whether a public service meets expectations) Mitchell, M. et al., 2019. Model Cards for Model Reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency. Holland, S. et al., 2018. The Dataset Nutrition Label: A Framework To Drive Higher Data Quality Standards. Gebru, T. et al., 2018. Datasheets for Datasets. In Workshop on Fairness, Accountability, and Transparency in Machine Learning. Diakopoulos, N. & Koliska, M., 2016. Algorithmic Transparency in the News Media. Digital Journalism, 5(7), pp.809–828. Arnold, M. et al., 2018. FactSheets: Increasing Trust in AI Services through Supplier's Declarations of Conformity. Hope this helps! Cheers, Nick Nick Diakopoulos, Ph.D. Assistant Professor of Communication, Northwestern University Associate Professor II, University of Bergen Tow Fellow, Columbia University nad@northwestern.edu | http://www.nickdiakopoulos.com | @ndiakopoulos On Thu, Mar 21, 2019 at 8:23 AM Douglas Saldanha wrote: Dear Professor Nicholas Diakopoulos, I am working on a (master) research in the area of public administration, at the University of Brasilia (Brazil), on the transparency of online public algorithms / services available to citizens. I could not find a scale to measure or evaluate the degree of transparency of a particular online public service (and compare them). There is empirical work on website transparency, but nothing specific about online public services involving algorithms / systems. I found only the principles proposed by FATML. Therefore, I intend to draw up a scale (or checklist) for doing this measurement / evaluation. Can you tell me, in your opinion, which categories of analysis are most appropriate for evaluating this kind of transparency/accountability? Thank you in advance. Douglas Saldanha 125 Apêndice F – Consulta ao Professor Richard Heeks 126 Apêndice G – Modelo de e-mail encaminhado aos Juízes Avaliadores Prezado Prof. <Nome do destinatário>, Meu nome é Douglas Saldanha e estou cursando o mestrado em Administração Pùblica na FACE/UnB sob a orientação do Prof. Dr. Cleidson Nogueira Dias. O projeto de pesquisa (anexo) foi aprovado em banca de qualificação e estamos, atualmente, na fase de validação do instrumento de pesquisa. O Dr. Cleidson Nogueira me indicou seu nome como um especialista em gestão e tecnologia, motivo pelo qual solicito a gentileza em colaborar com a presente pesquisa avaliando os itens do instrumento de coleta de dados em anexo. Nesse sentido, encaminho à V.Sa. uma versão preliminar de roteiro de avaliação de transparência e accountability de algoritmos em serviços públicos digitais para avaliação, à luz dos seus relevantes e destacados conhecimentos e experiência na área de gestão e tecnologia, com vistas ao aprimoramento do instrumento. A avaliação solicitada pretende confirmar a adequação dos itens ao objetivo do instrumento. Solicito avaliar a possibilidade de responder até o dia __/__/2019. Encaminho, em anexo, o projeto de pesquisa aprovado e o roteiro para avaliação, contendo as instruções necessárias. Permaneço à sua disposição para esclarecimentos adicionais. Cordialmente, Douglas Saldanha 127 Apêndice H – Publicação científica do mestrando relacionado à pesquisa da dissertação Artigo aceito para publicação: SALDANHA, Douglas Morgan Fullin; SILVA, M. B. Transparência e accountability de algoritmos governamentais: o caso do sistema eletrônico de votação brasileiro. CADERNOS EBAPE.BR (FGV), 2020. 128