Modelo de Mensuração da Aprendizagem Socializada Luciane C.J. Deus, Claudia L.R. Motta, Carlo E.T. Oliveira, Carla V.M. Marques Programa de Pós-Graduação em Informática – Universidade Federal do Rio de Janeiro Avenida Brigadeiro Trompowski, s/n – Cidade Universitária – 20.001-970 Rio de Janeiro – RJ– Brasil {lujasmin,cetoli}@gmail.com, claudiam@nce.ufrj.br, abrapacarla@hotmail.com Abstract. The research presents a Measurement Model of Socialized Learning to be applied in social networks, with the primary objective of enabling the monitoring of developments in the cognitive profile of the participant, based on quantitative and qualitative data from the interactions and assessments. The motivation of this research is to use the model as a basis for the development of computational devices that allow the formation of connections, increasing the cognitive competence of the conference participants. Resumo. A pesquisa apresenta um Modelo de Mensuração da Aprendizagem Socializada a ser aplicado em redes sociais, com o objetivo principal de permitir o acompanhamento da evolução do perfil cognitivo do participante, com base em dados quantitativos e qualitativos das interações e avaliações. A motivação desta pesquisa é a utilização do modelo como uma base para o desenvolvimento de dispositivos de computação que permitem a formação de ligações, possibilitando o aumento da competência cognitiva dos participantes. 1. Introdução Diante de um mundo em rede, para obtermos a informação é necessário explorar e, cada vez mais, a capacidade de sintetizar e reconhecer conexões são habilidades valiosas. Precisamos alcançar nossa competência de formar ligações, nos conectarmos e nos tornarmos mais socializados. Uma fonte crescente e influente de aprendizagem social é a modelação simbólica global e variada que ocorre por meio da mídia eletrônica e que pode transmitir de forma simultânea uma variedade virtualmente ilimitada de informações, tornando a modelação eletrônica um veículo poderoso para mudanças transculturais e sociopolíticas. (Bandura, 2008). Nesse cenário, o professor precisa assumir o papel real de mediador para acompanhar o aprendizado dos alunos e, através da construção da rede de conexões entre eles, também participar, aproveitando e orientando as oportunidades de aprendizagem. Assim, terá a possibilidade de tornar o conteúdo das conexões de relevância através das mediações. Considerando esse contexto, iniciamos a pesquisa investigando a hipótese de que se tivermos um modelo de mensuração das interações dos participantes em uma rede social poderemos acompanhar a evolução do seu perfil cognitivo para propor mediação. Portanto, a motivação dessa pesquisa é apresentar o Modelo de Mensuração da Aprendizagem Socializada para ser aplicado nas redes sociais, auxiliando na construção de engenhos computacionais que possibilitem a formação de conexões, aumentando a competência cognitiva coletiva dos participantes. 2. Trabalhos Relacionados No trabalho de Vasconcelos et al. (2011) é apresentado o uso do modelo de decomposição tensorial como ferramenta de análise multilinear dos dados. Com o intercruzamento dos critérios e características que podem potencializar a avaliação da aprendizagem em ambientes virtuais, há uma ressignificação dos dados quantitativos, que não são considerados apenas como critério de avaliação, mas como possibilidade de intervenção pedagógica. Em nossa pesquisa também utilizamos dados quantitativos que são confrontados com a percepção dos pares da comunidade, para agregar valores qualitativos na medição. A correlação que o Modelo propõe entre os dados quantitativos e qualitativos resulta no grau de associatividade entre as variáveis, confirmando ou refutando o perfil cognitivo do participante. Com esse resultado de classificação de perfis cognitivos o mediador pode, como no trabalho relacionado, realizar intervenção pedagógica, orientando a formação de conexão entre os participantes de diferentes perfis. Encontramos na pesquisa de Santaella (2004) uma investigação das características cognitivas do tipo de leitor que ela chamou de imersivo, que tem como marca identificatória a interatividade. Porém, a autora buscou encontrar um perfil holístico capaz de delinear os traços definidores de um novo modo de ler próprio do ciberespaço, considerando que sua linguagem é a hipermídia. Adaptamos e definimos os perfis cognitivos dos participantes conforme suas interações, exploradas através dos logs da plataforma, sendo os dados quantitativos. Extraímos em Meira et al. (2011) as métricas necessárias para obter os dados qualitativos, quanto as informações sobre os relacionamentos dos nós nas análises das interações e da percepção dos pares na rede social,. Assim, conforme o trabalho de Martele & Silva (2004), estudos usam combinações de diferentes metodologias de pesquisa quantitativa e qualitativa, respaldadas pelos arcabouços teóricos próprios aos campos epistemológicos implicados nas análises, como no caso de nossa proposta, onde a combinação da metodologia de análise de redes com uma base teórica sólida amplia os espaços de pesquisa. A proposta almeja a partir dos estudos correlacionados, mensurar a aprendizagem socializada na rede social, trabalhando com dados quantitativos e qualitativos, oriundos das interações e da percepção dos próprios participantes da plataforma em relação aos seus pares. 3. Visão geral do modelo O modelo de mensuração deve medir e acompanhar a evolução da aprendizagem socializada da rede, através da exploração das interações dos participantes, que estão armazenadas nos logs. A base de teste para validação do modelo é a plataforma ActivUFRJ (Ambiente Cooperativo para o Trabalho Integrado e Virtual da UFRJ), que possui vários logs de interação entre alunos no seu banco de dados, abordada de forma mais detalhada na seção 6 desse artigo. A realização da pesquisa possui duas rotas interatuantes. De um lado a rota teórica que visa à seleção de conceitos e métricas que responde as indagações da pesquisa, definindo as premissas do modelo de mensuração e norteando o estudo de caso com uma rede social existente e em uso, que serviu de base de dados para validar seu propósito. E a outra rota totalmente prática que propõe um ambiente inovador que desde o seu planejamento até seu desenvolvimento é fundamentado pelo Modelo apresentado e validado nesse estudo. Nesse artigo, o foco principal é a primeira rota, o Modelo de Mensuração, e as demais seções a seguir irão descrever detalhadamente esse objeto de estudo. 4. O Modelo de Mensuração Para a construção do Modelo de Mensuração utilizamos duas abordagens, sendo as métricas usualmente aplicadas na análise das redes sociais e os perfis cognitivos que esperamos identificar nas interações. A Figura 1 apresenta o modelo com as dimensões trabalhadas por abordagens, avaliações realizadas e medida de validação. Figura 1- Visão Detalhada do Modelo de Mensuração A abordagem “Métricas Redes Sociais” se baseia em Meira et al. (2011), que apresenta como principais métricas para análise de redes sociais: Caminho: é qualquer sequência entre dois nós de interesses. Distância é calculada pela quantidade de arestas entre eles. Centralidade: é uma medida que dá uma noção do poder social de um nó, pois indica quão bem conectado está o nó. A posição de um nó na rede social é um fator determinante para a influência na rede, também conhecida como poder social. Popularidade: é grau de entrada (in-degree) ou saída (out-degree), isto é, a quantidade de conexões que chegam e saem do nó, quantos outros nós se relacionam com o nó em questão (in-degree) e com quantos outros nós esse nó em questão se relaciona (outdegree). Densidade: é uma medida calculada através da proporção entre os relacionamentos existentes no nó em relação à quantidade máxima de relacionamentos possíveis para o nó. No intuito de fortalecer o modelo proposto, buscamos também uma abordagem que está relacionada ao perfil cognitivo do usuário que utiliza o ciberespaço. E a partir da definição do perfil cognitivo imerso de Santaella (2004), entendemos a consonância desse perfil que possui habilidades para estimular e contribuir com a aprendizagem socializada, como almejado na plataforma em desenvolvimento, que é outra vertente dessa pesquisa. Fizemos um recorte no sentido de nos embasar quanto ao perfil imerso e adaptar os termos utilizados na pesquisa para definição dos demais perfis cognitivos que desejamos classificar os participantes do ambiente explorado. Essa adaptação foi porque o foco da pesquisa não é o modo de ler do perfil imerso, mas como é a sua interação com os demais participantes, como incentivar a migração de outros perfis encontrados para o perfil imerso, especificamente estimulando as ações relacionadas à aprendizagem socializada e inteligência coletiva. Assim, a definição dos perfis cognitivos conforme o contexto dessa pesquisa é apresentado a seguir. Figura 3. Definição dos perfis cognitivos do Modelo de Mensuração Considerando que os perfis são definidos de acordo com a interação na rede social, a classificação dos participantes é resultado da exploração dos logs da plataforma, previsto no modelo como avaliação indireta, detalhada na subseção 5.1., juntamente com as demais avaliações apresentadas na seção. 5. Metodologia A metodologia empregada foi a realização de estudo de caso, definido como quase experimento, que para Rea & Parker (2000) são delineamentos de pesquisa que não têm distribuição aleatória dos sujeitos pelos tratamentos, nem grupos-controle. O estudo de caso utilizou os logs da Comunidade Neuropedagogia em Informática I da plataforma ActivUFRJ, durante 3 meses correspondentes a 1ª etapa do ano de 2012, meses de março, abril e maio. Com os resultados obtidos na Avaliação em Pares e também na Avaliação Indireta através da exploração de logs, realizamos a conversão da pontuação e interação em rankings de participantes. Após utilizamos a medida de Correlação de Kendall-tau para aferir e validar o modelo proposto, conforme apresentamos nas seções a seguir. 6. O ActivUFRJ Essa plataforma tem como objetivo facilitar a formação e a manutenção de redes de conhecimentos na UFRJ para proporcionar o encontro entre pessoas com interesses similares (Cruz, 2010). Atualmente é uma rede social utilizada nas disciplinas oferecidas no Programa de Pós-Graduação em Informática – PPGI/UFRJ. Diversas ferramentas são disponibilizadas para apoiar a aprendizagem colaborativa como fórum, blog, microblog, WIKI, upload de arquivos, agenda, avaliações, notícias e chat, além das funcionalidades de alterar perfil, comunidades e novidades. O banco de dados da plataforma é o Apache CouchDB, que é um banco de dados livre, de código aberto e orientado a documentos, escolhido por ser distribuído, considerando que a plataforma foi projetada para atender um grande número de usuários. Cada registro em uma base de dados é armazenado em forma de documento. As consultas ao banco de dados foram através da linguagem de programação Python, especificamente com seus comandos list comprehensions1, principalmente na exploração dos dados para Avaliação Indireta, da próxima seção. 7. Resultados e Análises das Avaliações 7.1. Abordagem Perfil Cognitivo A abordagem referente ao perfil cognitivo possui apenas um tipo de investigação, nomeada de Avaliação Indireta. A Avaliação Indireta é baseada na exploração dos logs, semanalmente, a fim de classificar a evolução dos participantes quanto aos perfis cognitivos. Primeiramente realizamos um levantamento das informações sobre a estruturação das características a priori associadas aos possíveis perfis, com o recurso e descrição, conforme encontrados no Banco de Dados. 1 List comprehension é um construtor de processamento de listas em linguagem de programação. Na Tabela 1 é apresentado o resultado dessa estruturação, sendo uma lista com as características a serem exploradas na rede e os pesos que devem verificados para classificação dos participantes por perfil cognitivo de interação. Tabela 1. Lista das ações exploradas no modelo Contemplativo Ação Movente Imerso Recursos Interação Karma Interação Karma Interação Karma <1 +1 1a2 +5 >= 3 +10 <2 +1 2a4 +5 >=5 +10 <2 +1 2a4 +5 >=5 +10 Comentar Arquivo Documento Microblog Arquivo Documento Perfil Página <2 +1 2a4 +5 >=5 +10 Removeu Post do Microblog <1 +1 1a2 +5 >=3 +10 Criar Escrever Alterar Página Wiki O valor de karma presente na tabela é quantitativo e indica pontuação obtida nas ações por perfil. Porém é preciso destacar que conforme Mamani & Gerosa (2011) esse valor não indica a qualidade da contribuição. Gerado o total de pontuação por participante, segundo as interações realizadas semanalmente, foram estabelecidos critérios conforme Tabela 2, com definição de intervalos para a classificação dos participantes quanto ao perfil cognitivo. Tabela 2. Critérios para classificação do perfil cognitivo Total de karma Perfil 5 a 20 Contemplativo 20 a 35 Movente 35 a 50 Imerso Assim acompanhamos o perfil cognitivo de cada participante por semana, possibilitando verificar a evolução do aluno na comunidade da plataforma, conforme Tabela 3, onde apresentamos alguns resultados padrões de perfis encontrados. Semana 1 Semana 2 Semana 3 Semana 4 Semana 5 Semana 6 Semana 7 Semana 8 Semana 9 Tabela 3. Padrões de evolução do perfil cognitivo por semanas Aluno 1 C M I M M M I I I Aluno 2 C C C C C C C C C Aluno 4 C M M C M C C M M Aluno 5 C C M C M C C M C Aluno 6 C C C C C C C C M Aluno 7 C C M C C I C M C Aluno 11 C C M M M C C M M Aluno 12 C C C C M C C M C Aluno 13 C C C C C C C M M Aluno 14 C M C C C C C C C Participantes A tabela não contempla todos os alunos, mas exibe os padrões de resultados obtidos escolhidos para melhor demonstração. Concluímos que houve oscilação na estrutura dos dados da maioria dos alunos durante as semanas do curso. E que apesar de alguns participantes terem conseguido evoluir do perfil cognitivo Contemplativo para o Movente, apenas o Aluno 1 alcançou o desejado, ou seja, a evolução do perfil cognitivo para o Imerso no final do curso. Observamos que os alunos que ao final do curso se encontraram ainda no perfil Contemplativo estiveram nesse perfil predominantemente nas demais semanas. Continuando a investigação, acompanhamos com a pontuação total dos participantes por semana, a evolução da comunidade, que apresentou instabilidade conforme demonstra a Figura 4. Figura 4. Gráfico da evolução do total de karma da Comunidade por semana Para confirmar a falta de estruturação dos dados, avançamos no Modelo de Mensuração investigando a percepção dos pares da mesma comunidade em relação as interações dos demais participantes, utilizando outra abordagem, apresentada na próxima subseção. 7.2. Abordagem Métricas de Redes Sociais Nesta dimensão são propostas 2 tipos de avaliações: por Pares e Grupal. Ambas que utilizam as métricas de Redes Socais. Na Avaliação Direta, ou Grupal, aplicamos o questionário composto por 16(dezesseis) perguntas, construído no GoogleDocs (Google SpreadSheet) e que foi compartilhado aos participantes. Considerando que essa avaliação dá uma percepção geral da comunidade, apresentando análise mais discursiva, para atender o escopo deste artigo, apresentaremos com mais detalhamento apenas a Avaliação por Pares. Esta é utilizada na correlação com a Avaliação Indireta, para validação do Modelo de Mensuração e corresponde a percepção dos participantes sobre as interações dos demais do grupo. 7.2.1 Avaliação por Pares É uma votação, por pares, onde cada participante da comunidade opina sobre a participação dos outros na comunidade, a cada semana na plataforma, através do recurso “Avaliações”. Foi disponibilizada uma pergunta por métrica, contendo a descrição e uma listagem dos participantes a serem votados. A votação foi por ordenação dos participantes, formando um Ranking, conforme Tabela 3, que apresenta apenas os alunos que ocuparam os primeiros postos. Ao analisar os dados, podemos constatar que os alunos 1, 5 e 7 que tinham se destacado nas primeiras posições do ranking das pontuações também ocuparam os primeiros postos nas dimensões Caminho, Popularidade e Densidade, nos induzindo a acreditar que foram os que mais interagiram e trouxeram novidades para a comunidade. Os alunos 1 e 5 inclusive atingiram postos satisfatórios também na dimensão Centralidade. Os Alunos 12, 13 e 14 apesar de não se destacarem na pontuação do karma, ocuparam os primeiros postos na dimensão Centralidade, apontando suas características de liderança. Tabela 3. Ranking dos participantes na Avaliação em Pares Aluno 1 5 7 12 13 14 Pontuação 271 127 139 111 125 94 Ranking 1 5 4 7 6 13 Caminho Popularidade 2 3 1 7 4 2 1 3 6 15 8 Densidade 3 1 2 5 13 9 Centralidade 6 5 11 1 3 2 O resultado da votação retrata a percepção dos participantes em relação aos seus pares da Comunidade quanto à atuação no curso, porém para aferir o modelo foi correlacionada com o ranking que equivale a ordenação da pontuação total do karma, conforme apresenta a seção a seguir. 8. Validação do Modelo Objetivando verificar se as dimensões estudadas na avaliação em pares estão altamente correlacionadas com os perfis cognitivos encontrados, o modelo proposto utiliza a medida Kendall-tau para mensurar o grau de associatividade entre as variáveis. Essa medida de correlação foi escolhida por ser específica para trabalhar com medição no nível ordinal, considerando que nas Avaliações em Pares e Indireta, tivemos como resultado um ranking de pontuação. O que medimos foi a intensidade da correlação dos postos (ordem) dos alunos para validar se os perfis cognitivos que definimos nessa proposta têm correlação com o resultado da votação em Pares. Ou seja, qual a correlação das medições quantitativas com as qualitativas. Utilizamos o seguinte software com fins estatísticos: Statistical Package for the Social Sciences (SPSS) 19.0 (versão Trial) para calcular as correlações, através do menu Analyse / Correlate / Bivariate. A medida de correlação de Kendall-tau observa o grau de associatividade entre as variáveis estudadas numa escala absoluta de [-1,1]. O coeficiente de correlação é definido como na Equação 1, onde S é o total efetivo e n são os valores para comparar. Equação 1– Coeficiente de Correlação por postos de Kendall. Segundo Câmara e Silva (2001) se todos os indivíduos tiverem o mesmo posto nas duas variáveis, τ deve ser +1, indicando uma correlação perfeita positiva. Se houver uma discordância perfeita, por exemplo, se um dos postos for o inverso do outro, τ deve ser -1, indicando uma correlação perfeita negativa. E se houver um crescimento do valor de τ entre -1 e 1, então deve corresponder a um acréscimo na relação entre as duas variáveis. Com os resultados obtidos na Avaliação em Pares e também na Avaliação Indireta através da exploração de logs, realizamos a conversão da pontuação e interação em rankings de participantes para correlacionar os dados com o programa SPSS, que resultou na Tabela 4. Tabela 4. Correlação da Avaliação Indireta com a Avaliação em Pares Ranking Total Medida da Correlação Ranking da Semana Métricas Coeficientes Correlação de Kendall 's tau p-value Coeficientes p-value Caminho 0,363 ,071 0,495 ,014* Centralidade 0,358 ,047* 0,353 ,048* Popularidade 0,294 ,099 0,412 ,021* Densidade 0,324 ,070 0,500 ,005** Média * Correlação significativa para o p-value 0,05 0,335 0,440 ** Correlação significativa para o p-value 0,01 O ranking da Avaliação em Pares foi correlacionado com duas variáveis, sendo o resultado do ranking da pontuação total no curso e a outra o ranking da semana referente a aplicação do questionário. Podemos observar que ao correlacionar as variáveis obtivemos um resultado satisfatório em todas as métricas, considerando que todos os coeficientes apontaram para números entre 0 e 1. Ressaltamos ainda que ao correlacionar com a semana da aplicação da Avaliação em Pares, tivemos um ganho nos resultados, principalmente quanto aos resultados dos p-value > α = 0,05 ou 0,01, que demonstra que a diferença entre os rankings não é significativa. Portanto, a validação do Modelo proposto pela pesquisa, apresenta indícios de que a percepção dos pares da comunidade, em relação ao perfil dos demais participantes, tem associação com os participantes que se destacaram nas interações e alcançaram os melhores postos no ranking das ações exploradas nos logs. Ou seja, há correlação entre as medições quantitativas e as qualitativas. 9. Considerações Finais O Modelo de Mensuração apresentado pela pesquisa, através de sua aplicação em uma rede social, alcançou o objetivo de medir a aprendizagem socializada no ambiente. A principal contribuição é que esse Modelo de Mensuração pode ser aplicado a qualquer engenho computacional que pretenda acompanhar a evolução cognitiva do ambiente, e possivelmente estabelecer estratégias para estimular seus participantes a evoluir de perfis para alcançar crescente socialização. Além disso, apresenta definições de perfis cognitivos com características, pesos e karmas referentes à exploração da inteligência coletiva na rede social, possibilitando novas pesquisas para aprofundar as investigações nessa área. Nesse contexto, é que se apresenta a outra vertente dessa pesquisa como continuidade do estudo, propondo o desenvolvimento de uma plataforma conectivista para apoiar a aprendizagem socializada. O ALIAS, Ambiente Lúdico Interpessoal de Aprendizagem Socializada é resultante do Modelo de Mensuração e está sendo implementado segundo os requisitos gerados. Segundo Deus at al. (2011), a plataforma utiliza a metáfora de um bairro, com elementos comuns aos jogos colaborativos e as redes sociais, onde alunos e professores serão aprendentes e mediadores no mesmo processo. 10. Referências Bandura, Albert; Azzi, Roberta Gurgel; Polydoro, Suely. (2008) “Teoria Social Cognitiva: conceitos básicos”, Ed. Artmed. Porto Alegre. Cruz, C. C. P; Motta, C. L. R. (2006) “Um Modelo de Sistema de Reputação para Comunidades Virtuais” – In: Anais do Simpósio Brasileiro de Informática na Educação (SBIE 2006), XVII, v.1. Brasília: SBC, p. 92-101. Deus, L. C. J. de, Motta C. L.R., Oliveira C.E.T., Marques C.V.M., Chaillou D. (2011). Promovendo aprendizagem socializada através de um modelo de plataforma conectivista. Anais do XXII SBIE - XVII WIE Aracaju. Disponível em: http://www.br-ie.org/sbie-wie2011/SBIE-Trilha5/93197_1.pdf. Acesso em 30/09/12. Deus, L. C. J. de, Motta, C. L.R., Oliveira, C.E.T., Marques, C.V.M. (2011). “Modelo de plataforma conectivista para apoio a aprendizagem socializada e colaborativa”. In: VIII Simpósio Brasileiro de Sistemas Colaborativos, Workshop de Teses e Dissertações. Paraty, Rio de Janeiro. Mamani, E.Z.S. ; Gerosa, M. A. (2011) “Cálculo de Reputação em Redes Sociais”. In: Simpósio Brasileiro de Sistemas Colaborativos, Workshop de Teses e Dissertações, pp. 202-207. Paraty, Rio de Janeiro. Marteleto, R.M.; Silva, A. B.O. (2004) “Redes e capital social: o enfoque da informação para o desenvolvimento local”. Revista Ciência da Informação, V.33, n3. Brasília. Disponível em: http://revista.ibict.br/ciinf/index.php/ciinf/article/viewArticle/518 Acesso em 30/09/12. Meira, S. R. de L.; Costa, R. A.; Jucá, P. M.; Silva, E. M. da. (2011). “Redes Sociais”, capítulo 4. In: Pimentel, M.; Fuks, H.(org). “Sistemas Colaborativos”, Ed. Elsevier, Rio de Janeiro. Rea, L. M.; Parker, R. A. (2000) “Metodologia de pesquisa – do planejamento à execução”. São Paulo: Pioneira. Santaella, L. (2004). “Navegar no Ciberespaço”. O perfil cognitivo do leitor imersivo. Editora Paulus. Vasconcelos, F. H. L., Silva, T. E. V., Gomes, P.R.B., Nunes, A.O, Andriola, W.B., Almeida, A.L.F, Mota, J. C. M. (2011). “Análise do Desempenho Discente em um Ambiente Virtual de Aprendizagem Através de Decomposições Tensoriais Multilineares”. Anais do XXII SBIE - XVII WIE Aracaju.