Modelo de Mensuração da Aprendizagem Socializada
Luciane C.J. Deus, Claudia L.R. Motta, Carlo E.T. Oliveira, Carla V.M. Marques
Programa de Pós-Graduação em Informática – Universidade Federal do Rio de Janeiro
Avenida Brigadeiro Trompowski, s/n – Cidade Universitária – 20.001-970
Rio de Janeiro – RJ– Brasil
{lujasmin,cetoli}@gmail.com, claudiam@nce.ufrj.br,
abrapacarla@hotmail.com
Abstract. The research presents a Measurement Model of Socialized Learning
to be applied in social networks, with the primary objective of enabling the
monitoring of developments in the cognitive profile of the participant, based
on quantitative and qualitative data from the interactions and assessments.
The motivation of this research is to use the model as a basis for the
development of computational devices that allow the formation of connections,
increasing the cognitive competence of the conference participants.
Resumo. A pesquisa apresenta um Modelo de Mensuração da Aprendizagem
Socializada a ser aplicado em redes sociais, com o objetivo principal de
permitir o acompanhamento da evolução do perfil cognitivo do participante,
com base em dados quantitativos e qualitativos das interações e avaliações. A
motivação desta pesquisa é a utilização do modelo como uma base para o
desenvolvimento de dispositivos de computação que permitem a formação de
ligações, possibilitando o aumento da competência cognitiva dos
participantes.
1. Introdução
Diante de um mundo em rede, para obtermos a informação é necessário explorar e, cada
vez mais, a capacidade de sintetizar e reconhecer conexões são habilidades valiosas.
Precisamos alcançar nossa competência de formar ligações, nos conectarmos e nos
tornarmos mais socializados.
Uma fonte crescente e influente de aprendizagem social é a modelação simbólica
global e variada que ocorre por meio da mídia eletrônica e que pode transmitir de forma
simultânea uma variedade virtualmente ilimitada de informações, tornando a modelação
eletrônica um veículo poderoso para mudanças transculturais e sociopolíticas. (Bandura,
2008).
Nesse cenário, o professor precisa assumir o papel real de mediador para
acompanhar o aprendizado dos alunos e, através da construção da rede de conexões
entre eles, também participar, aproveitando e orientando as oportunidades de
aprendizagem. Assim, terá a possibilidade de tornar o conteúdo das conexões de
relevância através das mediações.
Considerando esse contexto, iniciamos a pesquisa investigando a hipótese de que
se tivermos um modelo de mensuração das interações dos participantes em uma rede
social poderemos acompanhar a evolução do seu perfil cognitivo para propor mediação.
Portanto, a motivação dessa pesquisa é apresentar o Modelo de Mensuração da
Aprendizagem Socializada para ser aplicado nas redes sociais, auxiliando na construção
de engenhos computacionais que possibilitem a formação de conexões, aumentando a
competência cognitiva coletiva dos participantes.
2. Trabalhos Relacionados
No trabalho de Vasconcelos et al. (2011) é apresentado o uso do modelo de
decomposição tensorial como ferramenta de análise multilinear dos dados. Com o
intercruzamento dos critérios e características que podem potencializar a avaliação da
aprendizagem em ambientes virtuais, há uma ressignificação dos dados quantitativos,
que não são considerados apenas como critério de avaliação, mas como possibilidade de
intervenção pedagógica.
Em nossa pesquisa também utilizamos dados quantitativos que são confrontados
com a percepção dos pares da comunidade, para agregar valores qualitativos na
medição. A correlação que o Modelo propõe entre os dados quantitativos e qualitativos
resulta no grau de associatividade entre as variáveis, confirmando ou refutando o perfil
cognitivo do participante. Com esse resultado de classificação de perfis cognitivos o
mediador pode, como no trabalho relacionado, realizar intervenção pedagógica,
orientando a formação de conexão entre os participantes de diferentes perfis.
Encontramos na pesquisa de Santaella (2004) uma investigação das
características cognitivas do tipo de leitor que ela chamou de imersivo, que tem como
marca identificatória a interatividade. Porém, a autora buscou encontrar um perfil
holístico capaz de delinear os traços definidores de um novo modo de ler próprio do
ciberespaço, considerando que sua linguagem é a hipermídia. Adaptamos e definimos os
perfis cognitivos dos participantes conforme suas interações, exploradas através dos
logs da plataforma, sendo os dados quantitativos.
Extraímos em Meira et al. (2011) as métricas necessárias para obter os dados
qualitativos, quanto as informações sobre os relacionamentos dos nós nas análises das
interações e da percepção dos pares na rede social,.
Assim, conforme o trabalho de Martele & Silva (2004), estudos usam
combinações de diferentes metodologias de pesquisa quantitativa e qualitativa,
respaldadas pelos arcabouços teóricos próprios aos campos epistemológicos implicados
nas análises, como no caso de nossa proposta, onde a combinação da metodologia de
análise de redes com uma base teórica sólida amplia os espaços de pesquisa.
A proposta almeja a partir dos estudos correlacionados, mensurar a
aprendizagem socializada na rede social, trabalhando com dados quantitativos e
qualitativos, oriundos das interações e da percepção dos próprios participantes da
plataforma em relação aos seus pares.
3. Visão geral do modelo
O modelo de mensuração deve medir e acompanhar a evolução da aprendizagem
socializada da rede, através da exploração das interações dos participantes, que estão
armazenadas nos logs.
A base de teste para validação do modelo é a plataforma ActivUFRJ (Ambiente
Cooperativo para o Trabalho Integrado e Virtual da UFRJ), que possui vários logs de
interação entre alunos no seu banco de dados, abordada de forma mais detalhada na
seção 6 desse artigo.
A realização da pesquisa possui duas rotas interatuantes. De um lado a rota
teórica que visa à seleção de conceitos e métricas que responde as indagações da
pesquisa, definindo as premissas do modelo de mensuração e norteando o estudo de
caso com uma rede social existente e em uso, que serviu de base de dados para validar
seu propósito. E a outra rota totalmente prática que propõe um ambiente inovador que
desde o seu planejamento até seu desenvolvimento é fundamentado pelo Modelo
apresentado e validado nesse estudo.
Nesse artigo, o foco principal é a primeira rota, o Modelo de Mensuração, e as
demais seções a seguir irão descrever detalhadamente esse objeto de estudo.
4. O Modelo de Mensuração
Para a construção do Modelo de Mensuração utilizamos duas abordagens, sendo as
métricas usualmente aplicadas na análise das redes sociais e os perfis cognitivos que
esperamos identificar nas interações.
A Figura 1 apresenta o modelo com as dimensões trabalhadas por abordagens,
avaliações realizadas e medida de validação.
Figura 1- Visão Detalhada do Modelo de Mensuração
A abordagem “Métricas Redes Sociais” se baseia em Meira et al. (2011), que
apresenta como principais métricas para análise de redes sociais:
Caminho: é qualquer sequência entre dois nós de interesses. Distância é calculada pela
quantidade de arestas entre eles.
Centralidade: é uma medida que dá uma noção do poder social de um nó, pois indica
quão bem conectado está o nó. A posição de um nó na rede social é um fator
determinante para a influência na rede, também conhecida como poder social.
Popularidade: é grau de entrada (in-degree) ou saída (out-degree), isto é, a quantidade
de conexões que chegam e saem do nó, quantos outros nós se relacionam com o nó em
questão (in-degree) e com quantos outros nós esse nó em questão se relaciona (outdegree).
Densidade: é uma medida calculada através da proporção entre os relacionamentos
existentes no nó em relação à quantidade máxima de relacionamentos possíveis para o
nó.
No intuito de fortalecer o modelo proposto, buscamos também uma abordagem
que está relacionada ao perfil cognitivo do usuário que utiliza o ciberespaço. E a partir
da definição do perfil cognitivo imerso de Santaella (2004), entendemos a consonância
desse perfil que possui habilidades para estimular e contribuir com a aprendizagem
socializada, como almejado na plataforma em desenvolvimento, que é outra vertente
dessa pesquisa.
Fizemos um recorte no sentido de nos embasar quanto ao perfil imerso e adaptar
os termos utilizados na pesquisa para definição dos demais perfis cognitivos que
desejamos classificar os participantes do ambiente explorado.
Essa adaptação foi porque o foco da pesquisa não é o modo de ler do perfil
imerso, mas como é a sua interação com os demais participantes, como incentivar a
migração de outros perfis encontrados para o perfil imerso, especificamente estimulando
as ações relacionadas à aprendizagem socializada e inteligência coletiva.
Assim, a definição dos perfis cognitivos conforme o contexto dessa pesquisa é
apresentado a seguir.
Figura 3. Definição dos perfis cognitivos do Modelo de Mensuração
Considerando que os perfis são definidos de acordo com a interação na rede
social, a classificação dos participantes é resultado da exploração dos logs da
plataforma, previsto no modelo como avaliação indireta, detalhada na subseção 5.1.,
juntamente com as demais avaliações apresentadas na seção.
5. Metodologia
A metodologia empregada foi a realização de estudo de caso, definido como quase
experimento, que para Rea & Parker (2000) são delineamentos de pesquisa que não têm
distribuição aleatória dos sujeitos pelos tratamentos, nem grupos-controle.
O estudo de caso utilizou os logs da Comunidade Neuropedagogia em
Informática I da plataforma ActivUFRJ, durante 3 meses correspondentes a 1ª etapa do
ano de 2012, meses de março, abril e maio.
Com os resultados obtidos na Avaliação em Pares e também na Avaliação
Indireta através da exploração de logs, realizamos a conversão da pontuação e interação
em rankings de participantes.
Após utilizamos a medida de Correlação de Kendall-tau para aferir e validar o
modelo proposto, conforme apresentamos nas seções a seguir.
6. O ActivUFRJ
Essa plataforma tem como objetivo facilitar a formação e a manutenção de redes de
conhecimentos na UFRJ para proporcionar o encontro entre pessoas com interesses
similares (Cruz, 2010). Atualmente é uma rede social utilizada nas disciplinas
oferecidas no Programa de Pós-Graduação em Informática – PPGI/UFRJ.
Diversas ferramentas são disponibilizadas para apoiar a aprendizagem
colaborativa como fórum, blog, microblog, WIKI, upload de arquivos, agenda,
avaliações, notícias e chat, além das funcionalidades de alterar perfil, comunidades e
novidades.
O banco de dados da plataforma é o Apache CouchDB, que é um banco de dados
livre, de código aberto e orientado a documentos, escolhido por ser distribuído,
considerando que a plataforma foi projetada para atender um grande número de
usuários. Cada registro em uma base de dados é armazenado em forma de documento.
As consultas ao banco de dados foram através da linguagem de programação
Python, especificamente com seus comandos list comprehensions1, principalmente na
exploração dos dados para Avaliação Indireta, da próxima seção.
7. Resultados e Análises das Avaliações
7.1. Abordagem Perfil Cognitivo
A abordagem referente ao perfil cognitivo possui apenas um tipo de investigação,
nomeada de Avaliação Indireta.
A Avaliação Indireta é baseada na exploração dos logs, semanalmente, a fim de
classificar a evolução dos participantes quanto aos perfis cognitivos. Primeiramente
realizamos um levantamento das informações sobre a estruturação das características a
priori associadas aos possíveis perfis, com o recurso e descrição, conforme encontrados
no Banco de Dados.
1
List comprehension é um construtor de processamento de listas em linguagem de programação.
Na Tabela 1 é apresentado o resultado dessa estruturação, sendo uma lista com
as características a serem exploradas na rede e os pesos que devem verificados para
classificação dos participantes por perfil cognitivo de interação.
Tabela 1. Lista das ações exploradas no modelo
Contemplativo
Ação
Movente
Imerso
Recursos
Interação
Karma
Interação
Karma
Interação
Karma
<1
+1
1a2
+5
>= 3
+10
<2
+1
2a4
+5
>=5
+10
<2
+1
2a4
+5
>=5
+10
Comentar
Arquivo
Documento
Microblog
Arquivo
Documento
Perfil
Página
<2
+1
2a4
+5
>=5
+10
Removeu
Post do Microblog
<1
+1
1a2
+5
>=3
+10
Criar
Escrever
Alterar
Página Wiki
O valor de karma presente na tabela é quantitativo e indica pontuação obtida nas
ações por perfil. Porém é preciso destacar que conforme Mamani & Gerosa (2011) esse
valor não indica a qualidade da contribuição.
Gerado o total de pontuação por participante, segundo as interações realizadas
semanalmente, foram estabelecidos critérios conforme Tabela 2, com definição de
intervalos para a classificação dos participantes quanto ao perfil cognitivo.
Tabela 2. Critérios para classificação do perfil cognitivo
Total de
karma
Perfil
5 a 20
Contemplativo
20 a 35
Movente
35 a 50
Imerso
Assim acompanhamos o perfil cognitivo de cada participante por semana,
possibilitando verificar a evolução do aluno na comunidade da plataforma, conforme
Tabela 3, onde apresentamos alguns resultados padrões de perfis encontrados.
Semana
1
Semana
2
Semana
3
Semana
4
Semana
5
Semana
6
Semana
7
Semana
8
Semana
9
Tabela 3. Padrões de evolução do perfil cognitivo por semanas
Aluno 1
C
M
I
M
M
M
I
I
I
Aluno 2
C
C
C
C
C
C
C
C
C
Aluno 4
C
M
M
C
M
C
C
M
M
Aluno 5
C
C
M
C
M
C
C
M
C
Aluno 6
C
C
C
C
C
C
C
C
M
Aluno 7
C
C
M
C
C
I
C
M
C
Aluno 11
C
C
M
M
M
C
C
M
M
Aluno 12
C
C
C
C
M
C
C
M
C
Aluno 13
C
C
C
C
C
C
C
M
M
Aluno 14
C
M
C
C
C
C
C
C
C
Participantes
A tabela não contempla todos os alunos, mas exibe os padrões de resultados
obtidos escolhidos para melhor demonstração.
Concluímos que houve oscilação na estrutura dos dados da maioria dos alunos
durante as semanas do curso. E que apesar de alguns participantes terem conseguido
evoluir do perfil cognitivo Contemplativo para o Movente, apenas o Aluno 1 alcançou o
desejado, ou seja, a evolução do perfil cognitivo para o Imerso no final do curso.
Observamos que os alunos que ao final do curso se encontraram ainda no perfil
Contemplativo estiveram nesse perfil predominantemente nas demais semanas.
Continuando a investigação, acompanhamos com a pontuação total dos
participantes por semana, a evolução da comunidade, que apresentou instabilidade
conforme demonstra a Figura 4.
Figura 4. Gráfico da evolução do total de karma da Comunidade por semana
Para confirmar a falta de estruturação dos dados, avançamos no Modelo de
Mensuração investigando a percepção dos pares da mesma comunidade em relação as
interações dos demais participantes, utilizando outra abordagem, apresentada na
próxima subseção.
7.2. Abordagem Métricas de Redes Sociais
Nesta dimensão são propostas 2 tipos de avaliações: por Pares e Grupal. Ambas que
utilizam as métricas de Redes Socais.
Na Avaliação Direta, ou Grupal, aplicamos o questionário composto por
16(dezesseis) perguntas, construído no GoogleDocs (Google SpreadSheet) e que foi
compartilhado aos participantes.
Considerando que essa avaliação dá uma percepção geral da comunidade,
apresentando análise mais discursiva, para atender o escopo deste artigo,
apresentaremos com mais detalhamento apenas a Avaliação por Pares. Esta é utilizada
na correlação com a Avaliação Indireta, para validação do Modelo de Mensuração e
corresponde a percepção dos participantes sobre as interações dos demais do grupo.
7.2.1 Avaliação por Pares
É uma votação, por pares, onde cada participante da comunidade opina sobre a
participação dos outros na comunidade, a cada semana na plataforma, através do recurso
“Avaliações”. Foi disponibilizada uma pergunta por métrica, contendo a descrição e
uma listagem dos participantes a serem votados.
A votação foi por ordenação dos participantes, formando um Ranking, conforme
Tabela 3, que apresenta apenas os alunos que ocuparam os primeiros postos.
Ao analisar os dados, podemos constatar que os alunos 1, 5 e 7 que tinham se
destacado nas primeiras posições do ranking das pontuações também ocuparam os
primeiros postos nas dimensões Caminho, Popularidade e Densidade, nos induzindo a
acreditar que foram os que mais interagiram e trouxeram novidades para a comunidade.
Os alunos 1 e 5 inclusive atingiram postos satisfatórios também na dimensão
Centralidade.
Os Alunos 12, 13 e 14 apesar de não se destacarem na pontuação do karma,
ocuparam os primeiros postos na dimensão Centralidade, apontando suas características
de liderança.
Tabela 3. Ranking dos participantes na Avaliação em Pares
Aluno
1
5
7
12
13
14
Pontuação
271
127
139
111
125
94
Ranking
1
5
4
7
6
13
Caminho
Popularidade
2
3
1
7
4
2
1
3
6
15
8
Densidade
3
1
2
5
13
9
Centralidade
6
5
11
1
3
2
O resultado da votação retrata a percepção dos participantes em relação aos seus
pares da Comunidade quanto à atuação no curso, porém para aferir o modelo foi
correlacionada com o ranking que equivale a ordenação da pontuação total do karma,
conforme apresenta a seção a seguir.
8. Validação do Modelo
Objetivando verificar se as dimensões estudadas na avaliação em pares estão altamente
correlacionadas com os perfis cognitivos encontrados, o modelo proposto utiliza a
medida Kendall-tau para mensurar o grau de associatividade entre as variáveis.
Essa medida de correlação foi escolhida por ser específica para trabalhar com
medição no nível ordinal, considerando que nas Avaliações em Pares e Indireta, tivemos
como resultado um ranking de pontuação.
O que medimos foi a intensidade da correlação dos postos (ordem) dos alunos
para validar se os perfis cognitivos que definimos nessa proposta têm correlação com o
resultado da votação em Pares. Ou seja, qual a correlação das medições quantitativas
com as qualitativas.
Utilizamos o seguinte software com fins estatísticos: Statistical Package for the
Social Sciences (SPSS) 19.0 (versão Trial) para calcular as correlações, através do menu
Analyse / Correlate / Bivariate.
A medida de correlação de Kendall-tau observa o grau de associatividade entre
as variáveis estudadas numa escala absoluta de [-1,1].
O coeficiente de correlação é definido como na Equação 1, onde S é o total
efetivo e n são os valores para comparar.
Equação 1– Coeficiente de Correlação por postos de Kendall.
Segundo Câmara e Silva (2001) se todos os indivíduos tiverem o mesmo posto
nas duas variáveis, τ deve ser +1, indicando uma correlação perfeita positiva. Se houver
uma discordância perfeita, por exemplo, se um dos postos for o inverso do outro, τ deve
ser -1, indicando uma correlação perfeita negativa. E se houver um crescimento do valor
de τ entre -1 e 1, então deve corresponder a um acréscimo na relação entre as duas
variáveis.
Com os resultados obtidos na Avaliação em Pares e também na Avaliação
Indireta através da exploração de logs, realizamos a conversão da pontuação e interação
em rankings de participantes para correlacionar os dados com o programa SPSS, que
resultou na Tabela 4.
Tabela 4. Correlação da Avaliação Indireta com a Avaliação em Pares
Ranking Total
Medida da
Correlação
Ranking da Semana
Métricas
Coeficientes
Correlação de
Kendall 's tau
p-value
Coeficientes
p-value
Caminho
0,363
,071
0,495
,014*
Centralidade
0,358
,047*
0,353
,048*
Popularidade
0,294
,099
0,412
,021*
Densidade
0,324
,070
0,500
,005**
Média
* Correlação significativa para o p-value 0,05
0,335
0,440
** Correlação significativa para o p-value 0,01
O ranking da Avaliação em Pares foi correlacionado com duas variáveis, sendo o
resultado do ranking da pontuação total no curso e a outra o ranking da semana referente
a aplicação do questionário.
Podemos observar que ao correlacionar as variáveis obtivemos um resultado
satisfatório em todas as métricas, considerando que todos os coeficientes apontaram
para números entre 0 e 1.
Ressaltamos ainda que ao correlacionar com a semana da aplicação da Avaliação
em Pares, tivemos um ganho nos resultados, principalmente quanto aos resultados dos
p-value > α = 0,05 ou 0,01, que demonstra que a diferença entre os rankings não é
significativa.
Portanto, a validação do Modelo proposto pela pesquisa, apresenta indícios de
que a percepção dos pares da comunidade, em relação ao perfil dos demais
participantes, tem associação com os participantes que se destacaram nas interações e
alcançaram os melhores postos no ranking das ações exploradas nos logs. Ou seja, há
correlação entre as medições quantitativas e as qualitativas.
9. Considerações Finais
O Modelo de Mensuração apresentado pela pesquisa, através de sua aplicação em uma
rede social, alcançou o objetivo de medir a aprendizagem socializada no ambiente.
A principal contribuição é que esse Modelo de Mensuração pode ser aplicado a
qualquer engenho computacional que pretenda acompanhar a evolução cognitiva do
ambiente, e possivelmente estabelecer estratégias para estimular seus participantes a
evoluir de perfis para alcançar crescente socialização.
Além disso, apresenta definições de perfis cognitivos com características, pesos
e karmas referentes à exploração da inteligência coletiva na rede social, possibilitando
novas pesquisas para aprofundar as investigações nessa área.
Nesse contexto, é que se apresenta a outra vertente dessa pesquisa como
continuidade do estudo, propondo o desenvolvimento de uma plataforma conectivista
para apoiar a aprendizagem socializada. O ALIAS, Ambiente Lúdico Interpessoal de
Aprendizagem Socializada é resultante do Modelo de Mensuração e está sendo
implementado segundo os requisitos gerados.
Segundo Deus at al. (2011), a plataforma utiliza a metáfora de um bairro, com
elementos comuns aos jogos colaborativos e as redes sociais, onde alunos e professores
serão aprendentes e mediadores no mesmo processo.
10. Referências
Bandura, Albert; Azzi, Roberta Gurgel; Polydoro, Suely. (2008) “Teoria Social
Cognitiva: conceitos básicos”, Ed. Artmed. Porto Alegre.
Cruz, C. C. P; Motta, C. L. R. (2006) “Um Modelo de Sistema de Reputação para
Comunidades Virtuais” – In: Anais do Simpósio Brasileiro de Informática na
Educação (SBIE 2006), XVII, v.1. Brasília: SBC, p. 92-101.
Deus, L. C. J. de, Motta C. L.R., Oliveira C.E.T., Marques C.V.M., Chaillou D. (2011).
Promovendo aprendizagem socializada através de um modelo de plataforma
conectivista. Anais do XXII SBIE - XVII WIE Aracaju. Disponível em:
http://www.br-ie.org/sbie-wie2011/SBIE-Trilha5/93197_1.pdf. Acesso em 30/09/12.
Deus, L. C. J. de, Motta, C. L.R., Oliveira, C.E.T., Marques, C.V.M. (2011). “Modelo
de plataforma conectivista para apoio a aprendizagem socializada e colaborativa”. In:
VIII Simpósio Brasileiro de Sistemas Colaborativos, Workshop de Teses e
Dissertações. Paraty, Rio de Janeiro.
Mamani, E.Z.S. ; Gerosa, M. A. (2011) “Cálculo de Reputação em Redes Sociais”. In:
Simpósio Brasileiro de Sistemas Colaborativos, Workshop de Teses e Dissertações,
pp. 202-207. Paraty, Rio de Janeiro.
Marteleto, R.M.; Silva, A. B.O. (2004) “Redes e capital social: o enfoque da informação
para o desenvolvimento local”. Revista Ciência da Informação, V.33, n3. Brasília.
Disponível em: http://revista.ibict.br/ciinf/index.php/ciinf/article/viewArticle/518
Acesso em 30/09/12.
Meira, S. R. de L.; Costa, R. A.; Jucá, P. M.; Silva, E. M. da. (2011). “Redes Sociais”,
capítulo 4. In: Pimentel, M.; Fuks, H.(org). “Sistemas Colaborativos”, Ed. Elsevier,
Rio de Janeiro.
Rea, L. M.; Parker, R. A. (2000) “Metodologia de pesquisa – do planejamento à
execução”. São Paulo: Pioneira.
Santaella, L. (2004). “Navegar no Ciberespaço”. O perfil cognitivo do leitor imersivo.
Editora Paulus.
Vasconcelos, F. H. L., Silva, T. E. V., Gomes, P.R.B., Nunes, A.O, Andriola, W.B.,
Almeida, A.L.F, Mota, J. C. M. (2011). “Análise do Desempenho Discente em um
Ambiente Virtual de Aprendizagem Através de Decomposições Tensoriais
Multilineares”. Anais do XXII SBIE - XVII WIE Aracaju.