#TecnometodologiasTCAv: Analítica cultural em imagens de jogos digitais.

• Os textos que compõem esta seção constituem uma investigação dos procedimentos técnico-metodológicos utilizados nas pesquisas de mestrado e de doutorado de integrantes e de egressos do Grupo TCAv.

Título: Em busca da imagem videojográfica: uma cartografia das imagens de jogos digitais de 1976 a 2017

Nível: Tese de doutorado

Autor: João Ricardo Bittencourt

Orientador: Dr. Gustavo Fischer

Ano de defesa: 2018

Tags: analítica cultural, cultural analytics, games, videogames, jogos digitais, cartografia, imageJ, mineração de dados, análise de dados, big data

Link da tese: http://www.repositorio.jesuita.org.br/handle/UNISINOS/7446

João Ricardo Bittencourt é professor e pesquisador da Unisinos, atuando como coordenador do curso de Jogos Digitais e como professor colaborador nos programas de pós-graduação em Educação e Mestrado Profissional em Gestão da Educacional. Sua tese de doutoramento, Em busca da imagem videojográfica: uma cartografia das imagens de jogos digitais de 1976 a 2017, defendida em 2018 no programa de pós-graduação em Ciências da Comunicação da Unisinos, sob orientação do professor Dr. Gustavo Fischer, toma como objeto de interesse as imagens de jogos digitais, a partir das quais desenvolve o conceito de “imagem videojográfica”: uma imagem produzida através da relação indissociável entre o operador (jogador) e a máquina (videogame), e que resulta da articulação das dimensões lúdica, maquínica e audiovisual, que são constituintes da experiência de jogo.

Sobre os métodos e procedimentos metodológicos empregados em sua pesquisa, Bittencourt adota uma abordagem arqueológica, que combina o repertório teórico trabalhado na Linha de Pesquisa em Processos Audiovisuais do PPGCC da Unisinos com um sofisticado aparato de técnicas de mineração e análise dados, tendo como finalidade escavar estratos memoriais da história dos jogos digitais, de modo a definir constelações de imagens e de conceitos que (re)montam às condições técnicas, estéticas e performativas para a emergência e evolução das imagens videojográficas. 

Ao investigar um vasto conjunto de jogos entre os anos de 1976 e 2017, Bittencourt encontra em máquinas de jogar do passado pistas e vestígios que apontam para uma melhor compreensão das tendências que conduzem à imagem videojográfica contemporânea. Tal movimento, é potencializado em sua pesquisa pela adoção de procedimentos de análise quantitativa de grandes volumes de dados, que tomam como base a analítica cultural (cultural analitycs) de Lev Manovich, os quais permitiram ao pesquisador investigar mais de mais de 30 mil imagens de jogos. 

A analítica cultural envolve a criação e a aplicação de novas técnicas de visualização de grandes montantes de imagens. São exemplos de utilização de técnicas de analítica cultural os projetos Manga Style Space, que procura criar formas de visualização para mais de um milhão de páginas de mangás, e o projeto Selfiecity, que apresenta uma varredura de mais de 100 mil selfies postados no Instagram em cinco grandes metrópoles mundiais – Bangkok, Berlim, Moscou, Nova York e São Paulo – partindo das premissas de que as imagens publicadas na referida rede social possuem características sociodemográficas e de que cada cultura compartilha imagens diferentes quanto aos seus temas e atributos estilísticos.

No caso da pesquisa de tese de doutoramento de Bittencourt, o autor escolheu o portal MobyGames como ambiente para a coleta de imagens de jogos digitais. O site reúne informações sobre jogos de mais de duzentas plataformas de diferentes épocas – no período em que Bittencourt realizou a pesquisa, o site possuía mais de 63 mil títulos de jogos cadastrados, de 1971 a 2017. 

Para a coleta das imagens, Bittencourt criou um web crawler: um programa capaz de acessar as páginas, extrair informações de cada jogo, salvar em um banco de dados e fazer o download das imagens. A referida aplicação foi programada em linguagem Python, utilizando a ferramenta Scrapy. Já o banco de dados, foi produzindo utilizando o software MongoDB.

O procedimento de coleta das imagens ocorreu obedecendo-se a alguns critérios para constituição da amostra. O web crawler criado pelo autor acessou, de forma aleatória, cerca de 500 páginas do site, das quais foram extraídas informações de cinco jogos apresentados em cada um delas, também escolhidos por sorteio, totalizando, ao final deste processo, 2.686 jogos – correspondendo a 4,26% do volume total de jogos cadastrados no portal MobyGames. Além disso, deste conjunto de jogos, foram obtidas 31.086 imagens (screenshots).

As tabelas a seguir apresentam os atributos, definidos pelo autor, para consulta e extração de informações de jogos (e de suas imagens) acessados no portal MobyGames pelo web crawler e armazenados no banco de dados.

Desta maneira, foram criadas coleções de imagens no banco de dados. Para cada imagem armazenada, foram analisadas/calculadas algumas características (features), descritas na tabela a seguir.

Tanto o conjunto das características (features) escolhidas quanto as métricas para análise de cada uma delas foram definidas a partir de um estudo prévio, intitulado What makes photo cultures diferente?, conduzido por Miriam Redi, pesquisadora do Wikimedia Research, que atua na área de visualização de dados e estética computacional (Redi et al, 2016), em parceria com um grupo de pesquisa vinculado a Lev Manovich. Além deste trabalho, outros estudos também embasaram a escolha das caraterísticas para a análise de imagens, dentre os quais, Textural features corresponding to visual perception (Tamura et al, 1978), Affective image classification using features inspired by psychology and art theory (Machajdik; Hanbury, 2010) e An approach to environment psychology (Mehrabian; Russell, 1974).

Definidos os critérios, o pesquisador utilizou, em etapa posterior, o software ImageJ, a partir do qual, selecionando as macros ImageShape e ImagePlot, produziu novos conjuntos de imagens, como, por exemplo, na figura a seguir, que apresenta uma seleção de 16.449 imagens de jogos, de 1976 a 2017, distribuídas segundo critérios de brilho (eixo X) e saturação (eixo Y) – quanto mais para a direita, maior o brilho; quanto mais para cima, mais saturadas são as cores das imagens.

Em etapas posteriores, o pesquisador utilizou outros softwares para realização de experimentos, como, por exemplo, o software de mineração de dados Orange3, que foi utilizado para medir os níveis de acurácia no processo tentativa de classificação automatizada das imagens por década, segundo suas características e atributos; e o software Weka, utilizado em sua tentativa de gerar agrupamentos (clusters) de imagens com base nas categorias de classificação de jogos propostas por Galloway (2006) – figura a seguir.

Ainda, um último movimento de análise empreendido pelo pesquisador foi o cálculo das imagens médias de um conjunto de 12 jogos (predeterminados com base em semelhanças analisadas via software, na etapa anterior). Tomando como base a “cor média” de cada pixel de uma imagem (a média de cores RGB), o software produz uma nova imagem a partir da média entre todas as outras imagens de um determinado jogo. Na figura a seguir são apresentadas algumas dessas imagens médias produzidas ao longo da pesquisa.

Além destes softwares, Bittencourt utilizou, ainda, outros programas mais conhecidos, como o Microsoft Excel e o editor de imagens GIMP, que não são programas específicos para mineração/análise de dados, mas que o auxiliaram na organização e na apresentação dos materiais produzidos ao longo da pesquisa. 

Links para consulta:

Cultural Analytics – http://lab.softwarestudies.com/p/overview-slides-and-video-articles-why.html

Manga Style Spaces – http://lab.softwarestudies.com/2010/11/one-million-manga-pages.html

Selfiecity – http://selfiecity.net/

MobyGames – https://www.mobygames.com/

Python – https://www.python.org/

Scrapy – https://scrapy.org/

MongoDB – https://www.mongodb.com/

What makes photo cultures diferente? – http://manovich.net/index.php/projects/what-makes-photo-cultures-different

Textural features corresponding to visual perception – https://ieeexplore.ieee.org/document/4309999

An approach to environment psychology – https://mitpress.mit.edu/books/approach-environmental-psychology

ImageJ – https://imagej.nih.gov/ij/

Orange3 – https://orange.biolab.si/

Weka – https://www.cs.waikato.ac.nz/ml/weka/

Texto: Tiago Ricciardi Correa Lopes