ARQUITETURA
A arquitetura deste projeto é composta por três módulos distintos:
(1) Extração de Informação
(2) Indexação, Pesquisa e Similaridade
(3) Desenvolvimento e Alojamento do Website

Extração de Informação
Para a concretização deste projeto recorremos ao Arquivo.pt. Em concreto, foram consideradas as 2979 versões do website do jornal Notícias da Covilhã preservadas pelo Arquivo.pt no período de tempo compreendido entre 2009 e 2019. Para obter os URLs das 2979 versões, recorremos ao pacote de software Python "PublicNewsArchive" (prémio Arquivo.pt 2022). Para automatizar a extração de informações foram aplicadas técnicas de web scraping que resultaram na obtenção de 2661 notícias, 1327 imagens e 372 capas do jornal. De forma a complementar a informação extraída e enriquecer o conteúdo das notícias coletadas recorremos ao software YAKE, para a extração de palavras-chave relevantes, e ao spaCy para identificar e extrair entidades presentes no texto. Por fim, através do pacote de Text-to-Speech da Google foi possível a conversão da informação textual para áudio, permitindo ao utilizador a locução da notícia.

Indexação, Pesquisa e Similaridade
Para a indexação e pesquisa dos dados extraídos recorremos à base de dados NoSQL redis.
Em concreto, foram construídos três índices de dados para dar resposta aos diferentes tipos de pesquisa: notícias, imagens e capas de jornal. Por exemplo, cada elemento da notícia (como título, conteúdo, data, etc.) é indexado num índice invertido e representado pela frequência dos seus termos utilizando a medida TF.IDF (Term Frequency - Inverse Document Frequency).

Essa abordagem tradicional permite aos utilizadores pesquisar por notícias que contenham um termo específico (ou conjunto de termos) num determinado período de tempo. Além disso, cada notícia é também representada no espaço vetorial a partir de um vetor de palavras de 512 dimensões, gerado pelo modelo de linguagem natural BERTimbau. A representação semântica de cada notícia, permite a aplicação de um algoritmo de pesquisa de similaridade (Approximate Nearest Neighbors) e está na base de uma das principais funcionalidades deste projeto: a recomendação de notícias do passado.

Os outros dois índices oferecem ao utilizador a pesquisa num universo de 1327 imagens (incluindo a recomendação de imagens similares), bem como a pesquisa de elementos textuais no conjunto das 372 capas indexadas.

Desenvolvimento e Alojamento do website
Para o desenvolvimento do website recorreu-se à framework Flask e à ligação com a base de dados NoSQL Redis para a obtenção dos elementos dinâmicos. A virtualização desta arquitetura é garantida a partir de um sistema Docker.


A figura abaixo ilustra a arquitetura de suporte ao sistema desenvolvido:

CONTRIBUIÇÕES

Com o desenvolvimento deste projeto, foi possível recriar o website do jornal Notícias da Covilhã (2009 - 2019) e recuperar 10 anos de notícias, imagens e capas preservadas pelo Arquivo.pt. De entre os resultados obtidos com a implementação do projeto, destacam-se:

• o desenvolvimento de um sistema dinâmico que exibe notícias e capas do passado, publicadas no dia e na semana em curso, respetivamente;
• a implementação de um sistema de pesquisa de notícias, imagens e capas do jornal;
• a introdução de um sistema de recomendação de notícias e de similaridade de imagens;
• a adoção de um sistema de partilha de conteúdos (nomeadamente notícias e capas) nas redes sociais;
• a implementação de um sistema de conversão texto para fala (text2speech), que possibilita a audição das notícias;
• a criação de um repositório do projeto.

AUTORES
Este projeto foi desenvolvido por Rodrigo Silva (aluno da Universidade da Beira Interior) sob a orientação de Ricardo Campos (Professor da Universidade da Beira Interior e afiliado ao INESCTEC e Ci2@IPT) no âmbito da unidade curricular de projeto do 1.º ciclo em Engenharia Informática da Universidade da Beira Interior (UBI).