O YouTube Kids exibiu vídeos sobre clareamento de pele, perda de peso, drogas e armas de fogo para crianças de até dois anos no aplicativo. Uma pesquisa do Tech Transparency Project, uma organização sem fins lucrativos com sede nos Estados Unidos, revelou essa descoberta após testes com três contas diferentes, cada qual definida para uma faixa etária diferente do app.

Segundo a ONG, os filtros do Google não foram eficientes para barrar conteúdos inapropriados para os pequenos. O YouTube Kids foi lançado em 2015 como uma versão segura, com curadoria de conteúdo e acesso a vídeos voltados para crianças menores de 13 anos. São três faixas de vídeos: “mais velhos” (9 a 12 anos), “mais novos” (quatro a oito anos) e “pré-escolares” (menores de quatro anos).

Os vídeos mostrados são hospedados no servidor oficial do YouTube (tanto que podem ser acessados no aplicativo original), mas passam por filtros que barram conteúdo impróprio. Além dos algoritmos, há uma equipe de revisão humana e o feedback dos pais para construir uma rede mais segura para os filhos.

Filtros do YouTube Kids com falha
Como era de se esperar, o sistema ainda é falho e deixa passar coisas que não deveriam ser mostradas para crianças. Um exemplo é um programa de culinária cujo tema era a série Breaking Bad, no qual os apresentadores preparam alimentos com metanfetamina. Os apresentadores usam máscaras com respiradores e fazem piadas sobre os riscos de se inalar a fumaça do cozimento, o que pode ser divertido para adultos, mas definitivamente inapropriado para menores de 12 anos.

Há também uma playlist com aulas de violão exibida para crianças de até cinco anos. A aula em si não tem problema algum e poderia ser voltada para os pequenos, mas as músicas passam longe de serem infantis — exatamente porque o vídeo não foi projetado para crianças. O exemplo citado pelo Tech Transparency Project é a canção Cocaine, de Eric Clapton, que fala sobre o consumo de cocaína abertamente.

Os perfis infantis receberam conteúdo destinado a proprietários de armas, como um ranking de almofadas de recuo, usadas para proteger os atiradores do recuo (ou coice, como é popularmente chamado) do tiro. Crianças mais velhas receberam indicação de um vídeo com instruções passo a passo de como construir uma prateleira com compartimento oculto para esconder uma pistola.

Dietas e perda de peso
Um dos conteúdos mais greves, segundo a pesquisa, seriam os vídeos sobre dietas e perda de peso, porque isso poderia trazer prejuízos à imagem corporal de alguém que sequer começou a passar pelas mudanças físicas. Uma publicação de um influenciador de beleza recomendava produtos para clarear a pele, enquanto um desenho animado falava sobre a importância de queimar calorias para perder peso.

“O YouTube Kids é voltado especificamente para crianças pequenas, até mesmo bebês. Este é um produto que, conforme o YouTube, utiliza aprendizado de máquina para filtrar conteúdo prejudicial. É indicado como seguro para crianças, e não esperávamos encontrar a variedade de conteúdo impróprio que encontramos”, explicou a diretora da TTP, Katie Paul, em entrevista ao jornal The Guardian.

Katie disse que o que mais chocou foram conteúdos relacionados a drogas, principalmente porque não há nada que justifique a indicação. No caso de aulas de violão, como mencionado acima, dá para entender a falha porque apenas a letra da música era imprópria. Mas quando há uma série reconhecidamente adulta como Breaking Bad, fica difícil compreender como a filtragem não barrou.

YouTube responde
Em um comunicado enviado ao The Guardian, um porta-voz do YouTube disse que o aplicativo proporciona um ambiente “mais seguro para as crianças explorarem seus interesses e curiosidades”, junto com ferramentas de personalização para pais acompanharem a experiência dos filhos.

“Temos um elevado nível no qual os vídeos precisam se adequar para fazer parte do aplicativo e também capacitamos os pais para controlar o conteúdo que seu filho pode ou não ver. Após análise, removemos ou restringimos a idade de vários vídeos sinalizados do aplicativo Kids”, explicou a plataforma via nota.

Mas, segundo Katie Paul, esses recursos não foram suficientes, portanto fazer curadoria algorítmica pode não ser eficaz quando há crianças envolvidas.”Este é apenas mais um exemplo de que, mesmo quando uma empresa diz que está se esforçando ao máximo para proteger as crianças na curadoria desse conteúdo, ainda vemos danos atingindo algumas das populações mais vulneráveis”.

Esta não é a primeira vez que denúncias assim recaem sobre o YouTube Kids. Em 2019, foram visualizados conteúdos ainda piores: violência, assassinato e suicídio. Na época, muitos desses conteúdos eram camuflados em vídeos do jogo Minecraft ou outros populares para passar pela moderação.