Dia: 20 de fevereiro, 2023
A Inteligência Artificial já está aprendendo de forma autônoma, dispensando a necessidade de instruções explícitas
A Inteligência Artificial (IA) está se tornando cada vez mais capaz de aprender de forma autônoma, sem a necessidade de instruções explícitas. Isso é possível graças ao desenvolvimento de algoritmos de aprendizado de máquina, que permitem que os sistemas de IA aprendam a partir de dados brutos, identificando padrões e relações sem a necessidade de intervenção humana.
Os grandes modelos de linguagem, como o GPT-3 da OpenAI, têm chamado a atenção devido à sua capacidade de gerar texto semelhante ao produzido por seres humanos, abarcando desde poesias até códigos de programação. Treinados com dados da internet, esses modelos de aprendizado de máquina utilizam pequenos textos de entrada para prever o texto subsequente.
Contudo, os modelos de linguagem vão além disso e estão sendo utilizados para explorar um fenômeno fascinante, denominado aprendizagem contextual, no qual esses modelos aprendem a executar novas tarefas com base em poucos exemplos, apesar de não terem sido treinados especificamente para elas.
Por exemplo, pode-se fornecer ao modelo diversas frases de exemplo, acompanhadas de suas respectivas emoções (positivas ou negativas), e então solicitar ao modelo para gerar uma nova frase, a qual será avaliada com relação à sua polaridade emocional. Nesse caso, o modelo consegue prever corretamente o sentimento expresso na nova frase.
Normalmente, para ensinar o modelo a realizar uma nova tarefa, seria necessário treiná-lo novamente com novos dados. Durante esse processo, o modelo atualiza seus parâmetros à medida que processa informações adicionais para aprender a nova tarefa. No entanto, com o aprendizado no contexto, os parâmetros do modelo não são atualizados, o que significa que ele aprende a nova tarefa sem passar pelo processo de treinamento novamente. Esse fenômeno é um dos tópicos mais promissores e interessantes da pesquisa em inteligência artificial atualmente, já que pode permitir que os modelos de linguagem sejam usados em uma variedade de tarefas e aplicações, sem a necessidade de treinamento específico para cada uma delas.
Um grupo de pesquisadores do MIT, Google Research e Universidade de Stanford está empenhado em desvendar esse mistério. Para isso, eles iniciaram estudando modelos de linguagem menores, porém bastante semelhantes aos grandes modelos de linguagem, com o intuito de compreender como esses modelos conseguem aprender novas tarefas sem a necessidade de atualizar seus parâmetros.
De acordo com os resultados obtidos, os modelos de linguagem massivos de redes neurais contêm modelos lineares menores e mais simples dentro deles. O modelo maior pode, então, implementar um algoritmo de aprendizado simples para treinar o modelo menor a concluir uma nova tarefa, utilizando somente as informações já contidas no modelo maior. Dessa forma, os parâmetros permanecem fixos.
Esse é um avanço significativo na compreensão do aprendizado no contexto, o que abre novas possibilidades para a exploração de algoritmos de aprendizado que esses grandes modelos de linguagem podem implementar. Segundo Ekin Akyurek, principal autor de um artigo que detalha os primeiros resultados desta pesquisa, com uma melhor compreensão do aprendizado no contexto, os pesquisadores poderão permitir que os modelos concluam novas tarefas sem a necessidade de um novo treinamento dispendioso.
Até recentemente, a comunidade de pesquisa em aprendizado de máquina ainda divergia em relação à capacidade dos grandes modelos de linguagem de realizar o aprendizado no contexto. Por exemplo, o GPT-3, que possui centenas de bilhões de parâmetros e foi treinado lendo grandes trechos de texto na internet, desde artigos da Wikipédia até postagens do Reddit, poderia ter visto algo muito semelhante antes quando alguém mostra exemplos de uma nova tarefa. Ele repete os padrões vistos durante o treinamento, em vez de aprender a realizar novas tarefas. No entanto, esses novos resultados sugerem que o aprendizado no contexto é possível e pode ser explorado ainda mais.
Os cientistas utilizaram um modelo de rede neural chamado “transformador”, que tem a mesma arquitetura do GPT-3, para testar a hipótese de modelos menores emergindo dentro dos grandes modelos de aprendizado de máquina. Esse modelo foi treinado especificamente para aprendizado no contexto, e os pesquisadores descobriram que ele pode conter um modelo linear dentro de seus estados ocultos, ou seja, uma versão menor de si mesmo.
A equipe realizou avaliações matemáticas e concluiu que esse modelo linear está escrito nas primeiras camadas do transformador. Dessa forma, o transformador pode atualizar o modelo linear implementando algoritmos simples de aprendizado. Esse processo possibilita que o modelo maior aprenda novas tarefas sem precisar de um novo treinamento dispendioso.
Segundo Ekin Akyurek, principal autor do estudo, “Esses modelos não são tão estúpidos quanto as pessoas pensam. Eles não apenas memorizam essas tarefas. Eles podem aprender novas tarefas, e mostramos como isso pode ser feito”. Essa descoberta é um passo importante para entender os mecanismos por trás do aprendizado no contexto, abrindo caminho para mais pesquisas e explorações sobre os algoritmos de aprendizado que esses grandes modelos podem implementar.
*Por Ademilson Ramos
…………………………………………………………….
*Fonte: engenhariae
Estudo sugere que assistir documentários sobre a natureza na TV é bom para o planeta
Um novo artigo publicado no Annals of Botany sugere que assistir documentários sobre a natureza faz com que as pessoas fiquem mais interessadas em plantas, podendo levar a um envolvimento com a botânica e a ecologia.
Aproximadamente 40% das espécies de plantas estão ameaçadas de extinção. As plantas que não são diretamente úteis para os seres humanos são particularmente vulneráveis. Muitas vezes, as pessoas não reconhecem a importância de muitas plantas devido a um viés cognitivo chamado às vezes de “cegueira para plantas” ou “disparidade de consciência de plantas”. Enquanto os seres humanos geralmente se preocupam com animais ameaçados de extinção, as ameaças às plantas são mais difíceis de reconhecer e abordar. Nos Estados Unidos, por exemplo, as plantas recebem menos de 4% do financiamento federal para espécies ameaçadas de extinção, apesar de comporem 57% da lista de espécies ameaçadas de extinção.
Os pesquisadores observaram que, no passado, várias produções de história natural, incluindo “Planeta Terra II”, “Blue Planet II”, “Sete Mundos” e “Um Planeta” tornaram os espectadores muito mais conscientes dos animais apresentados nos programas. Embora os cientistas não possam estabelecer uma relação clara entre esses programas de TV e os esforços de conservação, os documentários de natureza fornecem uma maneira direta de alcançar o público em massa e envolvê-lo.
Neste estudo, os pesquisadores investigaram se os documentários de natureza podem promover a conscientização das plantas, o que pode aumentar o engajamento da audiência com os programas de conservação de plantas. Eles se concentraram em “Green Planet”, um documentário da BBC de 2022 narrado por Sir David Attenborough. O programa, assistido por quase 5 milhões de pessoas no Reino Unido, apresentou uma variedade de espécies de plantas, destacando a vegetação de florestas tropicais, ambientes aquáticos, terras sazonais, desertos e espaços urbanos. O programa também abordou preocupações ambientais diretamente, examinando os perigos de monoculturas invasivas e desmatamento.
Os pesquisadores mediram se o “Green Planet” despertou interesse nas plantas por meio da análise do comportamento online das pessoas em torno do momento da transmissão. Em primeiro lugar, eles observaram as espécies que apareceram no programa e o tempo em que cada uma apareceu na tela. Em seguida, eles coletaram dados do Google Trends e das páginas da Wikipedia para essas mesmas espécies antes e depois dos episódios do documentário.
Os pesquisadores descobriram um efeito substancial do “Green Planet” na conscientização e no interesse dos espectadores pelas espécies de plantas retratadas. Cerca de 28,1% dos termos de pesquisa que representam plantas mencionadas no documentário da BBC tiveram um pico de popularidade no Reino Unido, medido usando o Google Trends, na semana após a transmissão do episódio relevante. Os dados da Wikipedia também mostraram isso. Quase um terço (31,3%) das páginas da Wikipedia relacionadas às plantas mencionadas no “Green Planet” registraram aumento de visitas na semana após a transmissão. Os investigadores também observam que as pessoas eram mais propensas a realizar pesquisas online por plantas que tiveram mais tempo de tela no “Green Planet”.
Acredito que aumentar a conscientização pública sobre as plantas seja essencial e fascinante”, disse a autora principal do artigo, Joanna Kacprzyk. “Neste estudo, mostramos que documentários sobre a natureza podem aumentar a conscientização das pessoas sobre as plantas. Nossos resultados também sugerem que os espectadores acharam certas espécies de plantas particularmente cativantes. Essas plantas poderiam ser usadas para promover esforços de conservação de plantas e combater a alarmante perda de biodiversidade vegetal.”
*Por Ademilson Ramos
…………………………………………………………………….
*Fonte: engenhariae
BanjomanBold 