A NEC Corporation anunciou hoje o lançamento do “FireDucks”(1), um programa de software gratuito concebido para acelerações de análise de dados da biblioteca de análise de dados de tabelas “pandas”, que é utilizada para análise com Python – a linguagem de programação mais utilizada no mundo hoje. Capaz de realizar a preparação de dados necessária para análise de dados até 16 vezes(2) mais rápido do que os produtos existentes, este software FireDucks recentemente desenvolvido reduz significativamente o tempo gasto na análise de dados e reduz os custos de computação.
A versão beta do FireDucks já está disponível gratuitamente online ( https://fireducks-dev.github.io/) .
Nos últimos anos, tornou-se mais fácil do que nunca recolher grandes quantidades de dados, incluindo dados de vendas de terminais de pontos de venda (POS), comércio eletrónico e dados de transações financeiras. Para extrair resultados analíticos valiosos desses dados, há uma necessidade crescente de os cientistas de dados analisá-los usando inteligência artificial (IA) e aprendizado de máquina (ML).
No entanto, para se preparar para a análise de dados, grandes conjuntos de dados devem primeiro ser pré-processados. Diz-se que os cientistas de dados gastam aproximadamente 45%(3) do seu tempo preparando dados, e isso se tornou um grande problema. Além disso, o aumento no volume de dados e a evolução da IA e do ML levaram a um aumento da complexidade computacional. Como resultado, os custos computacionais mais elevados (por exemplo, custos da nuvem) e o consequente aumento do consumo de energia e das emissões de CO2 também se tornaram problemáticos.
Perante isto, a NEC decidiu desenvolver o FireDucks, um programa de software concebido para acelerar pandas. Para desenvolver este software, a NEC aproveitou a tecnologia de programação de alto desempenho e o conhecimento de aceleração que cultivou nos seus mais de trinta anos de experiência no desenvolvimento de supercomputadores.
Ao disponibilizar gratuitamente a versão beta do software FireDucks ao público em geral, a NEC espera aumentar a taxa de análise acelerada de dados e reduzir as horas de trabalho dos cientistas de dados para analisar dados e a resolução de questões ambientais através da conservação de energia e redução das emissões de CO2.
Características
Desempenho acelerado: O NEC FireDucks é capaz de acelerar programas de software criados usando pandas em até 16 vezes e, em média, em cerca de cinco vezes(2). Isto reduz o tempo total que os cientistas de dados gastam trabalhando na análise de dados em aproximadamente 30%(4).
A utilização paralela de todos os núcleos e a redução da computação são as principais razões para este nível de aceleração. FireDucks utiliza todos os núcleos de uma CPU multi-core para processar com eficiência grandes conjuntos de dados em paralelo. Além disso, em vez de executar processos na mesma ordem e intervalo especificados no programa, os conjuntos de dados necessários para produzir os resultados são identificados antecipadamente a partir do processo global, o que significa que o processamento só precisa ser realizado para esses conjuntos de dados. Isto, por sua vez, permite acelerar o processamento.FireDucks da NEC
Alta compatibilidade: Outra característica deste software é sua alta compatibilidade com pandas. Embora algumas bibliotecas sejam capazes de atingir velocidades de análise de dados mais rápidas do que os pandas, elas exigem várias etapas, incluindo a reescrita do programa. O NEC FireDucks, por outro lado, pode ser facilmente aplicado porque apenas uma linha do programa deve ser reescrita para realizar análise e codificação, como faria se estivesse usando pandas.
Resultados reais
Os resultados a seguir foram obtidos quando o software FireDucks foi usado em operações reais pela Toyota Technical Development Corporation(5) (TTDC).
Redução de 60% no tempo gasto na análise de dados usando uma estrutura de IA interna (Spicy MINT)
Redução de 76% no tempo de operação do PC de análise
Uma entrevista na qual os funcionários da TTDC que usaram FireDucks conversaram com membros da equipe de desenvolvimento para fornecer feedback sobre o software recém-desenvolvido pode ser visualizada no site a seguir. (https://www.nec.com/en/global/rd/technologies/202312/index.html)
Planos futuros
Ao fornecer a versão beta do FireDucks gratuitamente e permitir que os cientistas de dados realmente a utilizem, a NEC trabalhará para melhorar a sua funcionalidade e ao mesmo tempo verificar a sua eficácia, com o objetivo de comercializá-la no ano fiscal de 2024.
Monday, October 23, 2023