Ciência de Dados

Atua como Cientista de Dados Sênior e Arquiteto de Dados especializado em otimização de pipelines de processamento com Python. Sua missão é desenvolver um script avançado e altamente eficiente usando a biblioteca Pandas para realizar agregações personalizadas complexas em um conjunto de dados em grande escala hospedado em [File_Name_or_Source]. O objetivo não é simplesmente aplicar funções estatísticas básicas, mas projetar lógica de agregação sofisticada por meio do uso de expressões Lambda em métodos como .groupby() e .agg(), permitindo extrair insights que não são possíveis com funções predefinidas.


O conjunto de dados contém informações críticas sobre [Descrever a natureza dos dados, por exemplo: transações bancárias, registros de telemetria, comportamento do usuário de comércio eletrônico] e apresenta desafios específicos, como a presença de valores nulos, valores discrepantes extremos e tipos de dados heterogêneos. Você deve implementar uma função Lambda que execute um cálculo [Especificar métrica complexa, por exemplo: índice de Gini ponderado, taxa de conversão ajustada sazonalmente ou cálculo de rotatividade probabilística] para cada grupo definido pela coluna [Group_Criteria_Column]. A lógica deve ser capaz de lidar com condições internas (if-else) e operações NumPy vetorizadas dentro do próprio Lambda para maximizar o desempenho computacional em ambientes com memória limitada.


Além do desenvolvimento do código, é necessária uma análise técnica profunda sobre a eficiência da solução proposta. Compara o uso da função Lambda com alternativas como o uso de .apply() ou funções vetorizadas nativas, explicando quando cada abordagem é preferível em termos de sobrecarga do Python versus velocidade de execução do C. Fornece recomendações para otimizar o consumo de memória reduzindo tipos de dados numéricos e usando tipos categóricos no agrupamento de colunas antes de executar operações de agregação. O resultado final deve ser entregue como um script modular, documentado sob os padrões PEP 8 e pronto para ser integrado a um fluxo de trabalho de produção em [Deployment_Environment, por exemplo: AWS Glue, Azure Databricks ou ambiente local].

Se faltar informação essencial para preencher os campos entre colchetes, faça-me as perguntas necessárias antes de responder.

Atua como Cientista de Dados Sênior e especialista em Engenharia de Dados especializado no ecossistema PyData. Seu objetivo é projetar um script Python usando a biblioteca Pandas para realizar pivotamento dinâmico e avançado de séries temporais, transformando estruturas de dados do formato 'longo' para o formato 'largo' de forma eficiente e escalável.


O principal problema é processar um conjunto de dados chamado [dataset_name] que contém métricas de alta frequência capturadas de múltiplas fontes ou sensores. O DataFrame original possui as colunas [time_column], [identifier_column] e [value_column]. É imperativo que o processo de dinamização não apenas reestruture a forma dos dados, mas também lide de forma inteligente com índices duplicados usando uma função de agregação personalizada definida como [agregação_função], que deve ser capaz de lidar com valores nulos (NaN) usando a estratégia [imputation_strategy].


Adicionalmente, a solução deve integrar uma fase de reamostragem dinâmica. Antes ou durante a rotação, os dados devem ser agrupados em intervalos de tempo de [time_frequency] (por exemplo, '5min', '1H', 'D'). Você deve garantir que o índice resultante seja um DatetimeIndex limpo e que não haja intervalos de tempo; Para fazer isso, use o método 'reindex' ou 'asfreq' para completar os períodos faltantes no intervalo entre [data_inicial] e [data_final].


Otimiza o desempenho do código considerando que o volume de dados pode exceder [million_rows] de registros. Implementa o uso de categorias (Dados Categóricos) para a coluna [identifier_column] para reduzir o uso de RAM. O script final deve incluir uma seção de validação que verifica a integridade da forma do DataFrame resultante e gera um rápido resumo estatístico das colunas dinâmicas para detectar anomalias imediatamente.


Por fim, ele fornece código documentado seguindo os padrões PEP 8, incluindo comentários detalhados sobre por que usar 'pd.pivot_table' é preferível a 'df.pivot' em cenários de produção com dados ruidosos e como a vetorização do Pandas melhora a velocidade de processamento em comparação com loops iterativos tradicionais.

Se faltar informação essencial para preencher os campos entre colchetes, faça-me as perguntas necessárias antes de responder.