Voltar

brutos_gcp

Projeto: rj-iplanrio

Dimensão de projetos GCP com classificação centralizada de órgão e ambiente. Centraliza a lógica de derivação de orgao/ambiente/projeto_base para evitar duplicação em modelos downstream. Inclui todos os projetos do INFORMATION_SCHEMA mais projetos adicionais do billing.\n

5
Tabelas
155
Colunas Totais

Google Colab

Analise este dataset em um notebook Colab

Ao clicar abrimos o Colab em nova aba e copiamos o notebook padrão para sua área de transferência.

dim_gcp_project

4 colunas • Criado em 03/03/2026, 09:18:56

Abrir no BigQuery
Nome da Coluna Tipo Descrição
project_id
STRING
ID único do projeto GCP. Chave primária da dimensão.
orgao
STRING
Órgão ou secretaria responsável pelo projeto. Derivado do project_id usando regras específicas (ex: rj-sme → SME, rj-rec-rio → RECRIO). Projetos específicos são mapeados manualmente para IPLANRIO.
ambiente
STRING
Ambiente do projeto: prod (produção), dev (desenvolvimento), ou sandbox (testes). Derivado dos sufixos do project_id (-dev, -sandbox, -staging).
projeto_base
STRING
Nome base do projeto sem sufixos de ambiente. Por exemplo, 'rj-sme-dev' → 'rj-sme'. Útil para agrupar todos os ambientes de um mesmo projeto.

gcp_bigquery_cost_allocated_v1

24 colunas • Criado em 23/02/2026, 16:44:16

Abrir no BigQuery
Nome da Coluna Tipo Descrição
project_id
STRING
ID do projeto GCP onde o job foi executado.
job_id
STRING
Identificador do job no BigQuery. Único em combinação com project_id (unique_key no modelo).
principal_email
STRING
Email do principal normalizado (lowercase).
principal_type
STRING
Tipo de principal: human, service_account, compute_engine, google_apis, unknown.
is_service_account
BOOL
Flag booleana indicando se o principal é uma service account.
orgao
STRING
Órgão ou secretaria responsável pelo projeto.
ambiente
STRING
Ambiente do projeto: prod, dev, sandbox.
projeto_base
STRING
Nome base do projeto sem sufixos de ambiente.
user_email
STRING
Email original do usuário ou service account.
job_type
STRING
Tipo do job: QUERY, LOAD, EXPORT, etc.
statement_type
STRING
Tipo de statement SQL: SELECT, INSERT, UPDATE, DML, DDL, etc.
creation_time
TIMESTAMP
Data e hora de criação do job (UTC).
end_time
TIMESTAMP
Data e hora de término do job (UTC).
job_date_utc
DATE
Data do job em UTC (DATE(creation_time)).
job_month_utc
DATE
Mês do job em UTC (primeiro dia do mês).
invoice_month_date
DATE
Mês de referência para faturamento (primeiro dia do mês). Sempre presente, derivado de job_month_utc. Usado como campo de particionamento.
billing_invoice_month_date
DATE
Mês da invoice do billing quando há match (primeiro dia do mês). Derivado de invoice.month (YYYYMM) do billing. Pode ser NULL se não houver billing para este projeto/mês.
total_bytes_billed
INT64
Total de bytes faturados por este job específico.
total_bytes_project_month
INT64
Total de bytes faturados por todos os jobs do projeto neste mês. Usado como denominador na alocação proporcional.
bigquery_cost_gross
FLOAT64
Custo bruto do BigQuery para o projeto/mês (antes de créditos). Agregação de cost do billing para service.description = 'BigQuery'.
bigquery_credits
FLOAT64
Total de créditos aplicados ao BigQuery para o projeto/mês. Soma de credits.amount (valores negativos representam descontos).
bigquery_cost_net
FLOAT64
Custo líquido do BigQuery para o projeto/mês (após créditos). Calculado como: bigquery_cost_gross + bigquery_credits. Este é o valor que foi efetivamente faturado.
allocated_cost_job
FLOAT64
Custo alocado para este job específico (em USD). Calculado proporcionalmente aos bytes faturados: (total_bytes_billed / total_bytes_project_month) * bigquery_cost_net. A soma de allocated_cost_job por projeto/mês deve ser ≈ bigquery_cost_net.
job_cost_proportion
FLOAT64
Proporção do job no total do projeto/mês (valor entre 0 e 1). Calculado como: total_bytes_billed / total_bytes_project_month. Útil para análise de concentração de custo.

gcp_bigquery_jobs

21 colunas • Criado em 30/06/2025, 18:37:14

Abrir no BigQuery
Nome da Coluna Tipo Descrição
origem_projeto
STRING
Projeto GCP de origem do job (ex: rj-iplanrio, rj-iplanrio-dev, etc). Indica de qual projeto o job foi extraído para fins de auditoria e rastreabilidade.
project_id
STRING
ID do projeto GCP onde o job foi executado. Exemplo: 'rj-iplanrio'.
job_id
STRING
Identificador único do job no BigQuery, utilizado para rastreamento e auditoria. Exemplo: 'job_1234567890abcdef'.
user_email
STRING
E-mail do usuário ou conta de serviço responsável pela execução do job. Exemplo: 'usuario@iplanrio.rj.gov.br'. Pode ser nulo em execuções automáticas.
job_type
STRING
Tipo do job executado (ex: QUERY, LOAD, EXPORT, etc). Indica a natureza da operação realizada no BigQuery.
query
STRING
Consulta SQL executada pelo job, quando aplicável. Pode ser nulo para jobs que não envolvem SQL diretamente (ex: LOAD, EXPORT).
state
STRING
Status final do job (ex: DONE, PENDING, RUNNING, FAILED). Indica o resultado da execução.
destination_project_id
STRING
ID do projeto de destino dos resultados do job, quando aplicável. Exemplo: 'rj-iplanrio'. Pode ser nulo para jobs sem destino definido.
destination_dataset_id
STRING
Dataset de destino dos resultados do job, quando aplicável. Exemplo: 'meu_dataset'. Pode ser nulo.
destination_table_id
STRING
Tabela de destino dos resultados do job, quando aplicável. Exemplo: 'minha_tabela'. Pode ser nulo.
error_result
STRUCT<reason STRING, location STRING, debug_info STRING, message STRING>
Informação sobre erro do job, quando houver. Estrutura JSON com detalhes do erro. Nulo se o job foi bem-sucedido.
error_result.reason
STRING
Sem descrição
error_result.location
STRING
Sem descrição
error_result.debug_info
STRING
Sem descrição
error_result.message
STRING
Sem descrição
creation_time
TIMESTAMP
Data e hora de criação do job (horário UTC). Exemplo: '2024-04-01T12:34:56Z'.
end_time
TIMESTAMP
Data e hora de término do job (horário UTC). Exemplo: '2024-04-01T12:35:10Z'. Pode ser nulo se o job ainda está em execução.
statement_type
STRING
Tipo de statement SQL executado (ex: SELECT, INSERT, UPDATE, DML, DDL). Pode ser nulo para jobs não SQL.
total_bytes_processed
INT64
Total de bytes processados pelo job. Valor inteiro em bytes. Exemplo: 1048576 para 1 MiB.
total_bytes_billed
INT64
Total de bytes faturados pelo job. Valor inteiro em bytes. Exemplo: 1048576 para 1 MiB.
data_faturamento
DATE
Data de faturamento do job (base para partição e auditoria). Formato: 'YYYY-MM-DD'.

gcp_bigquery_jobs_v2

24 colunas • Criado em 23/02/2026, 16:43:49

Abrir no BigQuery
Nome da Coluna Tipo Descrição
origem_projeto
STRING
Projeto GCP de origem do job (ex: rj-iplanrio, rj-iplanrio-dev). Indica de qual projeto o job foi extraído via INFORMATION_SCHEMA.
project_id
STRING
ID do projeto GCP onde o job foi executado.
job_id
STRING
Identificador do job no BigQuery. Único em combinação com project_id (ver teste dbt_utils.unique_combination_of_columns).
user_email
STRING
E-mail do usuário ou conta de serviço responsável pela execução do job.
principal_email
STRING
Email do principal normalizado (lowercase) para facilitar joins e agrupamentos.
is_service_account
BOOL
Flag booleana indicando se o principal é uma service account (email termina com gserviceaccount.com).
principal_type
STRING
Tipo de principal que executou o job. Valores: user (usuário), service_account (conta de serviço), compute_engine (Compute Engine default SA), google_apis (Google APIs service account), unknown (não identificado).
job_type
STRING
Tipo do job executado (ex: QUERY, LOAD, EXPORT).
query
STRING
Consulta SQL executada pelo job, quando aplicável.
state
STRING
Status final do job (ex: DONE, PENDING, RUNNING, FAILED).
destination_project_id
STRING
ID do projeto de destino dos resultados do job.
destination_dataset_id
STRING
Dataset de destino dos resultados do job.
destination_table_id
STRING
Tabela de destino dos resultados do job.
error_result
STRING
Informação sobre erro do job, quando houver. Nulo se bem-sucedido. Serializado como JSON string do STRUCT original.
creation_time
TIMESTAMP
Data e hora de criação do job (horário UTC).
end_time
TIMESTAMP
Data e hora de término do job (horário UTC).
statement_type
STRING
Tipo de statement SQL executado (ex: SELECT, INSERT, UPDATE, DML, DDL).
total_bytes_processed
INT64
Total de bytes processados pelo job.
total_bytes_billed
INT64
Total de bytes faturados pelo job.
job_date_utc
DATE
Data do job em UTC, derivada de DATE(creation_time). Diferente da v1 que usava PST8PDT.
job_month_utc
DATE
Mês do job em UTC (primeiro dia do mês), usado para particionamento. Derivado de DATE_TRUNC(DATE(creation_time), MONTH).
orgao
STRING
Órgão ou secretaria responsável pelo projeto, obtido via join com raw_dim_gcp_project.
ambiente
STRING
Ambiente do projeto (prod, dev, sandbox), obtido via join com raw_dim_gcp_project.
projeto_base
STRING
Nome base do projeto sem sufixos de ambiente, obtido via join com raw_dim_gcp_project.

gcp_billing

82 colunas • Criado em 22/02/2026, 20:12:23

Abrir no BigQuery
Nome da Coluna Tipo Descrição
billing_account_id
STRING
O ID da conta de faturamento do Cloud que o uso está associado.
service
STRUCT<id STRING, description STRING>
Informações sobre o serviço Google Cloud que gerou este item de uso.
service.id
STRING
O ID do serviço Google Cloud que gerou este item de uso.
service.description
STRING
O nome legível do serviço Google Cloud que gerou este item de uso.
sku
STRUCT<id STRING, description STRING>
Informações sobre o SKU (Stock Keeping Unit) de faturamento que gerou este item de uso.
sku.id
STRING
O ID do SKU de faturamento que gerou este item de uso.
sku.description
STRING
O nome legível do SKU de faturamento que gerou este item de uso.
usage_start_time
TIMESTAMP
O horário de início do período de uso. Todos os valores são em UTC com sub-segundos ignorados.
usage_end_time
TIMESTAMP
O horário de fim do período de uso. Todos os valores são em UTC com sub-segundos ignorados.
project
STRUCT<id STRING, number STRING, name STRING, labels ARRAY<STRUCT<key STRING, value STRING>>, ancestry_numbers STRING, ancestors ARRAY<STRUCT<resource_name STRING, display_name STRING>>>
Informações sobre o projeto Google Cloud que gerou este item de uso.
project.id
STRING
O ID do projeto que gerou este item de uso.
project.number
STRING
O número único do projeto que gerou este item de uso.
project.name
STRING
O nome amigável do projeto que gerou este item de uso.
project.labels
ARRAY<STRUCT<key STRING, value STRING>>
Um mapa string-to-string de pares chave-valor de labels definidos pelo usuário para o projeto.
project.labels.key
STRING
Sem descrição
project.labels.value
STRING
Sem descrição
project.ancestry_numbers
STRING
Uma lista de números de ancestrais de recursos do projeto na hierarquia do Cloud Resource Manager.
project.ancestors
ARRAY<STRUCT<resource_name STRING, display_name STRING>>
Sem descrição
project.ancestors.resource_name
STRING
Sem descrição
project.ancestors.display_name
STRING
Sem descrição
labels
ARRAY<STRUCT<key STRING, value STRING>>
Um mapa string-to-string de pares chave-valor de labels definidos pelo usuário no recurso.
labels.key
STRING
Sem descrição
labels.value
STRING
Sem descrição
system_labels
ARRAY<STRUCT<key STRING, value STRING>>
Um mapa string-to-string de pares chave-valor de labels de sistema definidos pelo Google Cloud.
system_labels.key
STRING
Sem descrição
system_labels.value
STRING
Sem descrição
location
STRUCT<location STRING, country STRING, region STRING, zone STRING>
Informações sobre a localização geográfica onde ocorreu o uso dos recursos.
location.location
STRING
A localização geográfica onde ocorreu o uso dos recursos.
location.country
STRING
O país onde ocorreu o uso dos recursos.
location.region
STRING
A região onde ocorreu o uso dos recursos.
location.zone
STRING
A zona onde ocorreu o uso dos recursos.
resource
STRUCT<name STRING, global_name STRING>
Informações sobre o recurso específico que gerou o uso (ex: instância de VM, disco).
resource.name
STRING
O nome do recurso que gerou o uso. Por exemplo, uma instância de VM.
resource.global_name
STRING
O nome global do recurso que gerou o uso.
tags
ARRAY<STRUCT<key STRING, value STRING, inherited BOOL, namespace STRING>>
Um mapa string-to-string de pares chave-valor de tags de rede definidos pelo usuário no recurso.
tags.key
STRING
Sem descrição
tags.value
STRING
Sem descrição
tags.inherited
BOOL
Sem descrição
tags.namespace
STRING
Sem descrição
price
STRUCT<effective_price NUMERIC, tier_start_amount NUMERIC, unit STRING, pricing_unit_quantity NUMERIC, list_price NUMERIC, effective_price_default NUMERIC, list_price_consumption_model NUMERIC>
O preço de lista por unidade de uso.
price.effective_price
NUMERIC
Sem descrição
price.tier_start_amount
NUMERIC
Sem descrição
price.unit
STRING
Sem descrição
price.pricing_unit_quantity
NUMERIC
Sem descrição
price.list_price
NUMERIC
Sem descrição
price.effective_price_default
NUMERIC
Sem descrição
price.list_price_consumption_model
NUMERIC
Sem descrição
subscription
STRUCT<instance_id STRING>
Informações sobre a assinatura ou contrato associado ao uso.
subscription.instance_id
STRING
O ID da instância da assinatura ou contrato que gerou este item de uso.
transaction_type
STRING
O tipo de transação que gerou este item de uso (ex: charge, refund, credit).
seller_name
STRING
O nome do vendedor ou provedor do serviço que gerou este item de uso.
export_time
TIMESTAMP
A data e hora quando os dados de faturamento foram exportados para BigQuery.
cost
FLOAT64
O custo do uso antes de aplicar créditos, em unidades da moeda da conta de faturamento.
currency
STRING
A moeda que os custos foram convertidos. Definida no nível da conta de faturamento.
currency_conversion_rate
FLOAT64
A taxa de câmbio da moeda local para USD no final do período de uso.
usage
STRUCT<amount FLOAT64, unit STRING, amount_in_pricing_units FLOAT64, pricing_unit STRING>
Informações sobre a quantidade e unidades de uso do recurso durante o período especificado.
usage.amount
FLOAT64
A quantidade de uso que ocorreu durante o período especificado.
usage.unit
STRING
A unidade de base que define como o uso é medido.
usage.amount_in_pricing_units
FLOAT64
A quantidade de uso em unidades de precificação.
usage.pricing_unit
STRING
A unidade de medida usada para precificação.
credits
ARRAY<STRUCT<name STRING, amount FLOAT64, full_name STRING, id STRING, type STRING>>
A lista de créditos aplicados ao uso. Cada crédito contém tipo, nome, quantia e moeda.
credits.name
STRING
Sem descrição
credits.amount
FLOAT64
Sem descrição
credits.full_name
STRING
Sem descrição
credits.id
STRING
Sem descrição
credits.type
STRING
Sem descrição
invoice
STRUCT<month STRING, publisher_type STRING>
Informações sobre a fatura onde este item de uso aparece.
invoice.month
STRING
O mês da fatura no formato YYYYMM onde este item de uso aparece.
invoice.publisher_type
STRING
Sem descrição
cost_type
STRING
Descreve como o custo foi calculado (regular, tax, adjustment, rounding error).
adjustment_info
STRUCT<id STRING, description STRING, mode STRING, type STRING>
Informações sobre ajustes aplicados ao faturamento (créditos, reembolsos, correções).
adjustment_info.id
STRING
Um identificador exclusivo para este ajuste.
adjustment_info.description
STRING
Uma descrição legível deste ajuste.
adjustment_info.mode
STRING
O modo como este ajuste foi aplicado. Atualmente não usado e está sempre vazio.
adjustment_info.type
STRING
O tipo de ajuste, por exemplo CREDIT ou REFUND.
cost_at_list
FLOAT64
O custo que seria cobrado pelos preços de lista públicos.
cost_at_effective_price_default
FLOAT64
O custo que seria cobrado se fossem aplicados os preços padrão efetivos para o período de uso.
cost_at_list_consumption_model
FLOAT64
O custo que seria cobrado se fossem aplicados os preços de lista para o período de uso.
consumption_model
STRUCT<id STRING, description STRING>
Informações sobre o modelo de consumo aplicado a este item de uso.
consumption_model.id
STRING
O ID do modelo de consumo aplicado a este item de uso.
consumption_model.description
STRING
A descrição do modelo de consumo aplicado a este item de uso.
invoice_competencia_particao
DATE
Campo de partição derivado do mês da fatura para otimização de consultas.