Processar documentos com a função ML.PROCESS_DOCUMENT

Neste documento, descrevemos como usar a função ML.PROCESS_DOCUMENT com um modelo remoto para extrair insights úteis de documentos em um tabela de objetos.

Locais suportados

É necessário criar o modelo remoto usado neste procedimento na multirregião US ou EU. Execute a função ML.PROCESS_DOCUMENT na mesma região que o modelo remoto.

Permissões necessárias

• Para criar um processador da Document AI, você precisa do seguinte papel:

  • roles/documentai.editor

• Para criar uma conexão, você precisa da associação no seguinte papel:

  • roles/bigquery.connectionAdmin

• Para criar o modelo usando o BigQuery ML, você precisa das seguintes permissões:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

• Para executar a inferência, você precisa das seguintes permissões:

  • bigquery.tables.getData na tabela de objetos
  • bigquery.models.getData no modelo
  • bigquery.jobs.create

Antes de começar

1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Acessar o seletor de projetos

3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

4. Ative as APIs BigQuery, BigQuery Connection API, and Document AI.

   Ative as APIs

5. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Acessar o seletor de projetos

6. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

7. Ative as APIs BigQuery, BigQuery Connection API, and Document AI.

   Ative as APIs

Criar um processador

Crie um processador na Document AI para processar os documentos. O processador precisa ser de um tipo compatível.

Criar uma conexão

Crie uma Conexão de recursos do Cloud e tenha acesso à conta de serviço da conexão.

Selecione uma das seguintes opções:

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Conceder acesso à conta de serviço

Selecione uma das seguintes opções:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/documentai.viewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/storage.objectViewer' --condition=None

Deixar de conceder a permissão resulta em um erro Permission denied.

crie um conjunto de dados

Crie um conjunto de dados para conter o modelo e a tabela de objetos.

crie um modelo

Crie um modelo remoto com um REMOTE_SERVICE_TYPE de CLOUD_AI_DOCUMENT_V1:

CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
OPTIONS (
  REMOTE_SERVICE_TYPE = 'CLOUD_AI_DOCUMENT_V1',
  DOCUMENT_PROCESSOR = 'projects/PROJECT_NUMBER/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION'
);

Substitua:

• PROJECT_ID: o ID do projeto.
• DATASET_ID: o ID do conjunto de dados para conter o modelo.
• MODEL_NAME: o nome do modelo
• REGION: a região usada pela conexão.
• CONNECTION_ID: o ID da conexão. Por exemplo, myconnection.

  Ao ver os detalhes da conexão no console do Google Cloud, o ID da conexão é o valor na última seção do ID da conexão totalmente qualificado, mostrado em ID da conexão, por exemplo, projects/myproject/locations/connection_location/connections/myconnection.

• PROJECT_NUMBER: o número do projeto que contém o processador de documentos. Para encontrar esse valor, confira os detalhes do processador, o Endpoint de previsão e pegue o valor após o elemento projects, por exemplo, https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
• LOCATION: o local usado pelo processador de documentos. Para encontrar esse valor, confira os detalhes do processador, o Endpoint de previsão e pegue o valor após o elemento locations, por exemplo, https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
• PROCESSOR_ID: o ID do processador de documentos. Para encontrar esse valor, confira os detalhes do processador, o Endpoint de previsão e pegue o valor após o elemento processors, por exemplo, https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
• PROCESSOR_VERSION: a versão do processador de documentos. Para encontrar esse valor, confira os detalhes do processador, selecione a guia Gerenciar versões e copie o valor do ID da versão que você quer usar.

Para ver as colunas de saída do modelo, clique em Acessar modelo no resultado da consulta após a criação do modelo. As colunas de saída são mostradas na seção Rótulos da guia Esquema.

Criar uma tabela de objetos

Crie uma tabela de objetos sobre um conjunto de documentos no Cloud Storage. Os documentos na tabela de objetos precisam ser de um tipo compatível.

Processar documentos

Processe os documentos com a função ML.PROCESS_DOCUMENT:

SELECT *
FROM ML.PROCESS_DOCUMENT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE `PROJECT_ID.DATASET_ID.OBJECT_TABLE_NAME`
);

Substitua:

• PROJECT_ID: o ID do projeto.
• DATASET_ID: o ID do conjunto de dados que contém o modelo.
• MODEL_NAME: o nome do modelo
• OBJECT_TABLE_NAME: o nome da tabela de objetos que contém os URIs dos documentos a serem processados.

Exemplos

Exemplo 1

O exemplo a seguir usa o analisador de despesas para processar os documentos representados pela tabela documents:

SELECT *
FROM ML.PROCESS_DOCUMENT(
  MODEL `myproject.mydataset.expense_parser`,
  TABLE `myproject.mydataset.documents`
);

Essa consulta retorna os relatórios de despesas analisadas, incluindo a moeda, o valor total, a data do recebimento e os itens de linha nos relatórios de despesas. A coluna ml_process_document_result contém a saída bruta do analisador de despesas, e a coluna ml_process_document_status contém todos os erros retornados pelo processamento de documentos.

Exemplo 2

O exemplo a seguir mostra como filtrar a tabela de objetos para escolher quais documentos processar e gravar os resultados em uma tabela:

CREATE TABLE `myproject.mydataset.expense_details`
AS
SELECT uri, content_type, receipt_date, purchase_time, total_amount, currency
FROM
  ML.PROCESS_DOCUMENT(
    MODEL `myproject.mydataset.expense_parser`, TABLE `myproject.mydataset.expense_reports`)
WHERE uri LIKE '%restaurant%';

A seguir

• Para informações sobre inferência de modelo no BigQuery ML, consulte Visão geral de inferência de modelo.
• Para informações sobre as funções e instruções SQL compatíveis com cada tipo de modelo, consulte Jornada do usuário completa de cada modelo.