Snowflake: File format does not exist

Karl Jepertinger — Thu, 15 Aug 2019 14:36:08 +0000

Für das Laden von Dateien gibt es in Snowflake den COPY INTO Befehl. Der Befehl ist dazu gedacht – mit Hilfe eines File Formats – Daten aus der Datei in eine Tabelle zu kopieren. Aber auch ohne die Daten zu laden kann man einfache Selects auf Dateien ausführen.

Syntax eines einfachen Copy Into Befehls:

COPY INTO MyTable(Column01, Column02, Column03)
FROM (
SELECT $1, $2, $3 
FROM '@MyStage/folder01'
) 
FILE_FORMAT = CSVFILEFORMAT
PATTERN= '.*\.csv$' ;

Die Syntax für die Verwendung in einem Select ist ähnlich, aber dann doch wenig intuitiv:

SELECT $1, $2, $3 FROM '@MyStage/folder01'         (         --FILE_FORMAT =>  CSVFILEFORMAT, --falsch         FILE_FORMAT =>  'CSVFILEFORMAT', --richtig         PATTERN => '.*\.csv         )

Cheat-Sheet:

Angaben zum File Format, Pattern etc stehen nun in Klammern nach dem FROM
Die „=“ werden zu „=>“
Die Zeilen müssen durch Kommas getrennt werden
Das FileFormat muss nun in Hochkommas stehen.

Wer diesen letzten Punkt ignoriert erhält die verwirrende Fehlermeldung

SQL-Fehler [2003] [02000]: SQL compilation error:
File format 'CSVDATEN' does not exist.

Snowflake: Unsupported feature ‚Table‘

Karl Jepertinger — Wed, 15 May 2019 14:27:19 +0000

Das Laden von Dateien funktioniert in Snowflake via SQL mit direktem Zugriff auf einen Blob Storage via Stages. Hier ein Select auf CSV-Dateien in der persönlichen Stage mit einem nicht so leicht zu findenden Fehler:

SELECT metadata$filename, T.$1, T.$2, T.$3
FROM '@~/data' 
(
FileFormat => 'Db.kjeperti.CSV',
Pattern => ".*/[0-9]{8}.csv.gz$"
) t

Die Fehlermeldung ist dabei leider gar nicht hilfreich:

Unsupported feature ‘Table’

SELECT metadata$filename, T.$1, T.$2, T.$3
FROM '@~/data' 
(
File_Format => 'Db.kjeperti.CSV',
Pattern => ".*/[0-9]{8}.csv.gz$"
) t

Im richtigen SQL ist der Tippfehler bei „File_Format“ korrigiert. Es hat der „_“ gefehlt.

Snowflake Computing – Karl Jepertinger IT Consulting

Snowflake: File format does not exist

Snowflake: Unsupported feature ‚Table‘