Log the snowsql command #140
Conversation
| @@ -5,9 +5,9 @@ Exporting "sales" to "in.c-main.escaping". | |||
| [%s] DEBUG: Running query " COPY INTO @~/in.c-main.escaping/part FROM (SELECT * FROM "escaping") FILE_FORMAT = (TYPE=CSV FIELD_DELIMITER = ',' FIELD_OPTIONALLY_ENCLOSED_BY = '"' ESCAPE_UNENCLOSED_FIELD = '\\' COMPRESSION = 'GZIP' NULL_IF=()) HEADER = false MAX_FILE_SIZE=50000000 OVERWRITE = TRUE ; ". [] [] | |||
| [%s] DEBUG: USE DATABASE "COMPONENT_TESTING"; USE SCHEMA "COMPONENT_TESTING"."COMPONENT_TEST"; GET @~/in.c-main.escaping file:///opt/snowsqltempdir/run-%s.%s/out/tables/in.c-main.escaping.csv.gz; [] [] | |||
| Downloading data from Snowflake. | |||
| [%s] DEBUG: snowsql --noup --config /opt/snowsqltempdir/ex-snowflake-adapter/run-%s.%s/snowsql.config -c downloader -f /opt/snowsqltempdir/ex-snowflake-adapter/run-%s.%s/%s-snowsql.sql [] [] | |||
| snowsql --noup --config /opt/snowsqltempdir/ex-snowflake-adapter/run-%s.%s/snowsql.config -c downloader -f /opt/snowsqltempdir/ex-snowflake-adapter/run-%s.%s/%s-snowsql.sql | |||
There was a problem hiding this comment.
tohle toho moc neřekne (je to pokaždé stejný)... bylo by dobrý spíš logovat snowsql.sql
There was a problem hiding this comment.
mimo to to snowsql.sql taky bude pokaždé stejné, tak je možná zbytečný to posílat v každém jobu a může se to nechat jako debug
There was a problem hiding this comment.
no tak pointa celýho je, že to nemůžem nechat jako debug, když se to stane jednou denně náhodně u nějakýho jobu
There was a problem hiding this comment.
pointu chápu, ale nechápu v čem ti tohle pomůže když ten snowsql command je v každém jobu stejný (mění se teda jen random složka kam se ukládá config a soubor s SQLs)
There was a problem hiding this comment.
tady máš jeden debug job - https://connection.keboola.com/admin/projects/6231/queue/1098695465
a ty informace na stejné konfiguraci budou vždycky stejný, jediný co by mohlo být užitečný z toho snowsql dostat queryId na který to spadlo - to ale nevím úplně jak, protože to bude mít jiný sessionId
There was a problem hiding this comment.
tak potřebuju to poslat do snowflaku a pak se můžem dívat jestli není něco podivnýho na disku
|
Je to celý píčovina :) |
https://keboola.atlassian.net/browse/PST-1237