View in Telegram
В Surfalytics у нас сегодня был проект с DuckDB. Для многих это была первая возможность попробовать эту технологию. Вот несколько классных вариантов использования для аналитики и инженерии данных: - Запросы к локальным файлам с помощью SQL - Исследование данных, хранящихся удалённо в S3, Azure или GCP - Использование DuckDB как альтернативы обычному Postgres в качестве хранилища данных - Удобно работать с dbt для чтения внешних таблиц/файлов и преобразования их в source модели dbt и уже строить модели внутри базы - Работа с современными lakehouse форматами, такими как Iceberg и Delta - Альтернатива Spark DataFrames при обработке небольших данных - Эффективное преобразование данных из CSV в Parquet или другие форматы - Запись результатов напрямую в Markdown для pull-запросов или код-ревью - Удобно при работе с API - связка Python + DuckDB Этот список можно продолжать! Вот само упражнение, можете повторить и все будет понятно: https://github.com/surfalytics/analytics-course/tree/main/02_getting_started_with_databases/07_duckdb Завтра у нас будет BigQuery + dbt на GCP - большой проект. Прошлый был про Redshift Serverless + Lambda + AWS Step Functions - делали ETL по извлечению из API.
Love Center
Love Center
Find friends or serious relationships easily