Пишешь и читаешь движками в Iceberg таблицы?
Подумал про статистику?
На уровне файлов:
- row count
- null count
- min/max
На уровне таблицы (новый формат для хранения статистики Puffin)
- NDV (Number of Distinct Values) колонок
Flink - пишет статистику и читает 👍Spark - не пишет и не читает 🙅♂️Impala - не пишет и не читает 🙅♂️Dremio - пишет и читает 👍