Автомобили в фильмах и парсинг 2млн страниц Профилю на Kaggle почти 5 лет. Обычно беру датасеты оттуда, но сам ничего не публикую. Надо менять ситуацию, тем более что накопилось много всего (датасеты, ноутбуки), что будет полезно кагглерам. Выложил первый датасет 'Cars, Trucks, Bikes, Buses in Movies (1900-2024)'. Там больше 1,75 миллионов записей и 21 поле. Есть такой сайт imcdb.org (Internet Movie Cars Database). Там собирают кадры с транспортными средствами из фильмов, определяют марки, модели и т.д. 20 лет существует. По сути это самая большая база данных машин, снявшихся в фильмах. Здесь в википедии про IMCDb. Написал парсер, который проходится по всем страницам сайта, их около 2х миллионов, и собирает данные в .csv. Парсер работал 1 неделю в 4 потока. В итоге собралось несколько .csv, которые потом объединил юнионом. Из неприятного - при парсинге не учел, что разные люди вводят данные, и они могут быть в разных форматах. Например, время в кадре автомобиля записывают как 00:02:35, 0:25:35, 25:35, 0-25-35, 25-35 и в других форматах. Пришлось еще искать несоответствия и допиливать датасет скриптами. Получилось вполне ок. Выложил данные на Kaggle, описал датасет и поля. Можно скачивать и пользоваться. Надо только понимать, что все вводилось вручную, есть модерация и удаление дубликатов, но все равно есть вероятность несоответствий. В данных есть ссылки на кадры из фильмов с конкретным транспортным средством (там кроме машин 🚙 еще мотоциклы 🏍, грузовики 🚛, бульдозеры 🚜, лесовозы 🚚 и еще много чего). Есть названия транспортных средств, года выпуска, типы (кабриолет, седан, хетчбек и т.п.). Каждое транспортное средство связано с фильмом и кадром где оно появлялось. IMDb id и ссылки на сайт imdb.com (база фильмов самая известная, наверное) позволяют джойнить с датасетами фильмов, включая имена актеров, режиссеров и т.д. То есть, можно ответить на вопросы типа: - 'Какие топ марки машин есть в фильмах Тарантино?', - 'Сколько раз встречается Газ-24 в фильмах Рязанова?', - 'Какой процент румынских машин в румынских фильмах?', - "Самое популярное авто в ужастиках?", - "В каком фильме встречаются Феррари F-40 и 'Запорожец' ЗАЗ-966?" Автомобиль в фильмах часто играет одну из главных ролей. Это: - '982 De Lorean DMC 12' - говорящая машина Рыцаря Дорог '1979 Chevrolet Chevette', - '1965 Lamborghini 350 GT' в истории о Тонино Ламборгини, и - '1971 Lincoln Continental Mark III Barris Kustoms [89-65A]' из 'The Car', и - '1959 Cadillac Ambulance Miller-Meteor Sentinel 'Ecto-1'' охотников за приведениями, - '2007 Chevrolet Camaro Replica 'Bumblebee' из 'Трансформеров' и много других - это целая вселенная. И почему бы не соединить вселенную машин-актеров и вселенную людей актеров? Получается круто. Для обучения намного интереснее синтетических датасетов без эмоциональной окраски. Много экзотики можно накопать из любимых фильмов. - '1957 ATZ TDT-60' из "Девчат" (Название на английском 'The Girls' заставляет улыбнуться) - 'KhAZ SPT-104' из 'Иронии судьбы' - '1940 Chevrolet G-7107 Cargo [G-506]' из 'Семнадцати мгновений весны'. Итого: дофига инсайтов прикольных можно вытащить. Примеры визуализаций в комменты покидаю.