Всё чаще слышу про Firecrawl - новый API для универсального скрэйпинга интернет страниц 😰 по адекватным ценам (100 тысяч страниц в месяц зв 83 доллара). Сомневаюсь что прямо любые страницы (интересно как с Cloudflare борется). Но может он многое: Интернет страница -> Markdown Интернет страница -> JSON Кроулинг и скрэйпинг в одном API Вот тут хороший пример скачивания доков по ведущим LLM что бы потом можно было по ним вопросы Клоду задавать. Обязательно сам попробую в ближайшее время - расскажу. #Скрэйпинг #Кроулинг Сергей Булаев AI 🤖 - об AI и не только