Парсинг тарифов интернета и ТВ. Selenium + BeautifulSoup: трудности динамического контента и защиты от ботов
На этапе тестирования я отобрал 6 городов (Москва, Санкт-Петербург, Новосибирск, Екатеринбург, Казань, Красноярск) и двух крупнейших провайдеров России - Ростелеком и Дом.ру. В планах масштабирование на большее количество городов и операторов.Для парсинга тарифов у провайдеров применял связку Python + Selenium + Bea...
На этапе тестирования я отобрал 6 городов (Москва, Санкт-Петербург, Новосибирск, Екатеринбург, Казань, Красноярск) и двух крупнейших провайдеров России - Ростелеком и Дом.ру. В планах масштабирование на большее количество городов и операторов.Для парсинга тарифов у провайдеров применял связку Python + Selenium + BeautifulSoup, через хранимую процедуру складывал полученные данные в базу PostgreSQL.
Связанные теги
Компании и люди
Линия сюжета
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
Как меня заСКАМил HH.RU
Дисклеймер: Эта статья мой «крик души» и возмущение работой крупных монополистов рынка, которые благодаря целым департаментам юристов позволяют себе пренебрегать обязательствами...
Как я писал библиотеку для Морского Боя на Python — разбор и история моего первого пет‑проекта
Пишу о том, как сделал первый проект - библиотеку для логики морского боя на Python - с какими трудностями столкнулся, как налаживал архитектуру и как не бросил Нырнуть глубже
Security Week 2614: атака класса supply chain на библиотеку LiteLLM
Громкой новостью прошлой недели стал взлом библиотеки LiteLLM, используемой в качестве посредника для коммуникации с большим количеством языковых моделей (сообщение от разработч...
Где была Алиса Селезнева. Искал ее адреса с помощью Python
С помощью Python провел исследование космических адресов Алисы Селезневой. Вокруг нее было так много планет, неплохо исследованных, а посетила она только малую часть из них.
Космос из школьного кабинета: Как мы научили ИИ законам Кеплера после «разноса» от ученых
Существует стереотип, что современная наука об экзопланетах — это прерогатива NASA и ученых с миллионными грантами. Мы — команда обычных школьников и наш наставник — решили дока...
Пишем свой crypto engine для флешек: безопасная память, потоковое шифрование и отказоустойчивость на Python
Всё началось с простой задачи: нужно было безопасно передавать файлы на обычных USB-флешках. Существующие решения либо создавали контейнеры (VeraCrypt), что неудобно для быстрог...
Рекламный слот
Встроенный блок в статье
Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
Как меня заСКАМил HH.RU
Дисклеймер: Эта статья мой «крик души» и возмущение работой крупных монополистов рынка, которые благодаря целым департаментам юристов позволяют себе пренебрегать обязательствами...
Как я писал библиотеку для Морского Боя на Python — разбор и история моего первого пет‑проекта
Пишу о том, как сделал первый проект - библиотеку для логики морского боя на Python - с какими трудностями столкнулся, как налаживал архитектуру и как не бросил Нырнуть глубже
Security Week 2614: атака класса supply chain на библиотеку LiteLLM
Громкой новостью прошлой недели стал взлом библиотеки LiteLLM, используемой в качестве посредника для коммуникации с большим количеством языковых моделей (сообщение от разработч...
Где была Алиса Селезнева. Искал ее адреса с помощью Python
С помощью Python провел исследование космических адресов Алисы Селезневой. Вокруг нее было так много планет, неплохо исследованных, а посетила она только малую часть из них.
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
На форуме SPACE представят программу развития России до 2100(!) года. От компилятора конвейеров до космоса—краткий обзор
Главной темой форума 3 апреля 2026 года станет путь к инновационному и высокотехнологичному государству.Не прячась за красивыми словами перейдём к делу: ниже вкратце описаны осн...
Ожидаемо нашлись побочки от оземпика
Оземпик никакой не "жиросжигатель". Не существует лекарств и химических веществ, которые бы смогли внутри живого организма человека "сжигать" жир. Ускорить работу организма? Мож...
Курс выживания при восстании машин. Маскировка. Демонтаж
Давайте воспримем эту статью как увлекательный мысленный эксперимент. Знание того, как устроены современные гуманоидные роботы, поможет не только подготовить себя морально к “св...
Оптимизация комплаенса без лишних затрат: как мы сократили нагрузку на команду с помощью трёх метрик
Привет! Я Томирис, аналитик данных в отделе финансового мониторинга в ЮMoney. Хочу показать кусочек нашей внутренней кухни: как мы пересобрали AML-процессы и перестали тонуть в ...