<MyRusakov.ru />

Профессия Web-разработчик

Профессия Web-разработчик

Этот комплект за 8 месяцев превратит Вас в Web-разработчика с нуля. Учиться достаточно 1 час в день.

Начнёте Вы с HTML, CSS и вёрстки сайтов. Потом перейдёте к программированию и JavaScript. Затем изучите PHP, MySQL, SQL, Python. Изучите Web-фреймворки Laravel и Django. Создадите 5 своих сайтов для портфолио.

Комплект содержит:

- 540 видеоуроков

- 110 часов видео

- 1205 заданий для закрепления материала из уроков

- 5 финальных тестов

- 7 сертификатов

- 12 Бонусных курсов

Подробнее
Подписка

Подпишитесь на мой канал на YouTube, где я регулярно публикую новые видео.

YouTube Подписаться

Подписавшись по E-mail, Вы будете получать уведомления о новых статьях.

Подписка Подписаться

Добавляйтесь ко мне в друзья ВКонтакте! Отзывы о сайте и обо мне оставляйте в моей группе.

Мой аккаунт Мой аккаунт Моя группа
Опрос

Какая тема Вас интересует больше?

Находим битые ссылки с Selenium в Python

Находим битые  ссылки с Selenium в Python

Здравствуйте! В сегодняшней статье мы поговорим про битые ссылки. Что же это такое. Итак, представим себе ситуацию при которой мы сняли гостиницу и при прибытии к месту, оказывается что это пустырь. Примерно также может почувствовать себя пользователь при встрече с битыми ссылками. Т.е. наличие подобных ошибок влияет на восприятие данного сайта и ухудшает UE - пользовательский опыт, а также сказывается на SEO. В связи с чем возникает необходимость проверки сайта на наличие подобных ошибок. Конечно, ничто не мешает сделать это вручную, но что если сайт многостраничный и ссылки на нем трудно подсчитать. Что часто встречается в интернет магазинах. Для решения подобных задач существуют готовые инструменты от Google и Yandex. При этом многие из них платны и имеют ограничения. Мы же попробуем решить данную задачу с помощью Selenium webdriver и Python. И как мы уже знаем, Selenium — это веб-инструмент автоматизации с открытым исходным кодом, позволяющий автоматизировать действия пользователя в браузере. Для решения задачи нахождения битых ссылок нам понадобится совершить ряд последовательных шагов.

Необходимые шаги: Найти все ссылки, присутствующие на веб-странице.Отправить HTTP-запрос на каждую ссылку и получите ее код состояния.На основе кода состояния мы решим, сломана ссылка или нет.




from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# импорт модуля для отправки запросов по адресам ссылок
import requests

# укажим место хранения драйвера
PATH=r"C:/path_to/chromedriver.exe"

# создадим  экземпляр драйвера
my_driver = webdriver.Chrome(PATH)

# пропишем адрес сайта
my_driver.get("https://myrusakov.ru/python-tutorial.html")

# получим список ссылок из страницы сайта
all_links = my_driver.find_elements(By.CSS_SELECTOR,"a")

# проверим список на наличие битых ссылок
for link in all_links:
    # выделение url ссылки из аттрибута href
    url = link.get_attribute('href')


    # послаем запрос по указанному url  и получаем ответ
    result = requests.head(url)

    # если статус кода ответа не равен 200 выводим ссылку на экран (приспособьте условие под свои потребности)
    if result.status_code != 200:
      print(url, result.status_code)

Следует иметь ввиду, что подход основанный на статусе ответов может зависеть от текущего состояния соединения или сервера. Таким образом, при помощи Python и Selenium webdriver, мы попытались решить одну из задач оптимизации сайта в поисковике.

Копирование материалов разрешается только с указанием автора (Михаил Русаков) и индексируемой прямой ссылкой на сайт (http://myrusakov.ru)!

Добавляйтесь ко мне в друзья ВКонтакте: http://vk.com/myrusakov.
Если Вы хотите дать оценку мне и моей работе, то напишите её в моей группе: http://vk.com/rusakovmy.

Если Вы не хотите пропустить новые материалы на сайте,
то Вы можете подписаться на обновления: Подписаться на обновления

Если у Вас остались какие-либо вопросы, либо у Вас есть желание высказаться по поводу этой статьи, то Вы можете оставить свой комментарий внизу страницы.

Порекомендуйте эту статью друзьям:

Если Вам понравился сайт, то разместите ссылку на него (у себя на сайте, на форуме, в контакте):

  1. Кнопка:

    Она выглядит вот так: Как создать свой сайт

  2. Текстовая ссылка:

    Она выглядит вот так: Как создать свой сайт

  3. BB-код ссылки для форумов (например, можете поставить её в подписи):

Комментарии (0):

Для добавления комментариев надо войти в систему.
Если Вы ещё не зарегистрированы на сайте, то сначала зарегистрируйтесь.