Автоматизация - Индексирование сайтов с помощью Яндекс Вебмастер API на Python

• Как использовать код из статьи
• Регистрация приложения
• Отправка списка страниц на индексирование в Яндекс Вебмастер:
• Импорт библиотек
• Настройки
• Загрузка URL для индексирования
• Отправка на индексирование
• Удаление из списка и экспорт
• Главная функция
• Запуск
• Получение списка проиндексированных страниц:
• Импорт библиотек
• Настройки
• Получение списка страниц
• Сопоставление полученных url из Вебмастера с актуальными адресами на сайте:
• Парсинг Sitemap
• Сопоставление адресов из базы Яндекса с адресами из Sitemap
• Создание визуального отчета в таблице
• Создание списка на переобход
• Главная функция
• Запуск

import json

import requests

 

import pandas as pd

TOKEN = 'y0_AgABCAAZqca9AAaElQAAAADKLs4Yq_tVuPHCZOKIQLy3rAYljzWccks'

USERID_URL = 'https://api.webmaster.yandex.net/v4/user'

RECRAWL_URL_TEMPLATE = 'https://api.webmaster.yandex.net/v4/user/{}/hosts/{}/recrawl/queue'

host = 'https:megaposm.com:443'

project_name = 'megaposm'

table_with_urls_for_recrawl = pd.read_excel(f'{project_name}.xlsx')

def get_auth_headers():

    return {'Authorization': f'OAuth {TOKEN}'}

def get_user_id():

    r = requests.get(USERID_URL, headers=get_auth_headers())

    user_id = json.loads(r.text)['user_id']

    return user_id

def send_urls_to_yandex_for_recrawl(data, user_id, host):

 

    sent_urls_for_recrawl_set = set()

 

    for url in data:

 

        yandex_webmaster_recrawl_url = RECRAWL_URL_TEMPLATE.format(user_id, host)

 

        url_for_recrawl = {'url': f'{url}'}

 

        r = requests.post(yandex_webmaster_recrawl_url,

                          headers = get_auth_headers(),

                          json = url_for_recrawl

                         )

 

        if r.status_code != 202:

            break

 

        sent_urls_for_recrawl_set.add(url)

 

    sent_urls_set_len = len(sent_urls_for_recrawl_set)

 

    print(json.loads(r.text))

    print('На переобход отправлено:', sent_urls_set_len)

 

    return sent_urls_for_recrawl_set

def export_data_to_excel(data):

    project_report = pd.ExcelWriter(f'{project_name}.xlsx', engine='xlsxwriter')

    data.to_excel(project_report, index=False)

    project_report.save()

def delete_sent_urls_and_export_new_table(main_urls_set, sent_urls_for_recrawl_set):

 

    main_urls_set_without_sent_urls = main_urls_set - sent_urls_for_recrawl_set

 

    rest_urls_list = list(main_urls_set_without_sent_urls)

 

    data = pd.DataFrame({'urls': rest_urls_list})

 

    export_data_to_excel(data)

def main_send_pages_to_yandex_for_recrawl(data):

    user_id = get_user_id()

 

    main_urls_set = set(data['urls'].to_list())

 

    sent_urls_for_recrawl_set = send_urls_to_yandex_for_recrawl(main_urls_set, user_id, host)

 

    delete_sent_urls_and_export_new_table(main_urls_set, sent_urls_for_recrawl_set)

main_send_pages_to_yandex_for_recrawl(table_with_urls_for_recrawl)

import json

import requests

import os

from datetime import datetime

 

 

from bs4 import BeautifulSoup

import pandas as pd

TOKEN = 'y0_AgABCAAZqca9AAaElQAAAADKLs4Yq_tVuPHCZOKIQLy3rAYljzWccks'

USERID_URL = 'https://api.webmaster.yandex.net/v4/user'

HOST_STAT_URL_TEMPLATE = 'https://api.webmaster.yandex.net/v4/user/{}/hosts/{}/summary'

INSEARCH_URL_TEMPLATE = 'https://api.webmaster.yandex.net/v4/user/{}/hosts/{}/search-urls/in-search/samples'

YANDEX_PER_REQUEST_PAGE_LIMIT = 100

host = 'https:megaposm.com:443'

project_name = 'megaposm'

sitemap_path = 'https://megaposm.com/index.php?route=extension/feed/google_sitemap'

YANDEX_VISUAL_REPORTS_DIR = 'results/visual_reports/yandex'

YANDEX_RECRAWL_BASES_DIR = 'results/recrawl_bases/yandex'

def get_auth_headers():

    return {'Authorization': f'OAuth {TOKEN}'}

def get_user_id():

    r = requests.get(USERID_URL, headers=get_auth_headers())

    user_id = json.loads(r.text)['user_id']

    return user_id

def yandex_get_indexed_pages(user_id, host):

    host_stat_url = HOST_STAT_URL_TEMPLATE.format(user_id, host)

    insearch_url = INSEARCH_URL_TEMPLATE.format(user_id, host)

 

    r = requests.get(host_stat_url, headers=get_auth_headers())

    indexed_pages_quantity = json.loads(r.text)['searchable_pages_count']

 

    print(f'В поисковой базе содержится {indexed_pages_quantity} страниц',)

 

    indexed_pages = set()

    params = {'offset': 0, 'limit': YANDEX_PER_REQUEST_PAGE_LIMIT}

    while params['offset'] < indexed_pages_quantity:

        r = requests.get(insearch_url, headers=get_auth_headers(), params=params)

        current_urls = {element['url'] for element in json.loads(r.text)['samples']}

        indexed_pages = indexed_pages.union(current_urls)

        params['offset'] += YANDEX_PER_REQUEST_PAGE_LIMIT

 

    return indexed_pages

parsed_urls = pd.read_excel(f'{project_name}.xlsx')

site_pages = set(parsed_urls['urls'])

user_agent = {'User-agent': 'Mozilla/5.0'}

def parse_sitemap_one_map(sitemap_path):

    r = requests.get(sitemap_path, headers=user_agent)

    soup = BeautifulSoup(r.text, 'xml')

    url_set = {url.text for url in soup.find_all('loc')}

 

    print('Количество страниц в Sitemap:', len(url_set))

 

    return url_set

def parse_sitemap_many_maps(sitemap_path):

 

    r = requests.get(sitemap_path, headers=user_agent)

    soup = BeautifulSoup(r.text, 'xml')

    maps = [sitemap.text for sitemap in soup.find_all('loc')]

 

    url_set = set()

    for sitemap in maps:

        r = requests.get(sitemap, headers=user_agent)

        soup = BeautifulSoup(r.text, 'xml')

        current_urls = {url.text for url in soup.find_all('loc')}

        url_set = url_set.union(current_urls)

 

    print('Количество страниц в Sitemap:', len(url_set))

 

    return url_set

def comapre_indexed_pages_with_pages_in_sitemap(indexed_pages, pages_in_sitemap):

    pages_in_index_but_not_in_sitemap = indexed_pages - pages_in_sitemap

    pages_is_sitemap_but_not_in_index = pages_in_sitemap - indexed_pages

 

    pages_in_index_but_not_in_sitemap_df = pd.DataFrame(

        pages_in_index_but_not_in_sitemap,

        columns=['pages_in_index_but_not_in_sitemap']

    )

    pages_is_sitemap_but_not_in_index_df = pd.DataFrame(

        pages_is_sitemap_but_not_in_index,

        columns=['pages_is_sitemap_but_not_in_index']

    )

    df = pd.concat([pages_in_index_but_not_in_sitemap_df, pages_is_sitemap_but_not_in_index_df], axis=1)

    return df

def export_report_data_to_excel(data, path, filename):

    os.makedirs(path, exist_ok=True)

    project_report = pd.ExcelWriter(os.path.join(path, filename), engine='xlsxwriter')

    data.to_excel(project_report, index=False)

    project_report.save()

def make_visual_report_for_yandex(project_name, path, indexed_pages, pages_in_sitemap):

    data = comapre_indexed_pages_with_pages_in_sitemap(indexed_pages, pages_in_sitemap)

    current_date = datetime.now().strftime('%d_%m_%Y')

    filename = f'{project_name}_{current_date}.xlsx'

    export_report_data_to_excel(data, path, filename)

def make_visual_report_for_yandex_for_many_maps(project_name, path, indexed_pages, pages_in_sitemap):

    data = comapre_indexed_pages_with_pages_in_sitemap(indexed_pages, pages_in_sitemap)

    current_date = datetime.now().strftime('%d_%m_%Y')

    filename = f'{project_name}_{current_date}.csv'

    data.to_csv(f'{path}/{filename}', index=False)

def get_recrawl_base_for_yandex(indexed_pages, pages_in_sitemap):

    pages_in_index_but_not_in_sitemap = indexed_pages - pages_in_sitemap

    pages_is_sitemap_but_not_in_index = pages_in_sitemap - indexed_pages

    all_pages_to_recrawl = list(pages_in_index_but_not_in_sitemap.union(pages_is_sitemap_but_not_in_index))

    data = pd.DataFrame(all_pages_to_recrawl, columns=['urls'])

    return data

def make_recrawl_base_for_yandex(project_name, path, indexed_pages, pages_in_sitemap):

    data = get_recrawl_base_for_yandex(indexed_pages, pages_in_sitemap)

    filename = f'{project_name}.xlsx'

    export_report_data_to_excel(data, path, filename)

def make_recrawl_base_for_yandex_many_maps(project_name, path, indexed_pages, pages_in_sitemap):

    data = get_recrawl_base_for_yandex(indexed_pages, pages_in_sitemap)

    filename = f'{project_name}.csv'

    data.to_csv(f'{path}/{filename}', index=False)

def main_yandex_index_sitemap_compare():

    user_id = get_user_id()

 

    print(project_name)

 

    indexed_pages = yandex_get_indexed_pages(user_id, host)

    pages_in_sitemap = parse_sitemap_one_map(sitemap_path)

 

    print('Подготовка визуального отчета')

    make_visual_report_for_yandex(project_name, YANDEX_VISUAL_REPORTS_DIR, indexed_pages, pages_in_sitemap)

 

    print('Подготовка таблицы со списком url на переобход')

    make_recrawl_base_for_yandex(project_name, YANDEX_RECRAWL_BASES_DIR, indexed_pages, pages_in_sitemap)

main_yandex_index_sitemap_compare()