Автоматизация - Индексирование сайтов с помощью Google Indexing API на Python

• Как использовать код из статьи
• Подготовка:
• Регистрация приложения
• Настройка Google Search Console
• Установка специальных библиотек
• Отправка URL на индексирование:
• Настройки
• Загрузка URL для индексирования
• Отправка на индексирование
• Удаление из списка и экспорт
• Главная функция
• Запуск
• Увеличение квоты Indexing API:
• Настройки
• Загрузка URL для индексирования
• Отправка на индексирование
• Удаление из списка и экспорт
• Главная функция
• Запуск

import json

import time

import requests

 

import httplib2

from oauth2client.service_account import ServiceAccountCredentials

 

import pandas as pd

SCOPES = ["https://www.googleapis.com/auth/indexing"]

ENDPOINT = "https://indexing.googleapis.com/v3/urlNotifications:publish"

key = 'davita-301710-699786f70a1b'

project_name = 'davita'

table_with_urls_for_recrawl = pd.read_excel(f'{project_name}.xlsx')

def send_pages_to_google_for_recrawl(data, key):

 

    json_key_file = f"{key}.json"

    credentials = ServiceAccountCredentials.from_json_keyfile_name(json_key_file, 

                                                                   scopes=SCOPES)

    http = credentials.authorize(httplib2.Http())

 

    sent_urls_for_recrawl_set = set()

    for url in data:

 

        urls = {'url': '{}'.format(url),

                'type': 'URL_UPDATED'}

 

        response, content = http.request(ENDPOINT, method="POST", 

                                        body=json.dumps(urls))

 

        time.sleep(1)

 

        if response['status'] != '200':

            break

 

        sent_urls_for_recrawl_set.add(url)

 

    sent_urls_set_len = len(sent_urls_for_recrawl_set)

 

    print(response['status'])

    print(content.decode())

 

    print('На переобход отправлено:', sent_urls_set_len)

 

    return sent_urls_for_recrawl_set

def export_data_to_excel(data):

    project_report = pd.ExcelWriter(f'{project_name}.xlsx', engine='xlsxwriter')

    data.to_excel(project_report, index=False)

    project_report.save()

def main_send_pages_to_google_for_recrawl(data):

 

    main_urls_set = set(data['urls'].to_list())

 

    sent_urls_for_recrawl_set = send_urls_to_yandex_for_recrawl(main_urls_set, user_id, host)

 

    delete_sent_urls_and_export_new_table(main_urls_set, sent_urls_for_recrawl_set)

main_send_pages_to_google_for_recrawl(table_with_urls_for_recrawl)

import json

import time

import requests

import traceback

 

import httplib2

from oauth2client.service_account import ServiceAccountCredentials

 

import pandas as pd

SCOPES = ["https://www.googleapis.com/auth/indexing"]

ENDPOINT = "https://indexing.googleapis.com/v3/urlNotifications:publish"

key_path = '{}/{}.json'

project_name = 'koleso'

table_with_urls_for_recrawl = pd.read_csv(f'{project_name}.csv')

def error_report():

    print('Ошибка')

    traceback.print_exc()

def send_pages_to_google_for_recrawl(data, email, key):

 

    json_key_file = key_path.format(email, key)

 

    credentials = ServiceAccountCredentials.from_json_keyfile_name(json_key_file, 

                                                                   scopes=SCOPES)

    http = credentials.authorize(httplib2.Http())

 

    sent_urls_for_recrawl_set = set()

    for url in data:

 

        urls = {'url': '{}'.format(url),

                'type': 'URL_UPDATED'}

 

        response, content = http.request(ENDPOINT, method="POST", 

                                        body=json.dumps(urls))

 

        time.sleep(0.5)

 

        if response['status'] != '200':

            break

 

 

        sent_urls_for_recrawl_set.add(url)

 

    #print(response['status'])

    for keys,values in json.loads(content.decode())['error'].items():

        print(values,'\n')

 

    sent_urls_set_len = len(sent_urls_for_recrawl_set)

 

 

    print('На переобход отправлено:', sent_urls_set_len,'\n')

 

    return sent_urls_for_recrawl_set

def delete_sent_urls_and_export_new_csv_table(main_urls_set, sent_urls_for_recrawl_set):

 

    print('Удаление отправленных URL','\n')

 

    main_urls_set_without_sent_urls = main_urls_set - sent_urls_for_recrawl_set

 

    print('Длина общего списка после удаления отправленных URL:', len(main_urls_set_without_sent_urls),'\n')

 

    rest_urls_list = list(main_urls_set_without_sent_urls)

 

    data = pd.DataFrame({'urls': rest_urls_list})

 

    print('Экспорт CSV','\n','\n')

 

    data.to_csv(f'{project_name}.csv', index=False)

def main_send_pages_to_google_for_recrawl():

 

    settings = pd.read_excel('google_indexing_settings.xlsx').to_dict('records')

 

    total_sent_urls_counter = 0

 

    for row in settings:

        try:

            email, service_email, key = row['email'], row['service_account_email'], row['key']

 

            print(email)

            print(service_email,'\n')

 

            data = pd.read_csv(f'{project_name}.csv')

 

            print('Длина общего списка URL:', len(data))

            print('Конвертация в set')

 

            main_urls_set = set(data['urls'].to_list())

 

            print('Длина списка URL после конвертации в set:', len(main_urls_set),'\n')

 

            sent_urls_for_recrawl_set = send_pages_to_google_for_recrawl(main_urls_set, email, key)

 

            delete_sent_urls_and_export_new_csv_table(main_urls_set, sent_urls_for_recrawl_set)

 

            total_sent_urls_counter += len(sent_urls_for_recrawl_set)

 

            print('Ожидание 20 сек.','\n','\n')

            time.sleep(20)

 

        except:

            error_report()

 

    print('На переобход отправлено:', total_sent_urls_counter) 

main_send_pages_to_google_for_recrawl()