01.1.12 Apify¶

Версия	1.1.0
Количество листов

Оглавление¶

История изменений
1. Apify

История изменений¶

№1	Дата: 07.07.26	Автор:Ляшук Андрей	RFC: RPL-2825	Версия: 1.1.0
Изменено: В процедурах “01.1.12_1.1_1” и “01.1.12_1.2_1” при изменении Поста коллаборации добавлено определение параметра “Дата публикации” согласно значению параметра “timestamp”, полученному в ответе Apify.

1. Apify¶

Сервис Apify используется для получения и обработки данных о поста коллаборации.

Интеграция с сервисом осуществляется на основе документации сервиса.

1_1 Переменные окружения

Переменная окружения	Описание
APIFY_BASE_URL	Хост для выполнения запросов к сервису.
APIFY_API_TOKEN	АПИ токен для аутентификации запросов.
APIFY_INSTAGRAM_SCRAPER_ACTOR_ID	Идентификатор актора для получения данных из инстаграма.

1.1 Очередь получения первичных данных о посте коллаборации через Apify¶

Повторная отправка сообщения очереди

Если сообщение не было обработано Обработчиком сообщений, должна выполняться повторная отправка сообщения Обработчику сообщений согласно настройкам повторной отправки сообщений.

Настройки повторной отправки сообщений

Настройка	Значение	Описание
Первоначальная отсрочка	60000	Первоначальная отсрочка отправки сообщения в миллисекундах.
Количество попыток	10	Количество повторных попыток отправки сообщения
Множитель отсрочки	1

1.1.1 Параметры сообщения “Пост коллаборации”

Название	Ключ	Значение
Идентификатор поста коллаборации	collaboration_post_id

01.1.12_1.1_1 Процедура обработки сообщения “Пост коллаборации”¶

Наступает время обработки сообщения, брокер отправляет сообщение обработчику сообщений.
Обработчик получает сообщение “Пост коллаборации”.
Выполняется логирование события с Payload:
event - "received";
title - “Collaboration post”;
data.collaboration_post_id - Идентификатор поста коллаборации, который был указан в сообщении для которого была инициирована данная процедура.
Если не имеется “Поста коллаборации” идентификатор которого соответствует значению параметра “collaboration_post_id”, который был указан в сообщении для которого была инициирована данная процедура:
1. Логирование события с Payload:
  1. event - "processed";
  2. title - “Collaboration post”;
  3. info - “Collaboration post not found”;
  4. data.collaboration_post_id - Идентификатор поста коллаборации, который был указан в сообщении для которого была инициирована данная процедура.
2. Брокеру сообщений возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются.
Если имеется “Пост коллаборации” идентификатор которого соответствует значению параметра “collaboration_post_id”, который был указан в сообщении для которого была инициирована данная процедура выполняется этап “5” данной процедуры.
Выполняется запрос “Run Actor synchronously with input and get dataset items” сервису “Apify”:
С параметрами:
1. actorId - {Согласно переменной окружения “APIFY_INSTAGRAM_SCRAPER_ACTOR_ID”}.
С телом запроса:
1. directUrls - “Ссылка” поста коллаборации, для которой инициирована данная процедура;
2. resultType - posts;
3. resultsLimit - 1;
4. addParentData - true.
Если запрос, который должен был быть выполнен на этапе “5” данной процедуры:
Не был выполнен:
1. Выполняется логирование события с Payload:
  1. event - "processed";
  2. title - “Collaboration post”;
  3. error - “Can’t send request”;
  4. data.collaboration_post_id - Идентификатор поста коллаборации, который был указан в сообщении для которого была инициирована данная процедура.
2. Брокеру сообщений не возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются;
3. Если сообщение “Collaboration post” удаляется из очереди:
  1. В очередь “Очередь отправки сообщений в Телеграм” добавляется сообщение “Telegram message” с параметрами:
    1. text - “Collaboration post update has not been processed. Reason: request was not sent. Collaboration post id: {collaboration_post_id}.
  2. Брокеру сообщений возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются.
Был выполнен:
1. И код ответа не “201”:
  1. Выполняется логирование события с Payload:
    1. event - "processed";
    2. title - “Collaboration post”;
    3. error - “Collaboration post update return error”;
    4. data.collaboration_post_id - Идентификатор поста коллаборации, который был указан в сообщении для которого была инициирована данная процедура.
  2. Брокеру сообщений не возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются.
  3. Если сообщение “Collaboration post” удаляется из очереди:
    1. В очередь “Очередь отправки сообщений в Телеграм” добавляется сообщение “Telegram message” с параметрами:
    2. text - “Collaboration post update has not been processed. Reason: webhook returned error. Collaboration post id: {collaboration_post_id}.
    3. Брокеру сообщений возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются.
2. И код ответа “201”:
  1. Выполняется изменение “Поста коллаборации”, для которого инициирована данная процедура:
    1. Количество лайков - согласно значению параметра “likesCount”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры;
    2. Количество комментариев - согласно значению параметра “commentsCount”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры;
    3. Количество просмотров - согласно значению параметра “videoViewCount”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры;
    4. Количество репостов - согласно значению параметра “reshareCount”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры;
    5. Количество проигрываний - согласно значению параметра “videoPlayCount”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры;
    6. Дата публикации - согласно значению параметра “timestamp”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры.
  2. Если значение параметра “type”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры:
    1. Image, выполняется “01_2.1.8.2.2 Процедура сохранения файла” с параметрами:
    2. Ссылка на файл - согласно значению параметра “displayUrl”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры.
    3. Video, выполняется “01_2.1.8.2.2 Процедура сохранения файла” с параметрами:
    4. Ссылка на файл - согласно значению параметра “videoUrl”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры.
    5. Sidecar, для каждого объекта в массиве “childPosts”, выполняется “01_2.1.8.2.2 Процедура сохранения файла” с параметрами:
    6. Ссылка на файл - Если значение параметра childPosts[ ].type:
      1. Image, согласно значению параметра “childPosts[ ].displayUrl”;
      2. Video, согласно значению параметра “childPosts[ ].videoUrl”.
  3. Для каждого файла, который был создан при выполнении этапа “6_b_ii_2” данной процедуры выполняется создание “Файла поста коллаборации” с параметрами:
    1. Идентификатор файла - Идентификатор файла, для которого выполняется этап “6_b_ii_3” данной процедуры;
    2. Идентификатор поста коллаборации - Идентификатор поста коллаборации, который указан при инициации данной процедуры;
    3. Тип - “Пост”.
  4. “07_3.3.2_7 Процедура отправки статистики поста коллаборации в веб-сокет” с параметрами:
    1. Идентификатор поста коллаборации - “Идентификатор” поста коллаборации, для которого инициирована данная процедура.
  5. Брокеру сообщений возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются.

1.2 Очередь обновления данных о посте коллаборации через Apify¶

Повторная отправка сообщения очереди

Если сообщение не было обработано Обработчиком сообщений, должна выполняться повторная отправка сообщения Обработчику сообщений согласно настройкам повторной отправки сообщений.

Настройки повторной отправки сообщений

Настройка	Значение	Описание
Первоначальная отсрочка	60000	Первоначальная отсрочка отправки сообщения в миллисекундах.
Количество попыток	10	Количество повторных попыток отправки сообщения
Множитель отсрочки	1

1.2_1 Параметры сообщения “Пост коллаборации для обновления данных”

Название	Ключ	Значение
Идентификатор поста коллаборации	collaboration_post_id
Номер попытки обновления	attempt_number

01.1.12_1.2_1 Процедура обработки сообщения “Пост коллаборации для обновления данных”¶

Наступает время обработки сообщения, брокер отправляет сообщение обработчику сообщений.
Обработчик получает сообщение “Пост коллаборации для обновления данных”.
Выполняется логирование события с Payload:
event - "received";
title - “Collaboration post for update data”;
data.collaboration_post_id - Идентификатор поста коллаборации, который был указан в сообщении для которого была инициирована данная процедура;
data.attempt_number - Номер попытки обновления, который был указан в сообщении для которого была инициирована данная процедура.
Если не имеется “Поста коллаборации” идентификатор которого соответствует значению параметра “collaboration_post_id”, который был указан в сообщении для которого была инициирована данная процедура:
1. Выполняется логирование события с Payload:
  1. event - "processed";
  2. title - “Collaboration post for update data”;
  3. info - “Collaboration post not found”;
  4. data.collaboration_post_id - Идентификатор поста коллаборации, который был указан в сообщении для которого была инициирована данная процедура;
  5. data.attempt_number - Номер попытки обновления, который был указан в сообщении для которого была инициирована данная процедура.
2. Брокеру сообщений возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются.
Если имеется “Пост коллаборации” идентификатор которого соответствует значению параметра “collaboration_post_id”, который был указан в сообщении для которого была инициирована данная процедура и в этом сообщении:
1. Имеется значение у параметра “Номер попытки обновления” и его значение:
  1. Не соответствует значению одному из “Номеров попыток обновления” настройки “Политики выполнения запросов к Apify”:
    1. Выполняется логирование события с Payload:
    2. event - "processed";
    3. title - “Collaboration post for update data”;
    4. info - “Attempt number not found”;
    5. data.collaboration_post_id - Идентификатор поста коллаборации, который был указан в сообщении для которого была инициирована данная процедура;
    6. data.attempt_number - Номер попытки обновления, который был указан в сообщении для которого была инициирована данная процедура.
    7. Брокеру сообщений возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются.
  2. Соответствует значению одному из “Номеров попыток обновления” настройки “Политики выполнения запросов к Apify”, выполняется этап “5” данной процедуры.
2. Не имеется значение у параметра “Номер попытки обновления”, выполняется этап “5” данной процедуры.
Выполняется запрос “Run Actor synchronously with input and get dataset items” сервису “Apify”:
С параметрами:
1. actorId - {Согласно переменной окружения “APIFY_INSTAGRAM_SCRAPER_ACTOR_ID”}.
С телом запроса:
1. directUrls - “Ссылка” поста коллаборации, для которой инициирована данная процедура.
2. resultType - posts;
3. resultsLimit - 1;
4. addParentData - true.
Если запрос, который должен был быть выполнен на этапе “5” данной процедуры:
Не был выполнен:
1. Выполняется логирование события с Payload:
  1. event - "processed";
  2. title - “Collaboration post for update data”;
  3. error - “Can’t send request”;
  4. data.collaboration_post_id - Идентификатор поста коллаборации, который был указан в сообщении для которого была инициирована данная процедура;
  5. data.attempt_number - Номер попытки обновления, который был указан в сообщении для которого была инициирована данная процедура.
2. Брокеру сообщений не возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются;
3. Если сообщение “Collaboration post” удаляется из очереди:
  1. В очередь “Очередь отправки сообщений в Телеграм” добавляется сообщение “Telegram message” с параметрами:
    1. text - “Collaboration post update has not been processed. Reason: request was not sent. Collaboration post id: {collaboration_post_id}.
  2. Брокеру сообщений возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются.
Был выполнен:
1. И код ответа не “201”:
  1. Выполняется логирование события с Payload:
    1. event - "processed";
    2. title - “Collaboration post for update data”;
    3. error - “Collaboration post update return error”;
    4. data.collaboration_post_id - Идентификатор поста коллаборации, который был указан в сообщении для которого была инициирована данная процедура;
    5. data.attempt_number - Номер попытки обновления, который был указан в сообщении для которого была инициирована данная процедура.
  2. Брокеру сообщений не возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются.
  3. Если сообщение “Collaboration post” удаляется из очереди:
    1. В очередь “Очередь отправки сообщений в Телеграм” добавляется сообщение “Telegram message” с параметрами:
    2. text - “Collaboration post update has not been processed. Reason: webhook returned error. Collaboration post id: {collaboration_post_id}.
    3. Брокеру сообщений возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются.
2. И код ответа “201”:
  1. Выполняется изменение “Поста коллаборации”, для которого инициирована данная процедура:
    1. Количество лайков - согласно значению параметра “likesCount”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры;
    2. Количество комментариев - согласно значению параметра “commentsCount”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры;
    3. Количество просмотров - согласно значению параметра “videoViewCount”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры;
    4. Количество репостов - согласно значению параметра “reshareCount”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры;
    5. Количество проигрываний - согласно значению параметра “videoPlayCount”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры;
    6. Дата публикации - согласно значению параметра “timestamp”, который был получен в ответе на запрос, который был выполнен на этапе “5” данной процедуры.
  2. Если имеется “Номер попытки обновления” настройки “Политики выполнения запросов к Apify” значение которого на 1 больше, чем у параметра “Номер попытки обновления”, которой был указан в сообщении, для которого инициирована данная процедура:
    1. Выполняется добавление сообщения “Пост коллаборации для обновления данных” в “Очередь обновления данных о посте коллаборации через Apify”:
    2. С параметрами:
      1. Идентификатор поста коллаборации - Идентификатор поста коллаборации, который был указан в сообщении для которого была инициирована данная процедура;
      2. Номер попытки обновления - Номер попытки обновления, который был определен на этапе “6_b_ii_2” данной процедуры;
    3. С опциями:
      1. delay_stamp - “Период отсрочки” настройки “Политики выполнения запросов к Apify”, номера попытки обновления, который был определен на этапе “6_b_ii_2” данной процедуры.
  3. “07_3.3.2_7 Процедура отправки статистики поста коллаборации в веб-сокет” с параметрами:
    1. Идентификатор поста коллаборации - “Идентификатор” поста коллаборации, для которого инициирована данная процедура.
  4. Брокеру сообщений возвращается информация о том что сообщение было обработано. Дальнейшие этапы данной процедуры не выполняются.