Автоматизация сбора поискового спроса Yandex Wordstat

Маркетологу важно регулярно видеть, как меняется поисковый спрос: по бренду, конкурентам, категориям, форматам, регионам и периодам. Ручная работа с Wordstat плохо масштабируется: фраз становится больше, группировки усложняются, данные нужно обновлять регулярно, а историческую динамику приходится каждый раз собирать заново.

Задача была не просто получить данные из Wordstat, а превратить ручной сбор в воспроизводимый аналитический контур: с хранением семантики, регулярной загрузкой данных, контролем ошибок и готовым слоем для BI.

Нужно было собрать систему, которая берет подготовленную семантику, получает динамику спроса через Wordstat API, сохраняет данные в YDB и готовит их для анализа в DataLens.

• загружать фразы и кластеры из XLSX-файла;
• хранить справочники в нормализованной структуре YDB;
• получать weekly-динамику через Wordstat API;
• поддерживать backfill и rolling-обновления;
• логировать запуски, статусы, ошибки и количество записанных строк;
• обрабатывать фразы батчами с учетом лимитов API;
• готовить отдельную витрину для DataLens;
• оставить основу для расширения под monthly и daily режимы, а также расширения регионов и устройств.

Контур построен вокруг Yandex Cloud: исходные фразы и кластеры загружаются через XLSX, файл попадает в Object Storage, Cloud Functions обновляют справочники в YDB, отдельная функция обращается к Wordstat API, сохраняет факты в dynamics-таблицу и передает данные в аналитическую витрину.

В основе проекта — нормализованная модель данных. Фразы, кластеры, запуски, задачи и фактическая динамика хранятся отдельно. Это позволяет не смешивать справочники, процесс обработки и итоговые аналитические данные.

Система рассчитана не на разовый запуск, а на регулярную обработку данных. Каждый запуск получает собственный run_id, задачи хранятся отдельно, ошибки фиксируются на уровне конкретной фразы или батча, а статусы позволяют быстро понять, где именно остановился процесс.

• каждый запуск имеет run_id;
• статусы запусков: RUNNING, SUCCESS, FAILED, CANCELLED;
• задачи хранятся в parser_tasks отдельно от parser_runs;
• attempt используется для повторных попыток;
• error_message сохраняет причину ошибки;
• batch-обработка помогает не упираться в лимиты API;
• rolling-режим защищает свежие данные от устаревания;
• при сбое можно понять, где проблема: API, задача, запись в YDB или сборка витрины.

Поверх ETL добавлен операционный слой: Timer Triggers запускают регулярную обработку, backfill используется для исторической загрузки, rolling-режим обновляет последние периоды, а Telegram-уведомления сообщают о старте, результате и ошибках.

Прямые джойны больших таблиц внутри BI могут быстро упереться в ограничения по материализации данных. Поэтому для DataLens собирается отдельная витрина в YDB: справочники, факты и кластеры заранее приводятся к удобному аналитическому виду.

• быстрее работает BI;
• меньше риск ошибок на тяжелых join-операциях;
• проще строить графики и селекторы;
• можно анализировать спрос по брендам, конкурентам, generic-группам и кластерам;
• можно сравнивать периоды и смотреть динамику спроса.

Получился рабочий ETL-контур для сбора и анализа поискового спроса. Фразы и кластеры хранятся в YDB, weekly-динамика загружается через Wordstat API, запуски логируются, задачи обрабатываются батчами, ошибки контролируются, а данные готовятся для DataLens через отдельную витрину.

Это не разовый парсер, а основа для внутреннего инструмента: от хранения семантики до автоматического обновления спроса и готового аналитического слоя.