Наш Workflow автоматизирует процесс извлечения структуры сайта из sitemap и загрузки её в Supabase, что способствует более эффективному анализу и управлению контентом на сайте, а также облегчает интеграцию с другими системами.
Описание нод workflow
В DataLife Engine три файла карты сайта, поэтому будем отдельно обрабатывать их в три разных потока.
Edit Fields1 - в этой ноде проставляются адреса основного домена и трех файлов sitemap, для категорий, для статических страниц, для новостей.
Create a row1 - записывает в базу данных главную страницу сайта. По какой то неизвестной причине разработчики DLE посчитали, что главная страница сайта не нужна в карте сайта.
HTTP Request - парсинг карты сайта
XML - преобразует XML в Json
Split Out - разделяет поштучно
Edit Fields - значения полей зля записи в базу данных. url - адрес, vid - вид адреса. Соответствующие поля должны быть созданы в вашей таблице базы данных Supabase
Loop Over Items + Create a row - цикл записи данных
После того, как в базе данных есть вся структура сайта, уже можно работать с этими данными - парсить страницы, извлекать любые данные, о чем будут наши следующие публикации.
Код sql запроса для создания таблицы:
CREATE TABLE sitepage ( id bigint NOT NULL, linkurl text, vid text, title text, fulltext text, imgurl text);
