Углубленное руководство по анализу файлов журналов для SEO
Углубленное руководство по анализу файлов журналов для SEO.
В файле журнала вашего сайта записывается каждый запрос, сделанный на ваш сервер, и анализ этой информации может дать представление о том, как поисковые системы просматривают ваш сайт и его веб-страницы.
В этом руководстве мы подробно рассмотрим, как проводить анализ лог-файла и для чего его можно использовать в SEO, в частности, рассмотрим:
Что такое анализ файлов журналов? Для чего используется анализ файлов журналов в SEO? Как провести анализ файлов журналов.
Что такое анализ файла журнала?
Анализ лог-файлов — это техническая задача SEO, которая позволяет вам увидеть, как именно Googlebot (и другие веб-гусеницы и пользователи) взаимодействуют с вашим сайтом. Лог-файл дает вам ценные сведения, которые могут помочь в разработке вашей SEO-стратегии или решении проблем, связанных с наползанием и индексированием ваших веб-страниц.
Выполните анализ файла журнала.
с помощью Semrush Log File Analyzer.
Что такое файл журнала и какую информацию он содержит?
Файл журнала вашего сайта хранится на вашем сервере и записывает информацию о выполненных запросах.
Каждый раз, когда пользователь или бот посещает веб-страницу на вашем сайте, запись записывается в файл журнала для каждого загруженного ресурса. Журнал показывает, как именно пользователи, поисковые системы и другие краулеры взаимодействуют с вашим сайтом.
Вот пример того, как выглядит файл журнала:
Image Credit: Fourth P.
В файле журнала вы найдете данные, в том числе:
URL запрашиваемой страницы или ресурса.
Код статуса HTTP запроса.
IP-адрес сервера запроса.
Временная метка попадания (время и дата)
Агент пользователя, сделавший запрос (например.g., Googlebot)
Метод запроса (GET
Вы также можете обнаружить IP-адрес клиента, время, затраченное на загрузку ресурса, и реферер.
Если вы впервые просматриваете файл журнала, не стоит отрицать, что он может быть запутанным. Однако, поняв, для чего используется анализ журнальных файлов и как его проводить, вы сможете получить действительно ценные сведения.
Для чего используется анализ журнальных файлов в SEO?
Существует несколько различных сведений, которые вы можете получить из лог-файла вашего сайта в качестве SEO-специалиста, и некоторые из основных, о которых вам необходимо знать:
Как часто Googlebot просматривает ваш сайт, наиболее важные страницы (и просматриваются ли они вообще), а также выявление страниц, которые не часто просматриваются.
Определение наиболее часто просматриваемых страниц и папок.
Расходуется ли бюджет на сканирование вашего сайта на неактуальные страницы?.
Поиск URL-адресов с параметрами, которые просматриваются без необходимости.
Перешел ли ваш сайт на первую мобильную индексацию.
Конкретный код состояния, который обслуживается для каждой из страниц вашего сайта, и поиск проблемных областей.
Если страница неоправданно большая или медленная.
Поиск статических ресурсов, которые просматриваются слишком часто.
Поиск часто просматриваемых цепочек перенаправлений.
обнаружение внезапных увеличений или уменьшений активности краулеров.
Как провести анализ файла журнала.
Теперь, когда мы рассмотрели некоторые моменты, которые можно получить с помощью анализа лог-файлов, давайте рассмотрим, как это сделать.
Лог-файл вашего сайта' сервера.
Хотя вы можете конвертировать .войти в систему .csv, просто переименовав файл, что означает, что его можно открыть и проанализировать в Excel или Google Sheets, использование специального инструмента делает анализ проще и быстрее. Это означает, что вы можете потратить больше времени на поиск решений любых найденных проблем, а не на интерпретацию данных вручную.
Тем не менее, если вы хотите провести анализ вручную, вам необходимо иметь представление о расширенном использовании любого из этих инструментов, включая создание таблиц pivot. Если вы' не знаете, как это сделать в Excel, вы можете прочитать это руководство или взглянуть на это, чтобы узнать, как это сделать в Google Sheets.
В качестве альтернативы используйте Semrush Log File Analyzer, чтобы избежать необходимости учиться делать это (однако, таблицы pivot пригодятся для целого ряда задач, и об этом стоит узнать больше).
Где взять файл журнала.
Прежде чем анализировать лог-файл вашего сайта, вам необходимо получить его копию.
Файлы журналов хранятся на вашем веб-сервере, и вам' понадобится доступ к нему, чтобы загрузить копию. Если у вас нет такого доступа, поговорите с вашим веб-разработчиком или IT-командой, попросите их либо предоставить его, либо поделиться копией лог-файла.
Чтобы получить доступ к файлу журнала, вам' нужно использовать либо файловый менеджер вашей панели управления сервером', либо командную строку, либо FTP-клиент (если у вас' еще нет такого клиента, Filezilla бесплатна и рекомендуется).
Мы будем считать, что вы получаете доступ к серверу через FTP, поскольку это наиболее распространенный способ.
После подключения к серверу вам нужно перейти к местоположению файла журнала сервера. В обычных серверных установках это можно найти в следующих местах:
Apache.журнал IIS: %SystemDrive%\inetpub\logs\LogFiles.
Однако важно знать, что получить файл журнала вашего сайта' не всегда так просто, и часто возникают следующие проблемы:
Обнаружение того, что файлы журнала были отключены администратором сервера и недоступны Клиенты или другие внутренние команды не хотят предоставлять файлы журнала или доступ для их получения Огромные размеры файлов Файлы журнала, которые хранят только последние данные (основанные либо на количестве дней, либо на количестве просмотров) Проблемы, вызванные CDN Пользовательские форматы.
Тем не менее, все эти проблемы имеют решения, над которыми обычно можно работать вместе с разработчиком или администратором сервера.
Представляем анализатор файлов журнала Semrush.
Semrush Log File Analyzer — это идеальный способ получить представление о том, как поисковые системы ползают по вашему сайту, не имея большого опыта ручного аудита.
Мы уже рассказывали о том, как это может быть сложно и запутанно для тех, кто никогда раньше не проводил анализ файлов журналов. Однако наш инструмент может помочь вам получить те же данные просто и легко.
На самом деле, мы рекомендуем использовать этот инструмент по следующим причинам:
Анализировать файл журнала вручную очень утомительно. Если вы не обладаете высокой квалификацией в области технического анализа веб-сайтов, это может оказаться сложной задачей, которая заставит вас скрестить руки на груди и запутаться. Если вам нужен самый быстрый способ прочитать журнал доступа и понять, как боты из Google взаимодействуют с вашим сайтом, этот инструмент для вас.
Использование инструмента делает анализ лог-файлов быстрым и понятным, и вот'простой и понятный пошаговый процесс:
1. Убедитесь, что ваш файл журнала имеет правильный формат.
Перед использованием инструмента вам' необходимо убедиться, что ваш файл журнала имеет правильный формат; это' правильный формат доступа.формат журнала. Инструмент также поддерживает варианты формата журнала W3C, Kinsta и Combined.
Правильный формат файла — «Combined Log Format," и использует следующую структуру:
h — хозяин.)
Также необходимо учитывать максимальный размер загрузки в 1 ГБ.
2. Загрузите файл журнала в инструмент.
Вы можете либо перетащить ваш файл(ы) журнала в инструмент, либо найти файл на вашей машине, чтобы подготовиться к запуску анализа.
Пожалуйста, убедитесь, что ваши файлы журнала не содержат персональных данных, как рекомендуется на данном этапе. Важно отметить, что анализ лог-файлов для SEO требует только GET-данных, а не POST-данных (в них могут содержаться конфиденциальные данные).
3. Запустите анализатор файлов журналов.
После загрузки файла журнала добавьте еще один файл (в случаях, когда данные, которые вы хотите проанализировать, разделены на два или более файлов) или нажмите 'Start Log File Analyzer', чтобы начать анализ.
В зависимости от размера файла может возникнуть небольшое ожидание во время работы инструмента.
4. Анализ данных файла журнала.
После того как ваш лог-файл будет проанализирован, вы' увидите два основных отчета в инструменте:
Активность Googlebot Хиты по страницам.
Посмотрев сначала на Googlebot Activity, вы можете получить представление о ежедневном количестве посещений для различных ботов (bots), увидеть разбивку различных кодов состояния (Status Codes) и частоту запросов различных типов файлов (File Type).
Боты:
Коды состояния:
Типы файлов:
Вы можете использовать эти данные, чтобы понять:
Количество запросов различных поисковых ботов к вашему сайту в день (Bots) Разбивка различных кодов состояния HTTP, найденных в день (Status Codes) Разбивка различных типов файлов, просмотренных в день (File Types)
Эти данные относятся ко всему сайту, но чтобы получить конкретную информацию о том, как Googlebot и другие поисковые машины получают доступ к содержимому вашего сайта, посмотрите отчет «Хиты по страницам».
Здесь вы увидите информацию о конкретных страницах (фильтр по пути), узнаете, какие страницы или папки вашего сайта имеют больше или меньше всего посещений ботами (сортировка по колонке Bot Hits) или какие страницы посещаются чаще всего.
Использование инструмента делает анализ файлов журнала простым и понятным. Нет причин, по которым SEO-специалисты должны вручную анализировать свой лог-файл, когда можно использовать инструмент для ускорения процесса.
