Има много начини да премахнете URL адрес от резултатите на Google, но е добре да знаете кой точно е подходящ във вашия случай. Ако не използвате най-оптималния вариант, не само че може да не премахнете дадения адрес от SERP, но може дори да постигнете негативен SEO ефект.
От ahrefs.com споделят 5 начина, с които най-правилно да действате, като дори дават и една малка, лесна и практична инфографика, която да ви помага винаги, когато се чудите какво да правите с дадена страница.
В следващите редове ще разгледаме най-важното, което трябва да знаете, когато искате да премахнете URL адрес от резултатите на Google. Нека започнем с първа стъпка…
Как да проверим дали страницата е индексирана
В повечето случаи SEO експертите проверяват дали съдържанието е индексирано, с помощта на параметъра “site:”. Тук е важно да уточним, че с този параметър може да се направи добра проверка за ориентировъчния брой страници и секции на сайта, но чрез него се показват URL адреси, които са известни на Google, и не е сигурно дали биха се показали при нормално търсене без “site:” параметъра.
Например, при “site:” търсене могат все още да се показват пренасочени или каноникализирани към друга страница, URL адреси. Когато търсите конкретен сайт, Google може да ви покаже страница от този домейн, със съдържанието, тайтъл тага и мета описанието от друг домейн. Вземете за пример moz.com, който преди няколко години беше seomoz.org. Всяко обикновено търсене, което води към страница от moz.com, ще покаже moz.com в SERP-а, НО търсене с параметъра “site:seomoz.org” ще ви покаже страници от seomoz.org.
Важно е да се запомни този пример, за да се избегнат евентуалните грешки на SEO специалистите, като например блокиране или премахване на URL адреси от стария домейн – действие, което може да попречи силата на старата страница да се прехвърли към новата. Много често уебмастърите мислят, че са объркали нещо при миграцията на сайта, когато видят все още индексирани страници от стария домейн. Всъщност грешката им започва точно тогава, когато решат да предприемат действия спрямо “проблема”.
По-добрият начин за проверка на индексацията е чрез Index Coverage отчета в Google Search Console, или посредством URL Inspection Tool, ако става дума за конкретна страница. Тези тулове показват дали дадена страница е индексирана и дават допълнителна информация за това как Google възприемат страницата.
А сега нека да видим и конкретните 5 начина за премахване на страница от резултатите на Google.
Начин 1: Изтриване на съдържанието
Ако премахнете страницата и сервирате HTTP хедър 404 или 410, тогава страницата ще бъде премахната от индекса малко след като премине през новото обхождане от краулерите. Дотогава, тя все още може да се показва в резултатите. Не забравяйте също и, че кешираната версия също ще е достъпна за известно време.
В кои случаи може да ви е нужен различен подход:
- Трябва ви незабавно премахване – вижте “Начин 4: URL Removal инструмента”
- Трябва да прехвърлите силата на линковете – вижте “Начин 5: Каноникализиране”
- Трябва страницата да е достъпна за потребителите – вижте дали “Начин 2: NoIndex” или “Начин 3: Ограничаване на достъпа” не са подходящи за вашия случай
Начин 2: NoIndex
Имплементирането на NoIndex (чрез meta robots tag или x-robots header) ще каже на търсещите машини да премахнат страницата от индекса. За да бъде видяна тази директива от търсещите машини е много важно достъпът до нея да не е блокиран, както много често се случва. Класическата грешка е да се блокират краулерите в robots.txt файла и така те не могат да достигнат и прочетат NoIndex директивата.
В кои случаи може да ви е нужен различен подход:
- Ако не искате потребителите да достъпват тези страници – вижте “Начин 3: Ограничаване на достъпа”
- Ако искате да консолидирате беклинк профила на страниците – вижте “Начин 5: Каноникализиране”
Начин 3: Ограничаване на достъпа
Ако искате страницата да е достъпна само за някои потребители, но не и за търсещите машини, тогава може да помислите за някои от следните опции:
- Логин система с потребителско име и парола
- HTTP удостоверяване (с изискване за парола за достъп)
- IP бял списък (IP Whitelisting), при който достъпът е разрешен само за определени IP адреси
Този начин на действие е подходящ за вътрешни мрежи, съдържание за регистрирани в даден сайт потребители, дев версия на сайт, тестова среда. Той позволява на група хора да достъпват страницата, но тя да остане скрита за търсещите машини, така че да не я индексират.
В кой случай може да ви е нужен различен подход:
- Трябва ви незабавно премахване – вижте “Начин 4: URL Removal инструмента”, който може да ви е полезен в случай, че вече има създадена кеширана версия на страницата и искате потребителите да не я видят.
Начин 4: URL Removal инструмента
Името на този инструмент е малко подвеждащо. Истинското му действие е да скрие временно съдържанието. Тоест, Google все още ще го виждат и обхождат, но то ще остава скрито за потребителите на търсачката. Действието на инструмента трае 6 месеца и е препоръчително да се ползва само в екстремни ситуации, като проблеми със сигурността, изтичане на данни, компрометиране на лична информация, и др.
Употребата на URL Removal само ви печели малко време и трябва да бъде съчетана с някой от другите начини, за да се постигне действително премахване или изтриване на дадена страница. Знайте, че ефектът от инструмента може да отнеме до 24 часа, преди да влезе в сила.
Начин 5: Каноникализиране
Когато имате няколко версии на една страница и искате да консолидирате тяхната SEO сила в една страница, ви трябва някаква форма на каноникализиране. Най-честата причина за подобна операция е избягването на дублирано съдържание.
Разполагате с няколко начина за каноникализиране:
- Canonical tag: чрез този вид релация посочвате друг URL като канонична версия, която искате да се показва при търсене в Google. В общия случая това ви помага , ако страниците са с дублирано или много сходно съдържание. В случай, че страниците са твърде различни, Canonical може да бъде игнориран, тъй като е само подсказка за машините, а не директива.
- Пренасочвания: пренасочването (още редирект) води потребителите или краулерите от една страница към друга. 301 редирект е най-използваният от SEO експертите – с него се казва на търсещите машини, че крайният URL трябва да се показва в резултатите и всички SEO сигнали до момента трябва да бъдат прехвърлени към него. 302 редирект е временно пренасочване, с което казвате, че искате да запазите в индекса оригиналния URL адрес и сигналите към него.
- Третиране на URL параметри: при някои действия по страницата, се появяват параметри като “?” или “%”, които се прикрепят към името на URL адреса. С помощта на URL Parameters Tool можете да насочите Google как да гледа на тези параметри. Например, можете да уточните дали даден параметър променя съдържанието на страницата.
Кое съдържание е приоритетно за премахване от резултатите
Възможно е да имате много страници, които искате да премахнете от индекса на Google. Добре е да си ги разделите по приоритети.
- Висок приоритет: това следва да са страници, имащи проблем със сигурността и личните данни и информация.
- Среден приоритет: тук можете да добавите страници, до които достъп трябва да имат само определени хора.
- Нисък приоритет: това обикновено са страници с дублирано съдържание. Най-честите примери са страници с еднакво съдържание, но различни URLs, адреси с параметри, дублиране на текущи версии с такива, в процес на разработка.
Често допускани грешки при премахване на страници
Ето някои от най-честите неправилни опити за премахване на съдържание от индекса.
NoIndex в robots.txt файла
Въпреки, че този начин никога не е бил стандарт, доскоро Google го толерираха. Е, вече не. Сайтовете, които все още го правят, е добре да сменят подхода, за да не си навредят.
Блокиране на обхождането в robots.txt
Обхождане и индексиране са две различни неща. Дори Google да е блокиран да обхожда страници, в случай че в тях има вътрешни или външни линкове, може пак да ги индексира. Краулерите няма да знаят какво има на страниците, защото не са ги обходили, но ще знаят, че те съществуват и може да ги включат в индекса си, като дори им сложат тайтъл, на база анкор текстовете на линковете в страниците.
Nofollow
Nofollow често се бърка с NoIndex. Nofollow не е директива, и въпреки че първоначално спираше краулерите да следват линковете, те вече могат да ги обходят, ако преценят.
NoIndex и Canonical към друг URL адрес
Употребени заедно, тези имплементации биват в конфликт. NoIndex казва да се премахне страницата от индекса, а Canonical казва, че друга страница е версията, която трябва да бъде включена в индекса. На практика, тази комбинация може и да не види проблем, тъй като Google вероятно ще игнорира NoIndex директивата и ще вземе под внимание Canonical тага, но няма смисъл в прилагането на двете неща едновременно. Да не говорим, че има малка вероятност алгоритъмът да избере да зачете NoIndex-а, и съответно натрупаните към премахнатата страница SEO сигнали, да не се предадат както трябва към каноникализирания URL адрес.
Първо NoIndex, после изчакване на ново обхождане от Google, и накрая блокиране за обхождане
Обикновено има две ситуации за този грешен подход:
- Страниците са вече блокирани, но индексирани. Затова, хората добавят NoIndex, деблокират обхождането, за да може Google да види NoIndex-а, след което отново блокират обхождането.
- Хората добавят NoIndex таг за страниците, които искат да премахнат, и след като Google обходи и прочете NoIndex директивата, ги блокират за обхождане.
И в двата разгледани случая финалното действие е блокиране за обхождане. Но както споменахме няколко реда по-нагоре, обхождането е различно от индексирането. Страниците може да са блокирани, но въпреки това да попаднат в индекса.
Как да премахнем съдържание, което е за нас, но се намира на чужд сайт
Има един тул, който може да бъде полезен за хората в Европейския съюз. EU Privacy Removal е инструмент, с който можете да премахнете лична информация, която се намира в резултатите на Google.
Как да премахнем изображения от резултатите
Изображения най-лесно се премахват от индекса с помощта на robots.txt. За премахване на страници може да не е правилно, но за снимки е най-подходящият начин. Ето, как се попълва за една снимка или за всички.
Финални думи
Премахването на URL адреси от резултатите на Google е различно за всяка конкретна ситуация. Разгледахме няколко основни примера как се прави, а също и как не трябва да се прави, но ако все още не сте сигурни как да процедирате, може да се придържате към споделената в първата част семпла инфографика.
