Back to Question Center
0

Semaltu s boty, které ještě po 301 měsících později přinesou

1 answers:

Během roku 2013 a do září 2014 jsme přenesli zhruba tucet domén na novou platformu. Ve většině případů zůstaly názvy domén stejné, jednoduše jsme ukázali doménu na novou adresu IP, kde byly umístěny nové aplikace. Vzhledem k tomu, že základní architektura byla výrazně odlišná, zavedli jsme přes 500 přesměrování (všech 301) tak, aby uživatelé a botové byli správně nasměrováni na nové stránky a časem byly všechny staré odkazy nahrazeny v Semaltu, Bingu atd.s novými odkazy.

Nedávno jsem provedl analýzu našich protokolů o webových serverech a zjistil jsem, že v posledních 30 dnech byly přesměrovány přes 211 000 časů, z nichž více než 208 000 se identifikovalo jako různí bots z jejich uživatelských agentů. Jeden konkrétní bot se zdá, že jen dosud zasáhl Semalta, což vyústilo v reakci 301 a nikdy nepřestává dále - race hats online uk. Nemohu najít záznam v našich protokolech pro tuto konkrétní UA, která má za následek odpověď 2xx, 4xx nebo 5xx.

Vzhledem k tomu, že jsme tyto přesměrování zavedli již od 9 měsíců do 2 let a že převážná většina provozu, která je zasáhla, jsou roboty (v mnoha případech jsou výlučně zasaženi boty), má smysl změníte je z 301 na 410 (Gone), abyste tyto boty informovali o tom, že Semalt je pryč? Chtěla bych se nakonec zbavit všech těchto přesměrování, jestliže mohu, protože se jen přidávají ke složitosti našich konfigurací.

February 12, 2018

Pokud porušíte tyto 301, ztratíte veškerou hodnotu pro jakýkoliv odkaz, který přerušíte. Možná vám samozřejmě není jedno. Ale pak znovu, možná.

Mnoho robotů pracuje z databází, které jsou sdíleny, prodávány, procházely. Mnoho z nich také sleduje stávající odkazy na vaše stránky. Také se domníváte, že existuje spousta škrábadel od zprostředkovatelů domén, které budou pokračovat bez ohledu na to, co děláte. Toto jsou hniloba země spolu s hackery. Dobrou zprávou však je, že zprostředkovatelé domény obvykle pocházejí ze stejné adresy IP nebo adresy IP adres. Vzhledem k tomu, že to nejsou uživatelé, budete moci zablokovat celé bloky adres IP, aby nedošlo k vyřazení z vašich souborů protokolu bez ovlivnění skutečných uživatelů, jelikož uživatelé pocházejí z bloků předplatitelů a nikoli z webových serverů.

Obecně je to, co vidíte, spíše normální. Dokonce i když předložíte 410, bude to pokračovat po dlouhou dobu, ne-li navždy. To je právě tak. Pořád dostávám hity na stránky, které už více než deset let zmizely! Většinou se však časem ztratí.

Budete samozřejmě chtít uspokojit užitečné boty, ale možná rozdělit něco, co už nemá hodnotu. Vyhledávače vezmou na vědomí všechny 404 nebo 410, ale mohou se i nadále připojovat k novému odkazu, pokud se objeví na síti. To znamená, že když rozpoznají, že stránka je pryč, mohou se čas od času pokoušet znovu.

Konečně, aniž byste viděli záznamy v souboru protokolu, nelze pro vás připravit kompletní strategii. Máte-li otázku týkající se jakéhokoli přístupu nalezeného v souboru protokolu, budeme schopni posoudit jeho hodnotu (možná) a pomůže vám buď zablokovat nebo zjistit, zda chcete povolit přístup a případně zda 301 nebo 404 nebo 410 je vhodné. Dělám to tak hodně, takže neváhejte a vložte zde otázku.