華為

最近發現一些奇怪的爬取網站或是鏡像網站的工具在爬網站，所以開始一些反制的措施，剛好看到有一個新的 User Agent出現！PetalBot一查才發現，原來是華為開發的搜尋引擎蜘蛛，如果你不想要讓它抓取你的網站，可以參考以下的做法。