原來，第一商業(yè)搜索引擎的目錄，如雅虎和銀河，正因為如此，在其索引的網(wǎng)站技術網(wǎng)站（大）不是一個真正的問題，除了審美和網(wǎng)站質量的考慮，。然而，調查網(wǎng)站的“機器人”的能力，與引進的主要早期蜘蛛的搜索屬性，如Lycos，AltaVista和Inktomi的，成為一個重要的考慮。俗稱蜘蛛，機器人，是由一些搜索引擎使用調查網(wǎng)站的內(nèi)容，然后介紹他們的研究結果的搜索引擎數(shù)據(jù)庫軟件件。搜索結果，然后根據(jù)算法，數(shù)據(jù)庫方面的某些優(yōu)先重視排名，訂單的網(wǎng)站在搜索引擎結果頁面作為這種效應。
不過，也有許多網(wǎng)站編碼方面可能存在的障礙，以搜尋引擎機器人。許多機器人編程左右的前幾個搜索引擎的時間，所以他們參考HTML在許多方面停留在中后期的1990年。許多人有困難，采取由站長，如框架集，嵌入式表格，圖像鏈接和地圖，和JavaScript / DHTML，授予解析的HTML。盡管一些機器人已經(jīng)演變，則Googlebot（Google使用的機器人）機器人移動時代的一個明顯的例子，有許多還沒有真正改變在6年左右的時間，他們已經(jīng)存在。這意味著，一個SEO公司必須有一個充分了解網(wǎng)站的編碼可能會出現(xiàn)怎樣錯綜復雜的搜索引擎機器人的障礙，以及如何網(wǎng)站編碼可能出現(xiàn)的機會，以提高網(wǎng)站的排名簡單的技術變化。
然而，應當記住該網(wǎng)站編碼不應該被濫用，以人為抬高等級，作為再次，這將被視為垃圾郵件搜索引擎，并可能導致網(wǎng)站被處罰或禁止那些搜索引擎。
一個復雜，相當狡猾的欺騙搜索引擎的方式是通過使用通常被稱為隱形技術。這項技術涉及承認他們的用戶代理（瀏覽器或機器人的名字），或通過其IP地址的網(wǎng)站的訪問者。這使您可以提出專門為特定的搜索引擎優(yōu)化的網(wǎng)頁，這意味著每臺發(fā)動機可以單獨優(yōu)化。原則上，這聽起來像相當不錯的主意，但它顯然是濫用開放，許多搜索引擎結果已被禁止。例如，谷歌，行，什么蜘蛛索引，必須是您網(wǎng)站的用戶將看到。在過去的愚弄，以為他們索引的熱門網(wǎng)站，如Hotmail或微軟，其實他們索引色情網(wǎng)站的機器人，已用于IP和用戶代理交付。這顯然不是在搜索引擎的利益，并很容易地看到了自己的觀點。