搜索引擎工作原理一共包括三個過程：網頁搜索，預處理信息，建立索引。
細化分為：爬行—抓取—處理抓取信息—建立索引—呈現排名
一：爬行
爬行的目的：建立待抓取列表
谷歌爬蟲：ddos 百度爬蟲：spider
1、發現：
新的網站
被動等待：設置好Robots.txt文件，放在服務器等待爬蟲自己過來爬取。（谷歌幾周，百度一個月至幾個月不等。）
主動引爬蟲：寫帶有鏈接的軟文花錢放在高質量高權重的網站中、利用權重高的博客、在質量高的論壇里發外鏈。
新的內容
能放首頁放首頁，否則盡量爭取放在頂級欄目（總結：爭取權重高的位置放）
Banner圖片不如幻燈片，幻燈片不如文字。（總結：文字優先，圖片寫alt屬性）2、爬蟲分析：
查看：網站日志分析。Log文件里可查看站長工具：查看抓取頻次。太高時會造成服務器崩潰問題及解決：網站訪問突然為
先site下網站收錄看看有沒有被懲罰
分析日志爬蟲，記錄IP（蜘蛛、用戶）
統計代碼出現問題
3、爬行策略：
深度優先：一層欄目走到底（1百萬-1千萬個頁面）廣度優先：同行欄目分別收集（1百萬個頁面）混合：兩者的混合使用（5千萬-1億個頁面）
4、爬蟲抓取障礙：
txt文件設置錯誤服務器本身的問題（動態IP頻繁出現、服務器不穩定）URL超長，搜索引擎爬蟲懶得直接不抓。爬蟲陷阱
二：抓取
網頁本身需符合W3C標準
頁頭信息：狀態碼：200（正常訪問）、404（死鏈）、301（永久性重定向）、302（臨時重定向慎用）、403（禁止訪問）、5xx（數據庫的問題）編碼：建議使用utf-8. gb2312在國外打開是亂碼TDK關鍵詞：Title：盡量靠前，我們想讓爬蟲進入到某個頁面就看到我們的主旨內容。
長度：33個漢字 文章的話25個漢字足矣 英文兩個字符算一個字
位置：關鍵詞位置前置
次數：不要過于重復太多（欄目可強調關鍵詞，最重要的放前面）
可讀性：考慮到用戶體驗
原創性：蜘蛛喜歡新鮮的東西
Keyword: 首頁5-7個、一級欄目5-6個、二級欄目4-5個、列表頁3-4個、專題2-3個。Deion： （欄目必須圍繞關鍵詞寫）
作用：提高點擊率
密度：3-8%
長度：80個漢字
原創性：有利于收錄
可讀性：用戶體驗考慮
號召行動：活動、促銷一類的頁面
3、公共部分：
搜索引擎不會抓取重復部分(爬蟲比較喜歡新鮮原創性的東西，重復出現的內容不利于抓取)
4、導航：主導航、次導航、左導航、SEO導航（標簽）、面包屑導航（不要用JS實現）、
5、廣告：
Banner圖片不如幻燈片，幻燈片不如文字（總結：文字優先，圖片寫alt屬性）。文字有利于爬蟲抓取。
6、正文：
關鍵詞：次數合適、密度適中3-8%、位置靠前（金花站長工具可以查出來）<H1>標簽：唯一性，整個頁面第一重要。含關鍵詞，關鍵詞盡量靠前<H2>標簽：不唯一性，第二重要性。<H2>中可加其它的屬性<alt>屬性：只能用于<img>，意在告訴蜘蛛圖片的解釋<title>屬性：為鏈接添加描述性文字，可為用戶提供更清楚表達的意思錨文本：（一切講究相關性）錨文本得有相關的關鍵詞，且面面相關
三：處理抓取結果（預處理）
爬蟲抓取后壓縮成數據包返回數據庫
相關性：因為百度算法語境分析+語義分析的原因，所以網站不要出現不相關的內容出現，否則搜索引擎也會撇掉的權威性：各種評獎、網絡評比、申請百度客服增加信任度。
注：不權威造成的影響：同一篇文章，由于信任度高低，有可能自己被轉載發布的文章自己的反倒在別人網站后面。
去重：一個鏈接不能有多個頁面、同一個關鍵詞不能指向不同鏈接、同一頁面下不要出現不同鏈接相同關鍵詞、
四：建立索引
搜索引擎的索引是反向建立的
首頁 URL 76分
一級欄目 URL 80分
二級欄目 URL 96分
專題頁 URL 70分
產品 URL 68分
百度分詞：從前往后、從后往前、統計學、
第三步處理抓取結果的時候說到爬蟲把抓取的內容壓縮成數據包返回數據庫。這時搜索引擎的索引庫建成。當用戶搜某個詞（長尾詞或短尾詞）的時候搜索引擎會根據百度分詞規律首先展現搜索詞與索引庫里完全一致的詞。
