高防IP/高防CDN 中第三方服務(wù)接入相關(guān)問(wèn)題

1. 為什么360 爬蟲(chóng)，使用官方提供的工具測試抓取顯示失??？是否會(huì )影響蜘蛛的抓取

問(wèn)題如圖:

如何處理:

360 爬蟲(chóng)引擎和百度,有道等爬蟲(chóng)有所不同，這里的抓取工具測試HTTPS 域名,因為其進(jìn)行SSL握手時(shí)，不傳SNI（即server_name）或TLS 版本低，會(huì )導致無(wú)法和高防IP進(jìn)行握手。
這類(lèi)問(wèn)題，不用擔心，因為它并不影響實(shí)際蜘蛛的抓取。如圖

蜘蛛的UA是有進(jìn)來(lái)的。

拓展:

億速云高防IP和高防CDN，默認已經(jīng)放行了 百度，谷歌，MSN，字節跳動(dòng)等多家知名的爬蟲(chóng)IP段，同時(shí)，也放行了DNSPOD，阿里云撥測 等多家網(wǎng)絡(luò )撥測工具的檢測IP段。默認是不會(huì )攔截這些請求的

2. 為什么阿里云的OSS上傳回調失??？你們的日志也沒(méi)有記錄

問(wèn)題描述:

如何處理:

阿里云的OSS 上傳回調，尤其是回調域名為HTTPS的，因其和高防IP進(jìn)行握手時(shí)，不傳SNI或TLS版本低，會(huì )導致無(wú)法和高防IP進(jìn)行SSL握手。
這類(lèi)問(wèn)題，最簡(jiǎn)單的處理方法 1. 將回調域名改為走HTTP協(xié)議。2. 直接回調到服務(wù)器IP 3. 使用另外的HTTP協(xié)議的域名處理回調

拓展

TLS1.2和TLS1.3 ssl握手的差異


很多云廠(chǎng)商對于TLS協(xié)議，并不總是使用高版本的，這樣，就會(huì )導致高低版本不兼容