Cách giành được vị trí của bạn trong chỉ mục của Google vào năm 2020

Đây là vấn đề đầu tiên của vấn đề lập chỉ mục một phần cho các trang thực sự được lập chỉ mục. Lập chỉ mục một phần là khi URL của bạn được Google lập chỉ mục nhưng một số nội dung của trang không được lập chỉ mục vì nhiều lý do. 

Trang web của bạn càng lớn, bạn càng có nhiều khả năng gặp khó khăn với việc lập chỉ mục . Chỉ để cung cấp cho bạn một số ví dụ:

• Walmart: chỉ 61% được Google lập chỉ mục, 
• Yoox.com: chỉ có 19% nội dung của nó được lập chỉ mục. 

Cửa hàng thương mại điện tử, nhà xuất bản, thậm chí cả blog. Không ai miễn nhiễm với vấn đề này. 

Walmart, Verizon, Medium.com - loại trang web không quan trọng.

Medium.com là một trong những ví dụ yêu thích của tôi với ~ 20% URL của nó không được Google lập chỉ mục, nhưng danh sách các trang web không được lập chỉ mục thì rất dài. Cơ sở dữ liệu của chúng tôi chứa đầy hàng nghìn thương hiệu lớn, thương hiệu mà bạn biết, các trang web bạn truy cập hàng ngày đang gặp khó khăn với việc Google lập chỉ mục các URL duy nhất, có thể lập chỉ mục của họ. 

Bài viết này sẽ làm sáng tỏ vấn đề này và giúp bạn không chỉ hiểu nó mà còn chẩn đoán, theo dõi và khắc phục nó trên trang web của bạn. 

Trước khi chúng ta bắt đầu thảo luận về các giải pháp cho thách thức này, hãy để tôi làm sáng tỏ lịch sử lập chỉ mục, lập chỉ mục một phần và kết xuất SEO. 

Một chút về lịch sử

Vấn đề lập chỉ mục không chỉ là về JavaScript nữa.

Lần đầu tiên tôi nhìn thấy một trang được lập chỉ mục một phần, tôi đã rất ngạc nhiên trước hiện tượng mới này, nhưng có thể dễ dàng giải thích vấn đề này vào năm 2017. Google sẽ lập chỉ mục nội dung HTML và bỏ qua các phần của trang dựa trên JavaScript. 

Chúng tôi bắt đầu theo dõi các vấn đề lập chỉ mục của khách hàng và các trang web lớn, phổ biến khác với hy vọng tìm ra nguyên nhân gây ra chúng. Chúng tôi nhanh chóng nhận ra rằng các vấn đề về lập chỉ mục có ở mọi hình dạng và kích thước có thể xảy ra. 

Lập chỉ mục một phần thường được kết nối với một trang web sử dụng JavaScript, nhưng điều này đang dần thay đổi. Ngày càng có nhiều trang web “không có JavaScript” gặp khó khăn với việc lập chỉ mục một phần. 

Để hiểu vấn đề này, chúng tôi cần thêm dữ liệu. Chúng tôi cần hiểu quy mô của vấn đề. Năm ngoái, chúng tôi đã bắt đầu xây dựng bộ công cụ của riêng mình để theo dõi các vấn đề lập chỉ mục của Google và bài viết này sẽ tóm tắt nghiên cứu trong vài năm qua của chúng tôi về xu hướng thu thập thông tin, hiển thị và lập chỉ mục, dữ liệu từ bộ công cụ của chúng tôi và cuối cùng nhưng không kém phần quan trọng, phản hồi của Google và phản ứng trước việc chúng tôi công bố những phát hiện của chúng tôi trong “Tuyên ngôn SEO hiển thị” của tôi trong SEJ eSummit vào tháng 6.   

Hãy bắt đầu với bốn loại vấn đề lập chỉ mục riêng biệt mà bạn có thể gặp phải.

Lập chỉ mục URL 

Đây là vấn đề nghiêm trọng nhất và cũng dễ hiểu nhất. Nếu toàn bộ URL của bạn không được Google lập chỉ mục, thì đó là một vấn đề bao trùm. 

Tại sao tôi gọi nó là lập chỉ mục URL? Trước đây, chúng tôi đã sử dụng thuật ngữ “lập chỉ mục HTML” để thay thế, nhưng chúng tôi nhận ra rằng đó không phải là ý tưởng tốt nhất nữa. Hiện tại, bạn có thể gặp vấn đề lập chỉ mục một phần với các trang web HTML, điều này làm cho thuật ngữ này trở nên khó hiểu và lỗi thời. Từ bây giờ, tôi sẽ tiếp tục lập chỉ mục URL để làm cho nó chính xác hơn một chút.

Ví dụ về vấn đề lập chỉ mục ở cấp URL

Hãy xem một trong các URL từ cơ sở dữ liệu của chúng tôi. Chúng tôi sẽ đi qua một đường dẫn chẩn đoán mẫu để xem liệu URL có được Google lập chỉ mục chính xác hay không.

Trước khi thực hiện tất cả các bước này, hãy đảm bảo rằng URL được đề cập không được chuẩn hóa, không được lập chỉ mục, bị chặn trong rô bốt, v.v.

Tại thời điểm viết bài này, URL này (giống như các URL khác được đề cập trong bài đăng này) đã không được lập chỉ mục trong vài tháng, nhưng tôi khá chắc chắn rằng nó sẽ được lập chỉ mục nhanh chóng sau khi xuất bản bài viết này do liên kết bên ngoài và lưu lượng truy cập được gửi với nó. Vui lòng gửi tin nhắn trực tiếp cho tôi để biết danh sách các URL không được Google lập chỉ mục nếu bạn muốn xem. 

Hãy bắt đầu với trang web cũ tốt: kiểm tra lệnh trong Google. 

Chúng tôi có thể thấy rằng Google không trả lại bất kỳ kết quả nào cho URL này, nhưng công việc của chúng tôi chưa hoàn thành. 

Lệnh Site: thường trả về âm sai. Có một cách để giải quyết vấn đề đó (hiện tại). 

Chúng tôi thường thực hiện thêm hai lần tìm kiếm chỉ để chắc chắn rằng chẩn đoán của chúng tôi là đúng. 

1. “Tên thương hiệu” + lệnh trang web

Chỉ cần thêm tên thương hiệu trước lệnh site:

2. “Từ khóa” + lệnh trang web

Thêm một từ thường được sử dụng trong nội dung trước lệnh site: để kiểm tra lại xem kết quả của bạn có chính xác hay không.

Trong ví dụ này, tôi sử dụng từ “shoes” vì đây là danh sách sản phẩm dành cho giày.

Bây giờ chúng tôi có thể chắc chắn rằng URL này không được lập chỉ mục bởi Google. 

Dưới đây là một số ví dụ bổ sung về các trang chưa được lập chỉ mục ở cấp URL.

• https://www.yoox.com/us/36955859MP/item
• https://www.yoox.com/us/12227254FL/item
• https://www.target.com/p/harry-potter-film-vault-volume-5-by-jody-revenson-hardcover/-/A-77392918
• https://medium.com/@dhbogucki/of-course-our-relationship-to-technology-is-changrable-526c8f84e4d3
• https://www.overstock.com/Lighting-Ceiling-Fans/Sesta-Key-Resin-Table-Lamp/9075408/product.html
• https://www.bostonglobe.com/news/world/2019/11/18/samoa-closes-schools-measles-epidemic-kills-least/GmMvr2OMsIiLMBGaZmrKKP/story.html
• https://www.yoox.com/us/14014778UC/item
• https://www.qvc.com/%22As-Is%22-Judith-Ripka-14K-Gold-Multi-Gemstone-%26-Diamond-Charm-Necklace.product.J361517.html

Lập chỉ mục một phần liên quan đến thiết bị di động ưu tiên

Ưu tiên lập chỉ mục trên thiết bị di động (và thu thập thông tin) đi kèm với một số thách thức mới, thú vị. Nhiều trang web đã giới thiệu hai phiên bản nội dung riêng biệt được phục vụ cho người dùng tùy thuộc vào thiết bị họ đang sử dụng. 

Tôi muốn cho bạn thấy một ví dụ rất đơn giản về cách điều này có thể gây ra sự cố lập chỉ mục trên trang web của bạn.

Hãy đi sâu vào ví dụ này từ Yoox.

Sau khi kiểm tra nhanh, chúng tôi có thể thấy rằng URL này đã được lập chỉ mục bởi Google. 

Nó có được lập chỉ mục đầy đủ không? Hãy để niềm vui bắt đầu. 

Chúng tôi đã theo dõi Yoox.com gần một năm nay. Tôi khá chắc chắn rằng nó được thu thập thông tin bởi tác nhân Googlebot dành cho thiết bị di động, điều này khiến nó gặp sự cố lập chỉ mục một phần trên thiết bị di động. 

Làm thế nào để tìm thấy sự khác biệt giữa phiên bản dành cho thiết bị di động và phiên bản dành cho máy tính để bàn? 

Trước tiên, chúng ta cần xem phiên bản URL dành cho thiết bị di động và máy tính để bàn khác nhau như thế nào. Có một số cách để làm điều đó. Một cách đơn giản là mở phiên bản di động và máy tính để bàn cạnh nhau để tìm kiếm sự khác biệt. 

Chrome - so sánh trực quan song song

Đây là cách tôi thường bắt đầu so sánh khi phân tích các vấn đề tiềm năng liên quan đến lập chỉ mục một phần trên thiết bị di động. 

Nếu bạn giỏi tìm ra sự khác biệt giữa hai bức tranh khi còn nhỏ, điều này có thể sẽ giúp ích cho bạn trong hầu hết các trường hợp.

Như bạn có thể thấy trên ảnh chụp màn hình ở trên, có một phần mô tả sản phẩm trên phiên bản máy tính để bàn không được trình bày trên phiên bản di động của trang.

Một số dự án phức tạp hơn một chút so với những dự án khác, và đôi khi bạn chỉ muốn kiểm tra lại xem bạn có tìm thấy tất cả các vấn đề hay không. 

Trong một số trường hợp (hiếm), bạn có thể muốn tìm hiểu sâu hơn một chút và mở Diffchecker. 

Diffchecker

Chạy mã nguồn thông qua Diffchecker hơi khó hơn một chút và yêu cầu hiểu biết thêm một chút về mã HTML, nhưng sau khi dành một thời gian với nó, bạn sẽ thấy rằng nó không quá phức tạp. 

Tôi muốn giữ phiên bản di động ở phía bên trái và phiên bản máy tính để bàn của mã nguồn ở phía bên phải. Bằng cách này, tất cả các "bổ sung" nội dung được đánh dấu màu xanh lục, nhưng hãy thoải mái làm theo cách phù hợp nhất với bạn.

Sau một vài phút duyệt và cố gắng hiểu mã này, bạn có thể tìm thấy nội dung hiển thị trong phiên bản dành cho máy tính để bàn, nhưng không hiển thị trong phiên bản di động của trang này. 

Nhận xác nhận cuối cùng

Bây giờ tất cả những gì còn lại là kiểm tra xem Google có đang gặp sự cố này không (một số trang web có thể vẫn được thu thập thông tin và lập chỉ mục bởi tác nhân người dùng Googlebot trên máy tính để bàn). 

Chèn văn bản không được lập chỉ mục trong dấu ngoặc kép trước lệnh site và URL để có xác nhận cuối cùng về chẩn đoán của bạn. Trong trường hợp của chúng tôi, nó là 

Trang web “made in italy”: https://www.yoox.com/us/13041012LK/item#cod10=13041012LK&sizeId=&sizeName=

Ưu tiên lập chỉ mục một phần trên thiết bị di động là một vấn đề thú vị để chẩn đoán, bạn sẽ thấy nó có đủ hình dạng và kích thước: từ một phần nhỏ của mô tả sản phẩm như chúng ta đã thấy ở trên, đến nội dung theo thẻ không được lập chỉ mục, đến cả phiên bản dành cho máy tính để bàn đang được lập chỉ mục và phiên bản di động chưa được Google lập chỉ mục (đối với các trang web chưa được lập chỉ mục ưu tiên cho thiết bị di động). 

Điều quan trọng nhất là bây giờ bạn đã hiểu cách tìm, chẩn đoán và khắc phục sự cố này cho trang web của mình.

Bây giờ chúng ta hãy xem xét vấn đề lập chỉ mục một phần thú vị nhất: lập chỉ mục một phần liên quan đến JavaScript. 

Lập chỉ mục từng phần liên quan đến JavaScript (vấn đề lập chỉ mục từng phần phổ biến nhất)

Lập chỉ mục một phần liên quan đến JavaScript là “liều thuốc dẫn đường” của tôi đối với các vấn đề lập chỉ mục. Lần đầu tiên tôi nhìn thấy nó trong tự nhiên hơn 5 năm trước và tôi ngay lập tức bị cuốn hút. Tôi đã bị sốc khi thấy có bao nhiêu trang web có phần lớn nội dung của họ không được Google lập chỉ mục. 

Lập chỉ mục một phần JavaScript là phổ biến nhất và không may là vấn đề lập chỉ mục nghiêm trọng nhất vì nó thường ảnh hưởng đến nội dung chính của trang. Kết quả là, nó làm cho trang này gần như không thể xếp hạng tốt. 

Bây giờ, hãy tập trung vào vấn đề lập chỉ mục từng phần JavaScript phổ biến nhất - nội dung được thêm động. Walmart.com đang phải vật lộn với vấn đề này khá nhiều. Hãy đi sâu vào nó. 

URL mà chúng tôi sẽ phân tích:

https://www.walmart.com/ip/Hipshot-Guitar-Extender-GT1-Black/220718905

Tôi đã chọn URL này vì một số lý do

1. Nội dung JavaScript được tải phía trên sản phẩm chính (có thể do sản phẩm này hiện đã hết hàng). 
2. Cách tải nội dung JavaScript này gây ra sự thay đổi bố cục lớn như bạn có thể thấy trong video bên dưới:

3. Nội dung JavaScript hiển thị trên cả thiết bị di động và máy tính để bàn. Tuy nhiên, trên thiết bị di động, nội dung JavaScript được đặt bên dưới mô tả sản phẩm.
4. Với ~ 4MB JavaScript và ~ 6 giây tập lệnh, trang này là một ứng cử viên hoàn hảo cho các vấn đề lập chỉ mục dựa trên JavaScript.

5. Chúng tôi đã theo dõi URL này trong vài tháng nay và tôi khá chắc chắn rằng trang này sẽ không được lập chỉ mục đầy đủ ngay cả sau khi bài viết này được xuất bản. 

Bây giờ, chúng ta hãy đi sâu vào chẩn đoán. 

Bước 1

Kiểm tra nội dung nào không hiển thị với JavaScript bị tắt. Bạn có thể tắt JavaScript trong Chrome Dev Tools, nhưng cũng có một cách dễ dàng và nhanh chóng hơn. Chỉ cần tải xuống plugin Chrome “ Quick JavaScript Switcher ”. 

Video được nhúng

https://www.dropbox.com/s/eyn8owc8y28ymx3/Screen%20Recording%202020-08-26%20at%2011.49.16.mov?dl=0

Bạn có thể thấy rằng toàn bộ phần "Xem xét các sản phẩm phổ biến này" sẽ biến mất khi JavaScript bị tắt. 

Bước 2

Bây giờ tất cả những gì còn lại cho chúng ta là xem liệu Google có quyết định hiển thị và lập chỉ mục nội dung phụ thuộc JavaScript hay không. Để làm như vậy, chỉ cần sử dụng site: command + “Hãy xem xét những sản phẩm phổ biến này” . 

Bây giờ chúng ta có thể thấy rõ ràng rằng Google đã không lập chỉ mục phần này của nội dung trang. 

Làm thế nào để sửa chữa nó? 

Khắc phục sự cố này là một chủ đề cho toàn bộ bài viết khác, nhưng để giữ cho nó đơn giản, bạn có một số tùy chọn:

1. Kết xuất phía máy chủ (giải pháp ưu tiên) hoặc kết xuất trước ( thường, không phải giải pháp tốt nhất ) nội dung JavaScript cho các công cụ tìm kiếm.
2. Xem xét việc tối ưu hóa mã JavaScript chịu trách nhiệm tạo phần "Xem xét các sản phẩm phổ biến này". Trên thực tế, trong trường hợp của Walmart, điều này vẫn nên được thực hiện do tất cả các vấn đề về hiệu suất web và UX (thay đổi bố cục) mà phần này tạo ra. 
3. Hãy xem xét xóa hoàn toàn phần này. Điều này nghe có vẻ cực đoan, nhưng trong một số trường hợp, nếu nhóm phát triển web của bạn không thể nhanh chóng tối ưu hóa phần này, thì việc xóa nó cho đến khi họ thực hiện có thể là giải pháp tốt hơn cho người dùng của bạn và cho các công cụ tìm kiếm. 

Dưới đây là một số URL + phân đoạn khác để xử lý:

Lập chỉ mục từng phần dựa trên bố cục

Đây là phát hiện mới nhất của chúng tôi trong lĩnh vực Rendering SEO, lập chỉ mục và cách Google hiểu bố cục trang của bạn. Nhân viên của Google thực sự đã xác nhận các vấn đề về lập chỉ mục dựa trên bố cục mà chúng tôi đã trình bày trong tuyên ngôn SEO Hiển thị vào tháng 6 năm 2020.

Trước khi tôi giải thích chi tiết phần này, hãy nghe giải thích nhanh về hiện tượng này từ hội thảo trên web của chúng tôi với Martin Split của Google.

Hãy để tôi giải thích nhanh cách hoạt động của lập chỉ mục từng phần dựa trên bố cục. 

1. Google có tài nguyên hạn chế.

World Wide Web đang tràn ngập nội dung mỗi ngày. Vấn đề này đã trở nên nghiêm trọng đến mức Google cần tiết kiệm tài nguyên của họ để tiếp tục lập chỉ mục và xếp hạng nội dung có giá trị

2. Google có thể bỏ qua việc lập chỉ mục một phần trang của bạn nếu phần đó không liên quan trực tiếp đến nội dung chính trên trang của bạn. 

Như Martin đã giải thích, nếu trang của bạn là về chó, theo quan điểm của công cụ tìm kiếm, điều quan trọng là phải đảm bảo rằng tất cả nội dung có giá trị về chó đều được lập chỉ mục. Điều này có nghĩa là tất cả các phần “sản phẩm tương tự”, “bạn cũng có thể quan tâm”, v.v. có thể bị bỏ qua khỏi lập chỉ mục hoàn toàn vì chúng không mang lại giá trị cho công cụ tìm kiếm. Hãy gọi quá trình này là Khai báo của Công cụ Tìm kiếm. 

3. Với tư cách là kỹ thuật viên SEO, bạn có trách nhiệm theo dõi, chẩn đoán và hiểu tất cả các vấn đề về lập chỉ mục dựa trên bố cục. 

Lập chỉ mục một phần có thể không phải lúc nào cũng là một điều xấu. Tuy nhiên, trong nhiều trường hợp, các phần trên trang của bạn mà Google chọn không lập chỉ mục, là các phần được tạo ra "vì lý do SEO". 

• Các phần liên kết đến sản phẩm mới để đảm bảo chúng được lập chỉ mục
• Điêu khắc Xếp hạng Trang
• Tất cả các dạng liên kết nội bộ khác để "tăng cường lập chỉ mục và thu thập thông tin" 

Tất cả các chiến lược tôi đề cập ở trên đang dần biến mất. Dữ liệu mà chúng tôi thu thập được trong TGIF cho thấy rằng trong nhiều trường hợp, những giải pháp đó thường gây hại nhiều hơn là có lợi vì chúng không được lập chỉ mục và chúng khiến việc thu thập dữ liệu thực sự phản ánh cấu trúc trang web của bạn như Google thấy rất khó khăn.

Hãy xem một số ví dụ về lập chỉ mục HTML từng phần. Bạn đã biết cách chẩn đoán lập chỉ mục một phần, vì vậy tôi sẽ giao phần này cho bạn làm bài tập về nhà. :)

1. trang web: https: //www.merriam-webster.com/words-at-play/the-good-the-bad-the-semantently-imprecise-november-16-2018 “SCOTUS: 'Arbitrary and Capricious'”

2. trang web: https: //www.merriam-webster.com/words-at-play/the-good-the-bad-the-semantently-imprecise-november-16-2018 "Nhiều từ hơn khi chơi" "

3. trang web: https: //www.walgreens.com/store/c/saba-ultra-invisible-long-thin-pads-with-wings/ID=prod6381549-product "thường xuyên được mua cùng"

Làm thế nào để giành được vị trí của bạn trong chỉ mục của Google?

Trong vài năm qua, tôi đã dành hàng trăm giờ để xem xét cách kết xuất và lập chỉ mục hoạt động tại Google. Năm nay, Google đã liên hệ với chúng tôi và thực sự xác nhận những phát hiện của chúng tôi và tôi rất ngạc nhiên, nhân viên Google dường như cũng rất quan tâm đến việc truyền tải thông điệp này. 

Phần đáng buồn là khi nói về chủ đề này, tôi nhận thấy rằng nhân viên Google thực sự khó khăn như thế nào để khiến cộng đồng SEO thay đổi cách của chúng tôi. 

JavaScript SEO, hiểu cách Google hiển thị nội dung của bạn và cách họ hiểu bố cục, kiến ​​trúc thông tin của bạn, kiến ​​thức cơ bản về hiệu suất web và số liệu người dùng thực vẫn không phổ biến như tạo PageRank, liên kết chân trang, "văn bản SEO", "các mục tương tự". "Tăng chỉ mục". 

Tôi thực sự hy vọng rằng bài viết này và tất cả các nghiên cứu về SEO hiển thị mà tôi đang chia sẻ với bạn sẽ giúp bạn hiểu thêm một chút về những phần khó hiểu của SEO kỹ thuật để tất cả chúng ta có thể tập trung vào việc xây dựng các trang web tốt hơn, nhanh hơn không chỉ dễ dàng hơn các công cụ tìm kiếm để hiểu, các trang web thực sự được lập chỉ mục bởi Google (và các công cụ tìm kiếm khác) vì nó không còn xảy ra theo mặc định nữa. 

Chúng tôi cần giành được vị trí của mình trong Google và lần đầu tiên trong lịch sử SEO kỹ thuật, chúng tôi có nhiều hiểu biết về cách thức hoạt động của việc thu thập thông tin, kết xuất và lập chỉ mục. Hãy sử dụng nó để có lợi cho chúng ta.