Cách thêm website vào công cụ tìm kiếm SearchGPT của OpenAI

Như đã thông tin, OpenAI vừa công bố một sản phẩm mới đó chính là công cụ tìm kiếm SearchGPT. Tuy nhiên, không phải website nào cũng được công cụ này hỗ trợ cho người dùng tìm kiếm và tiếp cận dữ liệu trên website của bạn mà bạn cần phải biết cách hướng dẫn cho OpenAI Crawlers (trình thu thập thông tin OpenAI) thực hiện truy cập dữ liệu website của bạn và giúp AI truy xuất, cung cấp thông tin dữ liệu cho người dùng tìm kiếm khai thác / tiếp cận.

Lợi ích khi​

Có nhiều lợi ích khi thêm website vào SearchGPT, bao gồm:

• Tăng khả năng hiển thị: Website của bạn sẽ được hiển thị cho nhiều người dùng hơn khi họ tìm kiếm thông tin liên quan đến nội dung trên website của bạn.
• Cải thiện thứ hạng tìm kiếm: SearchGPT sử dụng AI để đánh giá chất lượng website của bạn và xếp hạng website của bạn phù hợp.
• Thu hút nhiều khách hàng tiềm năng truy cập hơn: Khi website của bạn được xếp hạng cao hơn, bạn sẽ thu hút nhiều khách truy cập hơn.

Cách thêm website vào công cụ tìm kiếm SearchGPT​

OpenAI sử dụng trình thu thập dữ liệu website (“robot.txt – là file dùng điều khiển việc quét / truy cập dữ liệu website của bạn, được đặt tại thư mục root của website”) và tác nhân người dùng để thực hiện các hành động cho sản phẩm của mình, tự động hoặc được kích hoạt theo yêu cầu của người dùng. OpenAI sử dụng các thẻ robots.txt dưới đây để cho phép quản trị viên web quản lý cách các trang web và nội dung của họ hoạt động với AI. Mỗi cài đặt độc lập với các cài đặt khác – ví dụ: quản trị viên web có thể cho phép OAI-SearchBot xuất hiện trong kết quả tìm kiếm trong khi không cho phép GPTbot không được phép sử dụng nội dung đã thu thập để đào tạo các mô hình nền tảng AI tạo sinh của OpenAI. Đối với kết quả tìm kiếm, cần lưu ý rằng có thể mất khoảng 24 giờ kể từ khi cập nhật robots.txt của trang web để hệ thống của OpenAI có thể khai thác và truy xuất thông tin cho người dùng.

OAI-SearchBot: dùng để hỗ trợ tìm kiếm. OAI-SearchBot được sử dụng để liên kết đến và hiển thị các trang web trong kết quả tìm kiếm trong công cụ tìm kiếm SearchGPT. Nó không được sử dụng thu thập nội dung để đào tạo các mô hình nền tảng AI tạo sinh của OpenAI. Để giúp đảm bảo trang web của bạn xuất hiện trong kết quả tìm kiếm, bạn cần cho phép OAI-Searchbot trong tệp robots.txt của trang web và cho phép các yêu cầu từ các phạm vi IP đã công bố của OpenAI như sau:

User-agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)

Địa chỉ IP: https://openai.com/searchbot.json

ChatGPT-User: dành cho các hành động của người dùng trong ChatGPT và Custom GPT . Khi người dùng hỏi ChatGPT hoặc CustomGPT một câu hỏi, ChatGPT hoặc CustomGPT có thể truy cập trang web để trả lời và bao gồm liên kết đến nguồn trong phản hồi của mình. Người dùng ChatGPT cũng có thể tương tác với các ứng dụng bên ngoài thông qua GPT Actions . ChatGPT-User quản lý các trang web mà các yêu cầu của người dùng này có thể được thực hiện. Nó không được sử dụng để thu thập dữ liệu web theo bất kỳ cách tự động nào và cũng không được sử dụng để thu thập dữ liệu nội dung để đào tạo AI tạo sinh:

User-agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot)

Địa chỉ IP: https://openai.com/chatgpt-user.json

GPTBot: sử dụng để làm cho các mô hình nền tảng AI tạo sinh của OpenAI hữu ích và an toàn hơn. Nó được sử dụng để thu thập nội dung có thể được sử dụng trong quá trình đào tạo các mô hình nền tảng AI tạo sinh của OpenAI. Việc không cho phép GPTBot cho biết nội dung của trang web không nên được sử dụng trong quá trình đào tạo các mô hình nền tảng AI tạo sinh:

User-agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.1; +https://openai.com/gptbot)

Địa chỉ IP: https://openai.com/gptbot.json

Ví dụ, bạn có thể tạo 1 file Robot.txt cho website dùng mã nguồn Wordpress như sau:​

User-agent: *

Disallow: /wp-admin/

User-agent: Bingbot

Disallow: /

User-agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)

Allow: /

Theo cách cấu hình trên thì tất cả các bot sẽ bị chặn truy cập / wp-admin / và riêng Bingbot sẽ bị chặn truy cập toàn bộ trang web của bạn. Và OAI-SearchBot đang được cho phép hoạt động.

Chúc bạn thêm website thành công vào công cụ SearchGPT và biết cách điều khiển AI khai thác và sử dụng dữ liệu trên website của bạn một cách phù hợp theo mục tiêu mong muốn.

Tác giả Trung Hòa.

Nguồn: https://tinai.vn/