ChatGPT เลือกแหล่งอ้างอิงอย่างไรจริง ๆ (วิเคราะห์ทราฟฟิกเครือข่าย)

• วิเคราะห์ บันทึกแหล่งอ้างอิงราว 1,240 รายการ ที่เก็บมาหลายวันจากบัญชี Pro ที่ล็อกอินอยู่เพียงบัญชีเดียว และยืนยันจาก JSON ในเบราว์เซอร์ถึงพายป์ไลน์แหล่งอ้างอิง การจัดประเภทคำถาม คำค้น และโมเดลที่รัน ซึ่งมองไม่เห็นจากคำตอบสุดท้ายเพียงอย่างเดียว
• ผลลัพธ์เว็บทุกชิ้นมี result_source ติดอยู่หนึ่งค่าใน serp, labrador, bright, oxylabs โดยในคำถามเชิงพาณิชย์ ชอปปิง การเงิน และสภาพอากาศ มักพบ bright ซึ่งเป็นกลุ่ม Bright Data เป็นหลัก
• คำถามถูกจัดเข้า 1 ใน 6 ค่า turn_use_case และหากเป็น text จะตอบจากข้อมูลฝึกสอนโดยไม่ค้นเว็บ ใน 10 คำถามที่ตั้งใจให้ต้องใช้ข้อมูลล่าสุด ก็มี 3 คำถามที่ไม่ค้นหาเช่นกัน แต่ยังเป็นผลจำกัดจากบัญชีเดียว
• โมเดล Thinking จะขยายคำถามเปรียบเทียบสินค้า 1 ข้อออกเป็นคำถามย่อยราว 15~40 คำถาม ค้นหน้าราคาอย่างเป็นทางการด้วย site: หรือประเมินราคาไว้ก่อน แล้วตรวจยืนยันด้วยการหาสตริงอย่าง $, €
• การดึงข้อมูล การอ้างอิง และการกล่าวถึงแบรนด์เป็นคนละเรื่องกัน และถ้าราคา/สเปกบนหน้าอย่างเป็นทางการถูกซ่อนไว้หลัง JavaScript หรือรูปภาพ ก็อาจถูกแทนที่ด้วยการอ้างอิงจากแหล่งที่สามอย่าง G2 ได้ ควรให้ ข้อเท็จจริงอยู่ใน HTML แบบข้อความล้วน และให้การประเมินมาจากรีวิว, Reddit และคอนเทนต์เปรียบเทียบด้วย

---

ขอบเขตการสำรวจและเกณฑ์ในการตีความผลลัพธ์

• ใช้ บัญชี ChatGPT Pro ที่ล็อกอินอยู่ของผู้ใช้คนเดียว รันการค้นหาหลายสิบครั้งตลอดหลายวัน และเก็บบันทึกแหล่งอ้างอิงได้ราว 1,240 รายการ
  • คำถามส่วนใหญ่เอนเอียงไปทาง SaaS และเทคโนโลยี
  • นี่ไม่ใช่งานวิจัยที่วัดความถี่ของแหล่งอ้างอิงทั้งประชากร แต่เป็นบันทึกการสังเกตฟิลด์ภายในและพฤติกรรมที่ส่งมาถึงเบราว์เซอร์
• งานศึกษาด้านการมองเห็นขนาดใหญ่จะนับความถี่การปรากฏของแบรนด์จากคำตอบสุดท้ายของพรอมป์ตกว่าพันข้อ แต่กระบวนการภายในต้องอนุมานจากผลลัพธ์
• การวิเคราะห์ครั้งนี้ตรวจดู เลเบลภายในของเอนจิน โดยตรงจาก JSON ของ network response
  • result_source รายผลลัพธ์
  • turn_use_case รายคำถาม
  • ชื่อผู้ให้บริการค้นหา
  • คำค้นที่ ChatGPT สร้างขึ้น
  • โมเดลที่รันจริง
• ควรแยกระดับความน่าเชื่อถือของผลลัพธ์เป็น 2 แบบ
  • ข้อเท็จจริงเชิงโครงสร้าง: การมีอยู่ของฟิลด์และค่า การข้ามการค้นเว็บในคำถาม text การค้น site: จำนวนมากและการตรวจยืนยันราคาของโมเดล Thinking ซึ่งพบซ้ำในทราฟฟิกจริง
  • ข้อสังเกตเชิงความถี่: สัดส่วน bright อันดับการอ้างอิง Reddit หรือการไม่อ้าง YouTube ซึ่งอาจเปลี่ยนได้ตามบัญชีเดียวและชุดคำถามที่จำกัด
• พบความแตกต่างเชิงกลไกว่า Reddit สามารถดึงข้อความเนื้อหาได้ แต่ผลค้นหาจาก YouTube มักได้เพียงเมตะดาตา ซึ่งสนับสนุนทิศทางของข้อสังเกตนี้ อย่างไรก็ดี หากต้องการอัตราส่วนที่แม่นยำยังต้องใช้ตัวอย่างที่ใหญ่กว่านี้

ไม่ใช่ packet capture แต่เป็นการตรวจ HTTP ในเบราว์เซอร์

• เหตุผลที่อ่านคำถามและคำตอบจากแพ็กเก็ต Wireshark เพียงอย่างเดียวไม่ได้ เป็นเพราะเนื้อความจริงถูก เข้ารหัสด้วย TLS
  • ยังมองเห็นเมตะดาตาอย่างชื่อโฮสต์ปลายทางและ IP รวมถึงว่าตัวแอป ChatGPT ใช้ HTTP/3 บน QUIC แทน TCP
  • แพ็กเก็ตแรกของ QUIC ถูกทำให้สับสนด้วยคีย์คงที่ที่กำหนดในสเปก ทำให้เครื่องมือสามารถคลายออกและแสดงชื่อเซิร์ฟเวอร์ที่ไม่เข้ารหัสใน ClientHello ได้
  • หลังจากนั้นเนื้อหาคำขอและคำตอบจะอยู่ใน payload ที่ป้องกันไว้ จึงอ่านไม่ได้
• JSON ที่มีคำถาม คำตอบ และเมตะดาตา ต้องดูจาก แผง Network ใน DevTools ของเบราว์เซอร์ หลังการถอดรหัสแล้ว
• ระหว่างทำอัตโนมัติเกิดปัญหา 2 อย่าง
  • เมื่อใช้ Chrome อัตโนมัติแบบสะอาดไปรันเอนจินอื่น หลังถามไม่กี่ครั้งก็เจอหน้าตรวจว่าเป็นมนุษย์ของ Cloudflare ซ้ำ ๆ จึงเปลี่ยนมาใช้ Chrome ที่มีเซสชันจริง
  • คำตอบของ ChatGPT ถูกสตรีมผ่านการเชื่อมต่อระยะยาวที่เปิดไว้ตั้งแต่ตอนโหลดหน้า จึงไม่สามารถดักจับตั้งแต่ต้นได้ด้วยฮุกที่ติดตั้งกลางเซสชัน

result_source ที่ติดมากับแต่ละแหล่งอ้างอิง

• หากเปิด Preserve log ใน DevTools แล้วค้นใน response จะเห็นว่าเว็บผลลัพธ์ทุกชิ้นที่ ChatGPT ดึงมามี result_source กำกับอยู่
• Mark Williams-Cook เคยแชร์ค่าเหล่านี้ 3 ค่าไว้แล้ว และ Metehan ก็น่าจะเคยพบค่าอื่นที่เหลือแล้วเช่นกัน
• ค่าที่สังเกตพบมี 4 แบบ
  • serp: ชั้นพื้นฐานของเว็บเปิด มักพบในข่าวจาก Yahoo และ StreetInsider
  • labrador: ดูเหมือนเป็น allowlist ของสำนักพิมพ์ดั้งเดิม เช่น Reuters, The Guardian, WSJ, FT, Wikipedia, arXiv โดยมี snippet ได้ยาวราว 1,080 อักขระ
  • bright: ชี้ไปที่ผู้ให้บริการ web scraping เชิงพาณิชย์ Bright Data และเด่นชัดในคำถามด้านชอปปิง การเงิน สภาพอากาศ และท้องถิ่น
  • oxylabs: ชี้ไปที่คู่แข่งด้าน scraping อย่าง Oxylabs และเอนเอียงไปทางสื่อท้องถิ่นกับผลลัพธ์เว็บเปิดบางส่วน
• ใน labrador มีสำนักพิมพ์หลายแห่งที่ OpenAI ทำสัญญาเนื้อหาไว้ จึงดูคล้ายชั้นที่มีลิขสิทธิ์ แต่ไม่สามารถยืนยันความสัมพันธ์ทางสัญญาจากทราฟฟิกเพียงอย่างเดียวได้
• ส่วน bright และ oxylabs ก็ไม่อาจรู้ได้ว่ามีสัญญาหรือมีการจ่ายเงินหรือไม่ อย่างไรก็ดี การดึงข้อมูลจากเว็บเปิดผ่านทั้งสองฝั่ง และในฟิลด์สามารถดูได้ว่าแต่ละผลลัพธ์ถูกดึงโดยฝั่งใด
• ในชุดตัวอย่างที่เก็บมา bright รับผิดชอบการดึงข้อมูลมากที่สุด
  • Reuters, WSJ, Wikipedia, TechRadar เป็น labrador
  • Reddit, Forbes, rtings เป็น bright
  • สื่ออ่าวอย่าง Khaleej Times, Gulf News เป็น oxylabs
• ในคำถามเรื่องอากาศดูไบ บทบาทก็แยกกันแม้อยู่ในคำตอบเดียว
  • metoffice.gov.uk, accuweather.com, timeanddate.com เป็น bright
  • khaleejtimes.com, gulfnews.com, whatson.ae เป็น oxylabs
• หากต้องการให้ปรากฏในชั้น scraping ที่เข้าถึงได้จริง ควรใส่ข้อเท็จจริงและตัวเลขไว้ใน HTML แบบข้อความล้วน ไม่ซ่อนหลังสคริปต์ PDF หรือรูปภาพ
• แทนที่จะพึ่งเฉพาะชั้นสำนักพิมพ์ที่เข้าถึงยาก ควรมีอยู่ด้วยในรายงานจากแหล่งที่สาม PR การกล่าวถึงแบรนด์ ลิงก์ และ Reddit เพื่อให้ไปอยู่บนหน้าที่ตัว scraper อ่านได้

คำถาม text ที่ไม่ค้นเว็บเลย

• ก่อนค้นหา ChatGPT จะจัดคำถามเป็น turn_use_case และค่าที่พบมี 6 แบบ
  • instant search
  • shopping
  • text
  • local
  • thinking
  • image generation
• หากถูกจัดเป็น text ระบบจะไม่ค้นเว็บและตอบจากข้อมูลฝึกสอนเท่านั้น
  • “เปลี่ยนยางแบนอย่างไร”
  • “ช่วยเขียนฟังก์ชัน Python ที่รวมรายการเรียงลำดับสองรายการ”
  • “ช่วยแปลประโยคนี้เป็น 4 ภาษา”
• แม้แต่คำถามอย่าง “แนวทางการรักษาโรคเบาหวานชนิดที่ 2 ล่าสุด” ซึ่งสำคัญต่อความทันสมัยและความปลอดภัย ก็ยังถูกจัดเป็น text และประมวลผลโดยไม่ค้นเว็บ
• จากคำถาม 10 ข้อที่ตั้งใจให้ต้องใช้ข้อมูลล่าสุด มี 3 ข้อที่ถูกจัดการโดยไม่ค้นหา แต่เพราะเป็นการทดสอบจำกัด จึงไม่ควรมองเป็นสัดส่วนทั่วไป
• การจัดประเภทไม่ได้ขึ้นกับหัวข้ออย่างเดียว แต่ขึ้นกับ ถ้อยคำของคำถาม ด้วย
  • “กาแฟที่ดีที่สุดใกล้ฉัน” จะสลับไปใช้ local pipeline
  • “ทีวี 4K ที่ดีที่สุดสำหรับซื้อ” จะเปิดใช้ shopping
  • “ทีวี 4K ที่ดีที่สุดที่มีรีวิว” จะยังอยู่ในค้นหาทั่วไป
  • คำถามคณิตศาสตร์จะถูกส่งไปยังโมเดลให้เหตุผลของ thinking
  • “ราคาหุ้น Tesla สัปดาห์นี้” จะยังเป็น instant search
• ก่อนทำหน้าเพจ ควรตรวจสอบก่อนว่าคำถามเป้าหมายมีการค้นเว็บจริงหรือไม่
  • ถ้าคำถามประเภทวิธีใช้หรือคำนิยามถูกจัดเป็น text ก็จะไม่มีทางเข้าไปในผลค้นหาได้ ไม่ว่าคุณภาพหน้าปัจจุบันจะดีแค่ไหน
  • หากต้องการให้แบรนด์ปรากฏในคำถามประเภทนี้ ต้องสร้างอำนาจความน่าเชื่อถือระยะยาว และเปิดให้ crawler อย่าง Common Crawl เห็นเว็บไซต์ เพื่อเพิ่มโอกาสถูกรวมในข้อมูลฝึกสอนในอนาคต

วิธีขยายคำถามเดียวให้กลายเป็นการค้นหลายสิบครั้ง

• หากดึงทั้งบทสนทนาจาก API ของ ChatGPT เอง จะเห็น fan-out query ที่โมเดลรันจริง
  • โมเดลเร็วโดยมากจะรันเพียงคำค้นที่เขียนใหม่ขึ้นมาหนึ่งคำ
  • โมเดล Thinking จะสร้างคำถามย่อยราว 15~40 คำถามจากคำถามเปรียบเทียบสินค้าเพียงข้อเดียว ขึ้นกับความซับซ้อน
• ในกระบวนการเปรียบเทียบจะมีรูปแบบการค้นหลายแบบต่อเนื่องกัน
  • ค้นหน้าราคาของผู้ขายโดยตรงด้วย site:
  • ประเมินราคาก่อน แล้วค่อยค้นว่าราคานั้นถูกต้องหรือไม่
  • ระหว่างค้นพบเครื่องมืออย่าง Scrunch AI ที่ไม่ได้อยู่ในพรอมป์ แล้วขยายขอบเขตการเปรียบเทียบ
  • จากนั้นก็ไล่ตรวจราคาของเครื่องมือที่เพิ่งพบใหม่ต่อเป็นทอด ๆ
• ระบบไม่ได้แค่ดึงผลการค้นหา แต่ยังรันคำสั่งของเครื่องมือท่องเว็บอย่าง find, open, click ฝั่งเซิร์ฟเวอร์ด้วย
  • ค้นหาสตริงอย่าง $, €, 99, Agency โดยตรง
  • ไม่ใช่เอเจนต์ที่ควบคุมหน้าจอผู้ใช้ แต่เป็นเครื่องมือฝั่งเซิร์ฟเวอร์ที่สำรวจผลลัพธ์บนหน้า
• ในคำถาม “keyword insights pricing” ระบบรัน site:keywordinsights.ai/pricing ประเมินค่าอย่าง “Starter $58, Pro $145, Advanced $299” แล้วค้นหาสัญลักษณ์สกุลเงินใน HTML เพื่อยืนยัน
• ราคาและตัวเลขสำคัญควรอยู่ใน HTML แบบข้อความ ไม่ใช่รูปภาพ และควรหลีกเลี่ยง JavaScript toggle หรือการโหลดข้อมูลแบบไดนามิก
• อย่ามุ่งเป้าแค่ประโยคที่มนุษย์พิมพ์ แต่ควรทำให้ข้อมูลค้นเจอได้ทั้งจากคำค้นที่โมเดลจัดระเบียบแล้วนำไปรัน และจากการตรวจตรงแบบ site:yourdomain.com/pricing

การดึงข้อมูล การอ้างอิง และการกล่าวถึง เป็นผลลัพธ์คนละแบบ

• แหล่งอ้างอิงมีสถานะอิสระ 3 แบบ
  • การดึงข้อมูล (Fetched): หน้าเพจถูกใส่เข้าไปในบริบทของโมเดล แต่ผู้อ่านมองไม่เห็น และตรวจได้จากออบเจ็กต์ result_source
  • การอ้างอิง (Cited): ถูกเชื่อมเป็นแหล่งที่มาที่คลิกได้หลังประโยคใดประโยคหนึ่ง
  • การกล่าวถึง (Mentioned): มีชื่อแบรนด์หรือ site chip ในคำตอบ แต่ไม่ได้เป็นที่มาของข้อความอ้างนั้น
• ในชุดตัวอย่างคำถามเทคนิคและเชิงพาณิชย์ที่มีจำกัด Reddit และ YouTube ถูก ดึงข้อมูล 278 และ 201 ครั้งตามลำดับ
  • Reddit ถูกอ้างอิง 11 ครั้ง
  • YouTube ไม่ถูกอ้างเลยแม้แต่ครั้งเดียว
• ในผลค้นหา YouTube ระบบมักดึงเมตะดาตามากกว่าทรานสคริปต์วิดีโอ ขณะที่เธรด Reddit มีข้อความเนื้อหาอยู่บนหน้า จึงเชื่อมแหล่งที่มากับประโยคเฉพาะได้ง่ายกว่า
• การวิเคราะห์ภายนอกขนาดใหญ่ก็ชี้ไปในทิศทางเดียวกัน
  • Ahrefs พบว่าใน 1.4 ล้านพรอมป์ของ ChatGPT อัตราการอ้าง Reddit อยู่ที่ 1.93% และ YouTube อยู่ที่ 0.51%
  • Profound ก็พบช่องว่างแบบเดียวกันระหว่างสองบริการนี้
• ในตัวอย่างขนาดเล็ก Reddit เป็นโดเมนเดี่ยวที่ถูกอ้างมากที่สุด ส่วนการอ้างอิงถัดมาแยกกระจายไปยังเว็บไซต์รีวิวอย่าง rtings, TechRadar และหน้าของผู้ขาย
• หน้าของผู้ขายถูกอ้างเป็นแหล่งของ ราคาและสเปก ของตัวเอง
  • Zoho, Semrush และผู้ให้บริการ VPN ถูกลิงก์เป็นหลักฐานสนับสนุนข้อมูลของตนเอง
  • แต่การประเมินว่าโปรดักต์ใดดีที่สุด มักอ้างแหล่งที่สามเป็นหลัก
• การอ้างอิงจะผูกกับประโยคเฉพาะ ไม่ใช่ทั้งคำตอบ ดังนั้นเพียงแค่เกี่ยวข้องกับหัวข้อยังไม่พอ ต้องเป็นหน้าที่รองรับข้ออ้างหนึ่งข้อได้ดีที่สุดด้วย
• ผลลัพธ์ถูกลบซ้ำในระดับโดเมน จึงเป็นไปได้ว่าหน้าบาง ๆ 20 หน้าจากเว็บเดียวจะถูกรวมเป็นหนึ่งเดียว
• แทนที่จะสร้างหน้าคุณภาพต่ำจำนวนมากสำหรับแต่ละ fan-out query การมี หน้าที่แข็งแรงหนึ่งหน้าต่อหนึ่งข้ออ้าง จะได้เปรียบกว่า
• ข้ออ้างเชิงประเมินเกี่ยวกับแบรนด์ของตน มักไม่ได้ใช้หน้าของตนเองเป็นหลักฐาน แต่ใช้รีวิวจากบุคคลที่สาม Reddit และคอนเทนต์เปรียบเทียบ และข้อความย่อมถูกอ้างตรงได้ง่ายกว่าวิดีโอ

การสลับแหล่งอ้างอิงเมื่ออ่านหน้าอย่างเป็นทางการไม่ได้

• ในทราฟฟิกที่ส่งมาถึงเบราว์เซอร์ ไม่สามารถเห็น คะแนนอันดับที่ซ่อนอยู่ อย่าง domain authority score น้ำหนักความเชื่อถือ หรือสูตรการจัดอันดับได้
  • ตรรกะที่เกี่ยวข้องยังคงอยู่ฝั่งเซิร์ฟเวอร์ของ OpenAI
  • จึงไม่มีหลักฐานจากข้อมูลในเบราว์เซอร์เพียงพอที่จะยืนยันแล้วนำไปขายเป็น “ปัจจัยการจัดอันดับของ ChatGPT”
• ในเหตุผลของโมเดล Thinking ที่ถูกบันทึกไว้ มีข้อความอธิบายกระบวนการเลือกแหล่งอ้างอิงอยู่ด้วย
  • ข้อเท็จจริงอย่างราคาและสเปก จะให้ความสำคัญกับหน้าอย่างเป็นทางการก่อน
  • ในการเปรียบเทียบ Ahrefs ระบบตรวจค่า Lite $129, Standard $249, Advanced $449 จากหน้าอย่างเป็นทางการ และเลือกหน้าราคาที่ใหม่กว่าเป็นแหล่งอ้างอิง
• สำหรับ Profound และ Peec ราคากลับไม่แสดงตรงในผลค้นหา และมีบันทึกไว้ว่าน่าจะโหลดด้วย JavaScript
• หาก parse หน้าอย่างเป็นทางการไม่ได้ โมเดลจะสลับไปใช้ แหล่งที่สามอย่าง G2
  • ระบบพยายามยืนยันราคาทางการ แต่หาไม่เจอบนหน้า
  • ผลคือ ตัวเลขของแบรนด์ตัวเองถูกอ้างผ่านหน้าของเว็บไซต์อื่นแทน
• ราคาและสเปกสินค้าไม่ควรถูกโหลดด้วย JavaScript หรือใส่เป็นรูปภาพ แต่ควรให้เป็นข้อความที่ crawler อ่านได้
• หน้าราคาที่อ่านง่ายจะเพิ่มโอกาสให้ข้อเท็จจริงของแบรนด์ถูกอ้างโดยตรง แต่คำแนะนำและการประเมินยังต้องไปหาแหล่งจากรีวิว Reddit และคอนเทนต์เปรียบเทียบที่ซื่อตรงแยกต่างหาก

การทำให้เป็นส่วนตัว การค้นหาแบบท้องถิ่น และส่วนที่ตรวจสอบไม่ได้

• เหตุผลที่แหล่งหนึ่งถูกเลือกเหนืออีกแหล่งหนึ่ง นอกเหนือจากคำบรรยายที่โมเดลบันทึกไว้แล้ว ยังเป็น ตรรกะฝั่งเซิร์ฟเวอร์ ที่ตรวจสอบไม่ได้
• การทำให้เป็นส่วนตัวไม่ได้ใช้กับทุกคำถาม แต่ถูกใช้แบบเลือกเฉพาะในบางคำถามที่เกี่ยวข้อง
  • ในคำถามที่ทับกับงานเก่าของผู้ใช้ ปรากฏ personal_sources: ["convo_search", "gmail", "files"]
  • จาก 3 บทสนทนาที่ตรวจ มี 1 บทสนทนาที่ตรงกับประวัติผู้ใช้ และนำบทสนทนาเก่ามาใช้ในคำตอบทั่วไปประเภท “เครื่องมือที่ดีที่สุด”
• คำตอบบางส่วนจึงประกอบจากข้อมูลส่วนบุคคลที่คนนอกไปปรับแต่งไม่ได้ ทำให้ผลลัพธ์ต่างกันไปในแต่ละผู้ใช้ และทำให้คะแนนการมองเห็นแกว่งได้
• ในการค้นหาแบบท้องถิ่นมีการตั้งค่า local_results_limit เป็น 2
  • ถ้าถามหาร้านกาแฟที่ดีที่สุดใกล้ฉัน จะไม่ได้คืน 10 อันดับแรก แต่คืนเพียง 2 แห่ง
  • ใน local search หากไม่ติด 2 อันดับแรก ก็จะไม่ปรากฏในคำตอบเลย
• มีการสังเกต shopping pipeline เพียงคำถามเดียว และผลที่เห็นขัดกับสิ่งที่นักวิจัยอีกคนพบจากคำถามเดียวแบบตรงกันข้าม จึงยังสรุปโครงสร้างในตอนนี้ไม่ได้
• แม้โครงสร้างจะพบซ้ำในบันทึกราว 1,240 รายการ แต่สัดส่วนที่ได้จากคำถามเชิงพาณิชย์ขนาดเล็กซึ่งเน้น SaaS และเทคโนโลยี ยังต้องการการตรวจสอบในขนาดใหญ่กว่าครอบคลุมหลายอุตสาหกรรม
• ระบบอาจเปลี่ยนทุกสัปดาห์ ดังนั้นควรมองเป็นสแนปช็อตที่ แม้โครงสร้างยังคงอยู่ แต่ตัวเลขอาจขยับได้

วิธีตรวจเองและส่วนขยาย

• สามารถตรวจดู pipeline พื้นฐานในเบราว์เซอร์ของตนเองได้โดยไม่ต้องมีสิทธิ์พิเศษ
  • เปิด DevTools ใน ChatGPT ด้วย Cmd+Option+I
  • เปิด Preserve log ใน Network
  • รันคำถาม แล้วค้นหา result_source ใน response ด้วย Cmd+Option+F
• หากต้องการดูทั้ง fan-out การอ้างอิง และเหตุผล ให้พิมพ์ allow pasting หนึ่งครั้งใน Console แล้วอ่านข้อมูล /backend-api/conversation/ ของบทสนทนาที่มีการค้นเว็บ
• สคริปต์ที่ให้มาจะใช้ access token ของเซสชันปัจจุบันเพื่อ อ่านเฉพาะข้อมูลบทสนทนาของตัวเอง และพิมพ์โดเมนแหล่งอ้างอิงกับ pipeline ออกมาเป็นตาราง
  • techradar.com และ whathifi.com เป็น labrador
  • soundguys.com และ rtings.com เป็น bright
  • khaleejtimes.com เป็น oxylabs
  • streetinsider.com เป็น serp
• หากเปลี่ยนฟิลด์ที่เก็บ ก็สามารถดึงคำค้น การอ้างอิง และเหตุผลที่บันทึกไว้ได้ด้วยวิธีเดียวกัน
• FanoutFox คือส่วนขยาย Chrome ฟรีที่ทำกระบวนการนี้แบบอัตโนมัติ
  • แสดง pipeline result_source ของแต่ละแหล่งอ้างอิง
  • แยกสถานะการดึงข้อมูล การอ้างอิง และการกล่าวถึง
  • แสดง fan-out query ทั้งหมดที่เกิดจากคำถามเดียว รวมถึงการค้น site: และการตรวจราคาด้วย
  • ข้อมูลไม่ออกนอกเบราว์เซอร์
  • ติดตั้งได้จาก Chrome Web Store และดูการวิเคราะห์เพิ่มเติมได้ใน Part 2
• ส่วนขยายฟรีของ Olivier de Segonzac ก็อ่านข้อมูลจากเซสชันในเครื่องและส่งออกเป็น Excel ได้เช่นกัน
  • แสดง turn_use_case เพื่อดูว่าก่อนค้นหา ระบบสลับไปอยู่ในหมวด shopping, local หรือ text อย่างไร
  • แยกสัดส่วนชนิดของ reference ใน citation token ว่าเป็นสินค้า ผลค้นหา ข่าว หรือรูปภาพ
  • แสดงกราฟองค์ประกอบ result_source ตามบทสนทนา
  • ดูได้จาก Chrome Web Store และ คำอธิบายอัปเดต

หลักการออกแบบที่ต่างจาก SEO

• ในชุดตัวอย่างที่มีจำกัด คำแนะนำเดิมหลายอย่าง เช่น อิทธิพลของ Reddit คอนเทนต์แบบลิสต์ และเว็บไซต์รีวิว ได้รับการยืนยันโดยรวม
• ต่อให้คอนเทนต์ดี ก็มีผลเฉพาะส่วนที่โมเดลอ่านได้จริงเท่านั้น และข้อเท็จจริงที่อ่านไม่ได้ก็อาจถูกดึงจากเว็บไซต์อื่น
• ChatGPT จะอ่าน ข้อเท็จจริงที่ parse ได้ จากหน้าของแบรนด์เอง ดึงการประเมินจากหน้าของผู้อื่น และจะรันกระบวนการนี้ก็ต่อเมื่อคำถามถูกจัดว่าเป็นคำถามที่ต้องค้นหา
• แทนที่จะออกแบบเพื่อไล่อันดับบน search engine อย่างเดียว ควรออกแบบร่วมกันทั้งการมีการค้นจริงหรือไม่ ความสามารถในการ parse HTML ความเหมาะสมต่อการถูกอ้างรายข้ออ้าง และแหล่งประเมินจากบุคคลที่สาม