BGP สำหรับบ้าน: ติดตั้งวงจร DIA ที่บ้าน
(aaka.sh)- ต้องการเพิ่ม ความทนทานต่อความขัดข้อง ให้กับโครงสร้างพื้นฐาน AS54316 ของ AP Foundation จึงตั้งใจจะวางอุปกรณ์ที่ทำงานตลอดเวลาไว้ที่บ้านในคอนเนตทิคัต นอกดาต้าเซ็นเตอร์ใน NYC และอุปสรรคหลักคือการลากวงจรที่รองรับ BGP มาถึงบ้าน
- FTTH ทั่วไปอย่าง Verizon FiOS และ Optimum ไม่ให้บริการ BGP peering และแม้จะเลี่ยงผ่าน VPN ได้ แต่ก็ยังไม่มี SLA และยังเหลือจุดล้มเหลวร่วมกันคือโครงสร้างพื้นฐานเสาโทรศัพท์ในพื้นที่
- ทางเลือกคือ วงจร DIA ที่เชื่อมคู่ใยแก้วนำแสงเฉพาะไปถึงเราเตอร์ที่ central office/POP โดย Verizon Enterprise ระบุว่าบ้านนี้ “on net” และเสนอเงื่อนไขสัญญา 3 ปีพร้อมค่าบริการรายเดือนโดยไม่มีค่าติดตั้ง
- การติดตั้งใช้เวลาประมาณ 2 เดือน มีการออกหน้างาน 5 ครั้ง วิศวกร/ช่างเทคนิคของ Verizon มากกว่า 10 คน ตำรวจคอยดูแลหน้างาน และงานใยแก้วนำแสงประมาณ 2.5 ไมล์ โดยโครงสร้างสุดท้ายคือ Verizon CO ↔ VzT NID ↔ VzB NID ↔ เราเตอร์
- หลังเริ่มใช้งาน มีภาษี Federal Universal Service Fund ประมาณ 30% เพิ่มเข้ามาในค่า port และแม้จะมี SLA 100% ก็ยังเกิด flap ชั่วขณะหลายครั้งและ outage ประมาณ 30 นาที
ข้อกำหนดสำหรับ BGP ที่บ้าน
- AS54316 เป็นเครือข่ายพื้นฐานของบริการ AP Foundation และโครงสร้างพื้นฐานเดิมอยู่ในดาต้าเซ็นเตอร์ NetActuate ที่ NYC Telehouse Chelsea
- เป้าหมายคือแทนที่จะเพิ่ม colocation ในดาต้าเซ็นเตอร์อื่น ให้ใช้พื้นที่ว่างที่บ้านในคอนเนตทิคัตเพื่อสร้าง โครงสร้างพื้นฐานกายภาพที่ทำงานตลอดเวลา
- อุปกรณ์ที่ทำงานตลอดเวลาต้องมีการระบายความร้อน ไฟฟ้า ความปลอดภัย และการเชื่อมต่อเครือข่าย โดยการเชื่อมต่อเครือข่ายกลายเป็นงานหลักที่ใช้เวลามากกว่า 2 เดือน
- พื้นที่แอดเดรส IPv4/IPv6 ของตนเองได้รับการจัดสรรจาก ARIN และประกาศในฐานะ AS54316 ผ่าน BGP peering กับผู้ให้บริการ IP transit
- ในดาต้าเซ็นเตอร์ การเชื่อมต่อกับผู้ให้บริการระดับโลกอย่าง GTT, Cogent, HE ผ่านผู้ให้บริการ colocation หรือ cross-connect ทำได้ง่าย แต่ในสภาพแวดล้อมที่อยู่อาศัย เงื่อนไขต่างกันมาก
ข้อจำกัดของ FTTH และการเลี่ยงผ่าน VPN
- ในพื้นที่บ้านมีผู้ให้บริการ FTTH สองรายคือ Verizon FiOS และ Optimum และใช้งาน FiOS อยู่แล้วสำหรับการใช้งานส่วนตัว
- ผู้ให้บริการทั้งสองรายมอง BGP peering โดยทั่วไปว่าเป็นฟีเจอร์สำหรับองค์กรขนาดใหญ่ และไม่ให้บริการในแพ็กเกจสำหรับที่อยู่อาศัย
- วิธีทำ BGP peering ผ่าน VPN กับผู้ให้บริการ VPS ที่ให้ IP transit เช่น Neptune หรือ Vultr นั้นเป็นไปได้
- แต่ผู้ให้บริการ FTTH ส่วนใหญ่ไม่มี SLA จึงยากที่จะได้รับการรับประกันคุณภาพการเชื่อมต่อพื้นฐาน
- อาจสมัครทั้ง Verizon FiOS และ Optimum เพื่อทำ multihome ผ่าน VPN ได้ แต่ทั้งสองรายส่วนใหญ่ใช้โครงสร้างพื้นฐานเหนือพื้นดินบนเสาโทรศัพท์ในพื้นที่ จึงอาจเปราะบางต่อเหตุขัดข้องร่วมกัน เช่น ต้นไม้ล้มทับสาย
ความแตกต่างที่ DIA มอบให้
- ทางเลือกคือ DIA (dedicated internet access) หรือ dedicated ethernet
- FTTH/FTTB สำหรับผู้ใช้ทั่วไปที่ไม่ใช่องค์กร มักมีโครงสร้างที่ย่านนั้นแชร์ลิงก์ backhaul ไปยัง central office ของ ISP ด้วยเทคโนโลยีอย่าง PON
- ISP สามารถใช้ใยแก้วนำแสงหนึ่งเส้นและตัวแยกแสงแบบ passive เพื่อให้บริการบ้าน/อาคารหลายแห่งได้
- แม้ผู้ใช้จะสมัครแพ็กเกจ symmetric 1Gbps ก็ไม่ได้หมายความว่าสมาชิกทุกคนจะใช้ 1Gbps เต็มพร้อมกันทั้งหมด
- DIA คือการที่ ISP จัดคู่ใยแก้วนำแสงเฉพาะจากเราเตอร์ใน central office ไปยังอาคาร และให้การรับประกันด้านแบนด์วิดท์ uptime latency jitter และเวลาในการซ่อม
- วงจรนี้ใกล้เคียงกับการเชื่อมต่อใยแก้วนำแสงระยะยาวระหว่างเราเตอร์ของลูกค้าและ POP router ของ ISP และเนื่องจากค่าใช้จ่าย จึงมักใช้โดยองค์กรขนาดใหญ่
- ความแตกต่างสำคัญในกรณีนี้คือผู้ให้บริการ DIA อนุญาตให้ทำ BGP peering กับลูกค้าได้
การเลือกผู้ให้บริการและโครงสร้างค่าใช้จ่าย
- ตัวเลือกที่เป็นธรรมชาติคือ Verizon Enterprise และ Lightpath ซึ่งมีโครงสร้างพื้นฐานในพื้นที่ และยังได้สอบถามผู้ให้บริการเชื่อมต่อรายใหญ่อย่าง AT&T, Cogent, Zayo, Crown Castle, Lumen เป็นต้น
- ระหว่างสำรวจผู้ให้บริการ พบข้อจำกัดหลายอย่าง
- ผู้ให้บริการบางรายปฏิเสธการเชื่อมต่ออาคารในเขตที่อยู่อาศัยตั้งแต่แรก
- บางรายกำหนดค่าบริการรายเดือนขั้นต่ำสูง ค่าติดตั้ง หรือระยะเวลาก่อสร้างราว 1 ปี
- ผู้ให้บริการรายหนึ่งเสนอราคาติดตั้งใยแก้วนำแสง 1,148 ฟุตไปยัง bundle ที่ “live” ใกล้ที่สุดเป็น 128,000 ดอลลาร์
- ผู้ให้บริการบางรายให้ผู้ให้บริการแลกเปลี่ยนท้องถิ่นบุคคลที่สามดูแลโครงสร้างพื้นฐานทางกายภาพช่วงสุดท้าย ซึ่งอาจทำให้เกิดการประสานงานและการโต้แย้งความรับผิดชอบเมื่อซ่อมแซม
- แทบทุกผู้ให้บริการต้องการ สัญญา 3 ปี
- สุดท้ายเลือก Verizon Enterprise
- เงื่อนไขคือบ้านนี้ “on net” อยู่แล้ว จึงไม่มีค่าติดตั้งเพิ่มเติม
- เป็นผู้ให้บริการรายเดียวที่เปิดเผยราคาบนเว็บไซต์อย่างโปร่งใส
- ตัวอย่างราคาของ Verizon แสดงตามความเร็ววงจร
- 50Mbps committed: เดือนละ 455 ดอลลาร์
- 100Mbps: เดือนละ 661 ดอลลาร์
- 1Gbps: เดือนละ 999 ดอลลาร์
- 5Gbps: เดือนละ 2,099 ดอลลาร์
- 10Gbps: เดือนละ 3,099 ดอลลาร์
- จากราคา 50Mbps เดือนละ 455 ดอลลาร์ ค่า “access” อินเทอร์เน็ตจริงอยู่ที่ประมาณ 90 ดอลลาร์ ส่วนที่เหลือประมาณ 365 ดอลลาร์เป็นค่า port ซึ่งเป็นการเชื่อมต่อชั้นกายภาพ
- วงจรรวม SLA, BGP session และการเชื่อมต่อ dual-stack และสามารถใช้รูปแบบคิดค่าบริการตาม 95th percentile ได้ด้วย แต่คอนฟิกแบบ 100Mbps committed พร้อม burstable ถึง 1Gbps แพงกว่า 1Gbps committed จึงไม่เหมาะกับ use case นี้
- ระหว่างตั้งค่าบริการ สามารถเลือกประเภท network handoff เช่น 100base-FX, 1000base-LX, 1000base-T, single-mode, multi-mode ได้
ขั้นตอนติดตั้ง: ตั้งแต่สำรวจหน้างานถึงเชื่อมต่อใยแก้ว
- การติดตั้งใช้เวลาประมาณ 2 เดือน มีวิศวกร/ช่างเทคนิค Verizon มากกว่า 10 คน ออกหน้างาน 5 ครั้ง และมีตำรวจคอยดูแลหน้างาน
- งานภายใน Verizon แบ่งเป็น Verizon Telecom ที่ดูแลชั้นกายภาพ และ Verizon Business ที่ดูแลชั้น routing โดยงานหน้างานส่วนใหญ่ Verizon Telecom เป็นผู้รับผิดชอบ
- ในขั้นตอน activate มี order manager เฉพาะจากต่างประเทศทำหน้าที่ประสานงานภายในและเป็นช่องทางติดต่อหลักในช่วงติดตั้ง
-
การออกหน้างานครั้งที่ 1: สำรวจหน้างาน
- High Capacity Outside Plant Engineer ของ Verizon Telecom ทำการสำรวจหน้างาน
- ตรวจสอบเสาโทรศัพท์บนถนน จุดนำสายบริการเข้าบ้าน และตำแหน่ง server rack พร้อมแจ้งข้อกำหนดของท่อร้อยสายใยแก้วนำแสง รวมถึงข้อกำหนดด้านไฟฟ้าและพื้นที่ rack
- มีการแจ้งว่าอุปกรณ์ของ Verizon ต้องใช้ พื้นที่ rack 4U
- บนถนนสายหลักมี bundle ใยแก้วนำแสงขนาดใหญ่วางอยู่ และบางถนนมีมากกว่า 800 core พร้อม dark fiber ที่เหลือไว้สำหรับโครงการในอนาคต
- เนื่องจากบ้านอยู่ติดถนนสายหลัก จึงวางแผนลากใยแก้วนำแสงใหม่ไม่กี่ร้อยฟุตเพื่อเชื่อมเข้ากับ bundle ใหญ่ โดยปลายด้านหนึ่งเชื่อมต่อกับพอร์ตสวิตช์ที่ central office ในพื้นที่ของ Verizon และอีกปลายหนึ่งเชื่อมเข้ากับ server rack
- หลังสำรวจหน้างาน มีการกำหนดวัน firm order commitment ประมาณ 1.5 เดือนถัดมา และผู้ใช้เตรียมไฟฟ้า จุดนำสายบริการเข้า server rack และอุปกรณ์เครือข่าย จากนั้นส่งการรับรองว่า “site ready”
-
การออกหน้างานครั้งที่ 2: fiber drop
- ไม่กี่สัปดาห์ต่อมา ช่างเทคนิค 4 คนพร้อมรถกระเช้ามาติดตั้งสายใยแก้วนำแสงจากเสาโทรศัพท์มายัง server rack ใหม่
- เนื่องจากข้อกำหนดเฉพาะของกฎหมายท้องถิ่น จึงต้องมี ตำรวจคอยดูแลหน้างาน ด้วย
- ทีมงานติดตั้งแผง fiber patch panel ขนาด 2U ใน rack
- ปลายทั้งสองด้านของสายใยแก้วนำแสงยังไม่ได้ terminate ทันที โดยทีม fusion splicing แยกต่างหากจะมาเชื่อมที่เสาโทรศัพท์และ patch panel ภายหลัง
- สายที่ติดตั้งเป็นสาย single-mode 12 core ของ Corning และต่างจากสาย 1 core สำหรับ FiOS เดิม เพราะเข้าจากเสาโทรศัพท์ถึง rack โดยตรง
-
การออกหน้างานครั้งที่ 3: ติดตั้ง NID ตัวแรก
- ช่วงท้ายสัปดาห์เดียวกัน ช่างเทคนิคอีกคนติดตั้ง NID (Network Interface Device) โดยอุปกรณ์ใช้พื้นที่ rack 1U
- NID เป็น demarcation point ของบริการ Verizon ซึ่งเป็นจุดแบ่งระหว่างส่วนที่ Verizon รับผิดชอบกับส่วนที่ลูกค้ารับผิดชอบ
- วิศวกร Verizon NOC สามารถสั่ง remote diagnostics บนอุปกรณ์ได้
- ฮาร์ดแวร์ที่ติดตั้งคือ Canoga Perkins 9145E
- ฝั่ง telecom/NNI ติดตั้งทรานซีฟเวอร์ SFP แบบ single-mode 40km 1310nm 1.25Gbps
- ฝั่ง user/UNI ใช้ทรานซีฟเวอร์ 10km ที่คล้ายกัน
- รุ่นที่ติดตั้งเป็น PSU ภายในตัวเดียว และแม้ผู้ผลิตจะมีรุ่น dual PSU แต่ได้รับคำตอบว่าไม่ได้รับ Verizon certified
- ช่างเทคนิคบอกว่าในอาชีพของเขาไม่เคยต้องมาติดตั้ง NID ที่บ้านพักอาศัยมาก่อน
-
การออกหน้างานครั้งที่ 4: ทีม fusion splicing ใยแก้ว
- ไม่กี่สัปดาห์ต่อมา Verizon แจ้งว่ามีช่าง splicing สองคนกำลังเชื่อม fiber pair จาก central office ในพื้นที่มายังบ้านผ่านแมนโฮล
- เนื่องจาก dark fiber ที่เหลืออยู่หน้างานยังไม่ได้เชื่อมต่อทั้งสองปลาย จึงต้อง fusion splice คู่ใยแก้วนำแสงระหว่าง bundle หลายจุดในเมืองเพื่อสร้างเส้นทางสุดท้าย
- ต่อมาที่ปลายถนนเห็นตำรวจหลายคนและรถ Verizon สองคัน และวันถัดมาก็มีงานเชื่อม patch panel ภายในบ้านเข้ากับสายใยแก้วนำแสงที่ติดตั้งไว้ก่อนหน้า
- ทีมงานทำ fusion splicing ภายในบ้าน และช่างเทคนิคอีกคนทำงานเชื่อมต่อฝั่งเสาโทรศัพท์
- หลังเชื่อมต่อขั้นสุดท้าย ผลทดสอบ OTDR ระบุว่าระยะทางรวมตั้งแต่ central office ในพื้นที่ถึง patch panel อยู่ที่ประมาณ มากกว่า 2.5 ไมล์
- หลังงานนี้เสร็จ วงจรยังไม่ได้ออนไลน์ และยังต้องมีการออกหน้างานครั้งสุดท้าย
NID คู่ของ Verizon Telecom และ Verizon Business
- โครงสร้างพื้นฐานชั้นกายภาพติดตั้งและทดสอบแล้ว แต่ในชั้น IP ยังต้องมี NID เฉพาะสำหรับ Verizon Business เพิ่มอีกตัว
- ช่างเทคนิคคนสุดท้ายติดตั้ง Ciena 3903 และ optics แบบ single-mode 1310nm
- NID ตัวนี้มีบทบาทคล้ายกับ NID ตัวแรกในมุมมองของ Verizon Business
- Verizon Telecom ให้บริการ EVC แก่ Verizon Business และความสัมพันธ์กับลูกค้าปลายทางจะใกล้กับฝั่ง Verizon Business มากกว่า
- โครงสร้างการเชื่อมต่อสุดท้ายเป็นดังนี้
- Verizon CO ↔ ใยแก้วนำแสงประมาณ 2.5 ไมล์ ↔ VzT NID ↔ VzB NID ↔ เราเตอร์ลูกค้า
การ activate และสิ่งที่พบหลังใช้งานจริง
- หลังติดตั้งและทดสอบ NID ตัวสุดท้าย มีการให้ข้อมูล IP สำหรับเปิดการเชื่อมต่อและข้อมูล peering ของ BGP session
- ในขั้นตอน activate ยังเห็นโครงสร้างพื้นฐานภายในบางส่วนของ Verizon ด้วย
- DWDM/ROADM ใช้ Fujitsu 9500
- gateway/peering router ใช้ Juniper MX960
- peering router ไม่ได้อยู่ที่ central office ในพื้นที่ แต่อยู่ใน NYC ห่างออกไปราว 30–40 ไมล์
- หลังใช้งานไปหลายเดือน พบประเด็นด้านค่าใช้จ่ายและการปฏิบัติการที่ต้องระวังเพิ่มเติม
- ค่า port มีภาษี Federal Universal Service Fund เพิ่มประมาณ 30%
- ภาษีนี้เปลี่ยนแปลงรายไตรมาส และควรรวมไว้ในการวิเคราะห์ต้นทุนของวงจรที่มี interstate traffic อย่างมีนัยสำคัญ
- helpdesk ของ Verizon ส่วนใหญ่ดำเนินงานจากต่างประเทศ จึงมีบางครั้งที่การวินิจฉัยปัญหาเป็นครั้งคราวทำได้ยาก
- ปัญหาสำคัญ escalate ได้ค่อนข้างง่าย และเมื่อเปิด trouble ticket ระบบอัตโนมัติจะตรวจสอบว่า ping ไปยัง NID/เราเตอร์ได้หรือไม่ และ BGP session อยู่ในสถานะ active หรือไม่
- แม้ระบุว่า SLA เป็น 100% ก็ยากที่จะคาดหวังความสมบูรณ์แบบ และตลอดหลายเดือนมี flap ชั่วขณะหลายครั้งกับ outage ประมาณ 30 นาที
1 ความคิดเห็น
ความเห็นจาก Hacker News
ต่อให้บอกว่า SLA 100% ก็ไม่ควรคาดหวังความสมบูรณ์แบบ SLA คือ ข้อตกลงทางการเงิน ที่ทำให้คุณขอเงินคืนตามสัดส่วนหรือ service credit ได้เมื่อเกิดเหตุขัดข้องบางประเภท ไม่ใช่การรับประกันว่าเวลาทำงานจริงจะมากกว่าตัวเลขนั้น
หากโครงสร้างไฟเบอร์ถูกทำลายทางกายภาพเหมือนวงจรในบทความนี้ ก็เลี่ยงไม่ได้ที่จะหลุดไปหลายชั่วโมงระหว่างที่ทีมภาคสนามหาตำแหน่งและซ่อมคืน Verizon จะโฆษณา 100% SLA ก็จริง แต่ในความเป็นจริงไม่ได้ออกแบบมาถึงระดับ five nines เพราะถ้าจะให้ได้ระดับนั้นต้องมีอุปกรณ์ซ้ำซ้อนในสถานที่ลูกค้า สายเข้าซ้ำซ้อน และความหลากหลายของเส้นทางแบบ end-to-end
และในขณะเดียวกันก็ทำให้เก่งเรื่องโยนความรับผิดได้พอตัว
ต่อให้ลิงก์เฉพาะทางเดือนละ 10,000 ดอลลาร์ที่มี 100% SLA ล่มทั้งเดือนแล้วผู้ให้บริการไม่ยอมจ่ายชดเชย ก็ยังยากที่จะบอกว่าการจ้างทนายและเสียเวลาเพื่อเอา 10,000 ดอลลาร์คุ้มค่า ยิ่งถ้าดับแค่ 3 ชั่วโมงยิ่งหนักกว่า เพราะถ้าคิดจาก 10,000 ดอลลาร์ต่อเดือนก็ตกชั่วโมงละ 13.89 ดอลลาร์ และต่อให้ชดเชย 3 เท่าก็ราว 125 ดอลลาร์ จนแม้แต่การกรอกแบบฟอร์มขอก็ยังไม่ค่อยคุ้ม
ต้นทุนที่ผู้ให้บริการสนใจจริง ๆ คือชื่อเสียง ช่างเทคนิคอาจไม่สนใจ uptime ของวงจรนัก แต่ถ้าคุณติดต่อ account manager การตอบสนองอาจเปลี่ยนไปอย่างสิ้นเชิง ซึ่งเป็นคนละเรื่องกับ SLA เอง
สุดท้ายแล้วต้องซื้อโดยเข้าใจข้อเท็จจริงทางกายภาพของวงจรและบริการ และต่อให้แปะ SLA หรูแค่ไหน ผลลัพธ์ก็ไม่ได้เปลี่ยน
ISP ที่ฉันดูแลก็มี ลิงก์เฉพาะทาง ให้ถ้าลูกค้าต้องการ เราคิดค่า setup แพงขึ้นเพราะมีงานเชื่อมต่อเพิ่มเติม และคิดรายเดือนเพิ่มเล็กน้อยเพราะใช้พอร์ตเฉพาะกับ core เฉพาะแทน PON
แต่ค่าใช้จ่ายส่วนใหญ่ของบริการแบบนี้จริง ๆ แล้วใกล้เคียงกับการแบกรับความเสี่ยงจาก SLA มากกว่าการรับประกัน uptime จริง โอกาสเกิดเหตุขัดข้องเองก็ไม่ได้ต่างจาก PON มากนัก ดังนั้นโดยเนื้อแท้แล้วมันเป็นเรื่องการค้ำประกันทางการเงินและบริการมากกว่า
ทางออกตรงกลางคือเราให้ BGP บนบริการปกติด้วย และมีระบบแนะนำต่อกับ ISP อื่นที่รู้จักกันซึ่งก็ให้ BGP เหมือนกัน ในมุมของความทนทาน ฉันชอบ multihoming มากกว่า “ลิงก์เฉพาะทาง” เพราะมันแยกทั้งสแตกเครือข่ายออกจากกันไปจนถึง transport และ peering
ครั้งหนึ่งฉันเคยส่งหลายที่อยู่ให้ฝ่ายขายธุรกิจช่วยตรวจให้ ซึ่งก็มีประโยชน์อยู่ แต่การโต้ตอบไปมากลับช้าเกินไปจนสุดท้ายเช็กเองยังเร็วกว่า
มาทีหลังถึงไปเจอข้อความในเงื่อนไขการใช้งานว่า “หากคุณไม่ได้ซื้อ IP address แบบคงที่ เราอาจเปลี่ยน Internet Protocol (IP) address ของคุณโดยไม่ต้องแจ้งให้ทราบล่วงหน้า”
ฉันแทบไม่เคยเห็นคนที่ลากไฟเบอร์ “ของจริง” เข้าถึงบ้านเลย มีอยู่ไม่กี่คน น่าอิจฉาอยู่หรอก ถ้าไม่นับว่าค่าบริการ ISP ต่อเดือนมันเหมือน ค่างวดรถ
หลังติดตั้งมีปัญหาด้านประสิทธิภาพต่อเนื่อง พอฉันพิสูจน์ปัญหาและกดดันว่าจะยกเลิก เขาก็อัปเกรดวงจรให้วิ่งได้ตามความเร็วจริง และลดค่าบริการเหลือเดือนละ 2,100 ดอลลาร์ ยังเหมือนค่างวดรถอยู่ แต่ถูกกว่าเดิมมาก
ผลคือได้ทั้ง SLA, การเชื่อมต่อโดยตรงไปยังผู้ให้บริการคลาวด์, การโฮสต์ IP block ได้ไม่กี่ชุด และยังเปิดเครื่องที่หันออกสู่อินเทอร์เน็ตได้อยู่หลายเครื่อง
บ้านหลังล่าสุดที่ฉันขายไปก็ไม่เลว ใช้ AT&T 5Gbps 3 เส้น รวมเดือนละ 450 ดอลลาร์ ไม่มี redundancy แต่ก็ดีมาก
ตึกอพาร์ตเมนต์เก่าของฉันมีไฟเบอร์เข้ามาหลายปีแล้ว และตอนย้ายไปอีกตึกที่ใช้สายโคแอกซ์ เขาก็เสนอค่าติดตั้ง 2,000 ดอลลาร์ ปัญหาคือบริการไฟเบอร์เป็นแบบ symmetric ดังนั้นถ้าจะเอาความเร็วดาวน์โหลดที่พอสำหรับ Netflix ก็ต้องซื้อแพ็กเกจที่มีอัปโหลดเกิน 200Mbps ด้วย ทำให้แพงเกินไป และก็ไม่มีการคิดค่าบริการแบบ 95th percentile ด้วย
ถ้าเป็นงานด้านความเป็นส่วนตัวหรือการรัน Tor node ก็พอเข้าใจได้
การตั้งค่าของฉันก็คล้ายกัน มี วงจร DIA 1 เส้น และวาง VPN สำรองไว้บนวงจร Comcast Business ที่ห่วยแตก โดยไปสิ้นสุดที่ดาต้าเซ็นเตอร์ใกล้ ๆ
ต้องตามเรื่องอยู่นานพอสมควรกว่าจะทำให้ ISP ยอมคุยด้วยได้ ทั้งที่ฉันบอกตั้งแต่แรกแล้วว่าพร้อมจะจ่ายค่าลากไฟเบอร์ทั้งหมดเอง
ISP ในพื้นที่ของเราดูเหมือนจะแบ่งเมืองกันเป็นเขตให้บริการ แต่ไม่รู้จริง ๆ ว่านี่ถูกกฎหมายได้อย่างไร
ISP ของฉันติดตั้งอุปกรณ์ปลายทางสายไฟเบอร์ของ ADVA ขนาดค่อนข้างใหญ่ไว้ในสถานที่แล้ว ตอนนี้ยังอยู่ระหว่างดำเนินการเรื่องย้ายมันไปฝั่ง ISP แล้วให้ฉันรับแค่การเชื่อมต่อ SFP
ฝ่ายซัพพอร์ตเอาต์ซอร์สไปอินเดีย และการอธิบายสิ่งที่ต้องการทางโทรศัพท์นั้นทรมานมาก โชคดีที่ระบบเว็บทิกเก็ตยังพอใช้ได้
อุปกรณ์ที่ทำหน้าที่ terminate สายฝั่งลูกค้าก็ย่อมต้องอยู่ฝั่งลูกค้า จะเป็นกล่องใหญ่หรือแค่ SFP ธรรมดาก็ได้ แต่ ISP ต้องการมอนิเตอร์สถานะการเชื่อมต่อไปจนถึงอุปกรณ์ปลายทางที่อยู่ในขอบเขตความรับผิดชอบของตัวเอง ถ้ามีแค่ SFP ทั่วไปก็ทำแบบนั้นไม่ได้ จึงน่าจะยอมรับได้ยากหากต้องรักษา SLA
ถ้ามีปัญหาทางกายภาพ เช่น กล่องใหญ่หรือเสียงดังเกินไป ก็อาจต่อรองขออุปกรณ์ตัวอื่นได้ แต่ถ้าต้องการสิทธิ์ควบคุมเครือข่ายเฉย ๆ มันไม่ได้ทำงานแบบนั้น เครือข่ายของลูกค้าเริ่มที่จุดแบ่งเขต และก่อนหน้านั้นคือโครงข่ายภายในของ ISP ส่วนหลังอินเทอร์เฟซส่งมอบมาตรฐานอย่าง Ethernet ไปแล้วจึงค่อยเป็นเครือข่ายของลูกค้า
สัญญาเหล่านี้ส่วนใหญ่ทำกันในช่วงทศวรรษ 1970 หรือช่วงต้นทศวรรษ 1980 และแทบจะเป็นการลอกแบบสัญญาที่เคยมีอยู่กับ AT&T หรือบริษัท Bell ท้องถิ่น
โดยทั่วไปในมุมของ ISP รายได้จะต่ำลงมากเพราะการคิดค่าบริการตามแบนด์วิดท์ลดลง ทำให้ทีมขายมักไม่ได้รับการฝึกมาดี และเข้าถึงผ่านช่องทางปกติได้ยาก แต่พอติดตั้งเสร็จแล้วมันยอดเยี่ยมมาก ลองนึกภาพว่าพอคุณรีบูตเราเตอร์ ISP เป็นฝ่ายโทรหาคุณก่อน
ฉันหลงใหลกับ network stack มาก แต่ไปได้ไกลสุดแค่อ่าน Illustrated TCP/IP แล้วทำเหมือนพอเข้าใจ tcpdump เท่านั้น อยากลองจับของอย่าง BGP ด้วยตัวเองบ้าง แต่ไม่รู้ควรเริ่มจากตรงไหนดี
ดูเหมือนคนส่วนใหญ่มักเรียนกันแบบฝึกงานในที่ทำงาน และฉันก็ไม่แน่ใจว่าระบบที่เกี่ยวข้องมันแพงเกินไปหรือถูกขังอยู่ในองค์กรจนไม่เหมาะกับการเรียนเองหรือเปล่า
ถ้าจะคุยกับ ARIN และขอ ASN การมีสถานะเป็นธุรกิจสักรูปแบบจะง่ายกว่ามาก
เมื่อมี ASN แล้ว คุณก็จะมีหน่วยงานที่สามารถ “ถือครอง” บล็อก IP ได้โดยไม่ต้องพึ่งเครือข่ายอื่น หลังจากนั้นลองดูบริการของ Neptune Networks คุณสามารถเช่าอินสแตนซ์ที่ยอมให้ทำ transit ได้ในราคารายเดือนที่สมเหตุสมผล เพียงแต่อินสแตนซ์เล็กสุดมี RAM ไม่พอจะเก็บ full BGP table ของอินเทอร์เน็ตทั้งโลก ซึ่งพอถึงจุดที่คุณเข้าใจความหมายของประโยคนี้ มันก็ค่อยเริ่มสำคัญ
คุณสามารถเรียนรู้อะไรได้มากในราคาถูกก่อนจะไปมองหา colocation ใกล้บ้านด้วยซ้ำ
ข้อดีของสายงานนี้คือแทบทั้งหมดตั้งอยู่บน มาตรฐานเปิด คุณอยู่ไม่ไกลจาก RFC ต้นฉบับอย่าง 791(IP), 793(TCP), 4271(BGP4), 9499(ภาพรวม DNS) มากนัก ถึงจะอ่านแห้ง ๆ แต่โดยมากก็คือแหล่งข้อมูลหลัก
หนังสือของ Stevens ก็ยอดเยี่ยมมากสำหรับความเข้าใจระดับล่าง จึงเป็นจุดเริ่มต้นที่ดี หลังจากนั้นก็ต้องลงมือทำเอง
ใช้เครื่องมือ virtualization สร้าง VM สองตัวให้คุยกัน ตัดลิงก์ แล้วลองแก้โดยใช้เครื่องมืออย่าง tcpdump ดูว่า ARP หรือ NDP ของ IPv6 ทำงานระดับล่างอย่างไร และควรเรียนรู้เรื่อง subnetting ด้วย สร้าง VLAN interface ใส่แท็ก 802.1q ลอง route ระหว่างหลาย VLAN แล้วทำให้มันพังอีกก็ได้
ลองสร้าง OSPF area พื้นฐาน ตั้ง BGP adjacency ระหว่าง private ASN สองฝั่ง แล้วทดลอง redistribute route ข้ามโปรโตคอลต่าง ๆ จะดีมาก จะลองจับบริการชั้นบนอย่าง DNS, ห้องทดลอง anycast ภายใน, load balancer และเว็บเซิร์ฟเวอร์ด้วยก็ได้ สร้าง พัง ซ่อม และทำซ้ำ สิ่งนี้แทบไม่ต่างจากที่มืออาชีพทำกันทุกวัน ใช้ซอฟต์แวร์อย่าง BIRD, quagga, nginx, haproxy, ip/nftables, dnsmasq/powerdns ได้เลย
ถ้าคุณลองฝั่งซอฟต์แวร์มาพอแล้วและเริ่มอยากแตะฮาร์ดแวร์จริง ลองหา whitebox switch มือสองจาก Quanta/QCT หรือ Edge-core บน eBay ในราคาไม่กี่ร้อยดอลลาร์ได้ ลงระบบปฏิบัติการเครือข่าย ONIE แล้วถ้าชอบโอเพนซอร์สก็ใช้ Sonic หรือถ้าโอเคกับแบบเสียเงินก็ใช้ Cumulus เพื่อฝึกกับอุปกรณ์จริง
คุณยังจะได้เรียนรู้เรื่อง SFP transceiver, โหมดไฟเบอร์, สาย direct attach และ port channel ด้วย หาทรานซีฟเวอร์กับสายไฟเบอร์แพตช์ราคาถูกจาก fs.com หรือ eBay แล้วลองอ่านเฟิร์มแวร์เพื่อตรวจสอบกำลังส่ง อัตราความผิดพลาด และข้อมูลระบบ
คำแนะนำให้ตั้ง LLC แล้วไปขอ ASN จาก ARIN ก่อนนั้น ถ้ายังไม่มีพื้นฐานอาจทำให้เสียทั้งเวลาและเงินและทำให้ไขว้เขว จึงควรมองข้ามไปก่อน เรียนจากทรัพยากรที่มีมากมายให้แน่นก่อน แล้วค่อยทำเมื่อมั่นใจว่าต้องการก้าวต่อไปจริง ๆ
เช่นเดียวกับหลายอย่างในอุตสาหกรรมนี้ ยิ่งมองลึกลงไป ความซับซ้อนก็ยิ่งแตกแขนงเหมือนแฟรกทัล อย่าปล่อยให้ตัวเองล้นมือ ค่อย ๆ ไปทีละขั้น และอย่ากลัวที่จะทำให้มันพัง เพราะคุณจะเรียนรู้ได้ดีที่สุดตอนซ่อมมัน
สงสัยว่าการ โอเวอร์ซับสไครบ์ บน FTTH ทำงานอย่างไร ไม่ค่อยรู้เรื่องเครือข่ายไฟเบอร์นัก แต่เคยคิดว่าผู้ใช้แต่ละรายมีความยาวคลื่นของตัวเอง หรือช่วงความยาวคลื่นที่บรรจุแบนด์วิดท์ของตัวเอง จึงไม่ทับซ้อนกัน
ถ้าไม่ใช่แบบนั้น ก็ยังนึกภาพไม่ออกว่า passive optical network ทำงานอย่างไร
ที่ที่ฉันทำงานใช้โครงแบบ 4-4-8 ที่ใช้ตัวแยก 3 ชั้น
OLT จะบอกโควตาเวลาที่ ONU/ONT แต่ละตัวใช้ส่งข้อมูลได้ แต่ละ ONT จะส่งข้อมูลตามลำดับเพื่อไม่ให้รบกวนกัน การคำนวณนี้ยังรวมระยะห่างระหว่าง OLT กับ ONT ด้วย และเพราะตำแหน่งทางภูมิศาสตร์ต่างกัน เวลาแฝงของแต่ละ ONT จึงต่างกันด้วย
ถ้า ONU มีข้อมูลต้องส่งมาก ก็สามารถขอเวลาในการส่งเพิ่มได้ เวลาที่ OLT จัดสรรให้จะขึ้นอยู่กับ CIR ซึ่งเป็นค่าขั้นต่ำที่ ISP รับประกัน และ PIR ซึ่งเป็นค่าสูงสุดตามระดับบริการของผู้ใช้
เหตุผลที่การส่งของผู้ใช้ไม่ชนกันก็เพราะ time slot ไม่ทับซ้อนกัน
ดูเหมือนว่า Verizon จะทำกำไรได้มหาศาลเมื่อเปิดวงจรได้แล้ว ถึงขั้นยอมแบกค่าต่อไฟเบอร์ที่ต้องใช้พนักงาน 4 คนกับตำรวจประจำการอยู่ที่ท่อพักตลอดหนึ่งสัปดาห์
ไม่น่าเชื่อแต่ก็เจ๋งมากที่บริษัทตกลงจ่ายค่าใช้จ่ายทั้งหมดนี้ให้ อิจฉาเลย
คล้ายมากกับขั้นตอนที่ฉันเคยเจอเวลาเอา DIA เข้าอาคารพาณิชย์ ISP บอกว่าใช้เงิน 60,000 ดอลลาร์ในการลากไฟเบอร์ครึ่งไมล์เข้ามาในบิสซิเนสพาร์ก และเราไม่ได้เป็นคนจ่าย
ในแร็กของเรามีแค่อุปกรณ์ ISP เพียงตัวเดียว Verizon นี่เหมือนส่งแผนผังองค์กรทั้งชุดมาจริงๆ
เราจ่ายเงินให้ผู้รับเหมาของเราเพื่อเดินไฟเบอร์จาก DEMARC ไปยังห้องเซิร์ฟเวอร์ แต่ทีหลังถึงได้รู้ว่า ISP อาจทำให้ฟรีก็ได้
แล้ว คุณภาพของฝ่ายสนับสนุนลูกค้า จากผู้ให้บริการวงจรธุรกิจทั้งสามเจ้าที่เราเคยใช้ก็ดีเยี่ยมจริงๆ มันน่าทึ่งที่สามารถโทรหาวิศวกรที่รู้จริงว่าเกิดอะไรขึ้นได้ สมกับคำว่าได้ของตามราคาที่จ่าย
ฉันลงไปดูที่ชั้นใต้ดิน เจอสติกเกอร์ UUNET จางๆ บนอุปกรณ์ขอบเขต แต่ไม่มี line ID อยู่เลย พอค้นดูก็พบว่าผ่านการควบรวมบริษัทมาหลายรอบจนตอนนี้เป็นของ Verizon แล้ว
ฉันโทรหา Verizon Business แล้วอธิบายสถานการณ์ เจ้าหน้าที่ใช้เวลาหนึ่งชั่วโมงคุยสายเพื่อช่วยตามหาวงจรให้ ที่อยู่ที่ลงทะเบียนไว้คือท่อพักบนถนนหน้าอาคาร
ช่างเทคนิคถูกส่งมา และประมาณหนึ่งชั่วโมงต่อมาก็ซ่อมกลับมาได้ เขายังติดป้าย line ID ใหม่บนอุปกรณ์ขอบเขตให้ด้วย เพื่อไม่ให้เจอเรื่องเดิมอีก
ขำดีที่ผู้เขียนมองว่านี่เป็นเรื่องใหญ่ เราทำงานแบบนี้ให้บ้านของหมอบ่อยพอสมควร