หายนะด้านความปลอดภัยของแอปจัดการผู้ป่วยที่สร้างด้วย vibe coding

 (tobru.ch)
20 คะแนน โดย GN⁺ 15 일 전 | 11 ความคิดเห็น | แชร์ทาง WhatsApp
  • เจ้าหน้าที่ของสถานพยาบาลสร้างระบบจัดการผู้ป่วยขึ้นเองด้วย AI coding agent ทำให้ข้อมูลผู้ป่วย ถูกเปิดเผยบนอินเทอร์เน็ตโดยไม่มีการเข้ารหัส
  • มีการส่งบันทึกเสียงบทสนทนาระหว่างการรักษาไปยัง บริการ AI สองแห่งเพื่อสรุปอัตโนมัติ และข้อมูลทั้งหมดถูกเปิดสิทธิ์ อ่าน·เขียน ไว้
  • ข้อมูลถูกจัดเก็บบนเซิร์ฟเวอร์ในสหรัฐฯ และให้บริการโดยไม่มี ข้อตกลงการประมวลผลข้อมูล (DPA) อีกทั้งไม่มีการแจ้งผู้ป่วยล่วงหน้า
  • การกระทำดังกล่าวอาจเข้าข่ายละเมิด กฎหมายคุ้มครองข้อมูล nDSG ของสวิตเซอร์แลนด์ และ หน้าที่รักษาความลับทางวิชาชีพ
  • ผู้เขียนเตือนว่า “หากการเขียนโค้ดด้วย AI ยังหยุดอยู่แค่ระดับ vibe ก็จะนำไปสู่ อนาคตที่ไม่ปลอดภัย”

หายนะด้านความปลอดภัยของแอปจัดการผู้ป่วยที่สร้างด้วย AI

  • กรณีที่เจ้าหน้าที่ของสถานพยาบาลสร้างระบบจัดการผู้ป่วยขึ้นเองโดยใช้ AI coding agent
    • นำเข้าข้อมูลผู้ป่วยเดิมทั้งหมดและเผยแพร่บนอินเทอร์เน็ตแบบสาธารณะ
    • เพิ่มฟีเจอร์บันทึกเสียงการสนทนาระหว่างการรักษา และส่งไปยัง บริการ AI สองแห่งเพื่อทำสรุปอัตโนมัติ
  • ผลลัพธ์คือข้อมูลผู้ป่วยทั้งหมด ถูกเปิดเผยบนอินเทอร์เน็ตโดยไม่มีการเข้ารหัส
    • ผู้เขียนสามารถได้สิทธิ์ อ่าน·เขียน ข้อมูลทั้งหมดภายใน 30 นาที
    • แม้จะรายงานปัญหาแล้ว แต่คำตอบที่ได้รับกลับเป็น ข้อความขอบคุณที่ AI สร้างอัตโนมัติ
  • ข้อมูลถูกเก็บไว้บนเซิร์ฟเวอร์ในสหรัฐฯ และดำเนินการโดยไม่มี ข้อตกลงการประมวลผลข้อมูล (DPA)
    • ไฟล์บันทึกเสียงก็ถูกส่งไปยังบริษัท AI ในสหรัฐฯ เช่นกัน
    • ผู้ป่วย ไม่ได้รับการแจ้งล่วงหน้า เกี่ยวกับการประมวลผลข้อมูลดังกล่าว
  • การกระทำนี้อาจเข้าข่ายละเมิด nDSG (กฎหมายคุ้มครองข้อมูล) ของสวิตเซอร์แลนด์ และ หน้าที่รักษาความลับทางวิชาชีพ (Berufsgeheimnis)
    • แม้ผู้เขียนจะไม่ใช่ผู้เชี่ยวชาญด้านกฎหมาย แต่เห็นว่าน่าจะมีการละเมิดหลายข้อ
  • มีการเตือนว่า “หากการเขียนโค้ดด้วย AI ยังอยู่ในระดับแค่ ‘อาศัยบรรยากาศ (vibe)’ ก็จะนำไปสู่ อนาคตที่ไม่ปลอดภัย”

พื้นหลังทางเทคนิค

  • แอปพลิเคชันประกอบด้วย ไฟล์ HTML เดียว
    • มี JavaScript, CSS และโค้ดโครงสร้างทั้งหมดแบบ inline
    • ฝั่งแบ็กเอนด์ใช้ บริการฐานข้อมูลแบบ managed ที่ไม่มีการควบคุมการเข้าถึงเลย
  • ตรรกะการควบคุมการเข้าถึงมีอยู่แค่ใน JavaScript ฝั่งไคลเอนต์
    • เข้าถึงข้อมูลได้แม้ด้วยคำสั่ง curl เพียงบรรทัดเดียว
  • ไฟล์บันทึกเสียง ทั้งหมดถูกส่งตรงไปยัง AI API ภายนอกเพื่อ ถอดเสียงและสรุปผล
  • แค่นี้ก็ชัดเจนแล้วว่าเป็น ช่องโหว่ด้านความปลอดภัยที่ร้ายแรง

แนวโน้ม

  • เมื่อใช้เครื่องมือเขียนโค้ดด้วย AI จำเป็นต้องมี ความสามารถในการเข้าใจโครงสร้างโค้ดและสถาปัตยกรรม
  • การเข้าหาแบบเพียงแค่ “สนุกกับบรรยากาศการโค้ดด้วย AI (vibing)” อาจนำไปสู่ ผลลัพธ์ที่อันตราย
  • ในยุคที่เครื่องมือพัฒนา AI กำลังแพร่หลาย จำเป็นต้องมี ความตระหนักด้านความปลอดภัยพื้นฐานและความเข้าใจทางเทคนิค

บทความที่เกี่ยวข้อง

11 ความคิดเห็น

 
xguru 15 일 전

ก็อย่างที่รู้กันอยู่แล้ว... แค่ลองค้นหา OPENAI_API_KEY บน GitHub ก็เจออะไรหลุดมาเพียบแล้ว...
 
tangokorea 15 일 전

แบบนี้ไป ๆ มา ๆ อาจจะถึงยุคที่ต้องไปสอบใบรับรองการทำไวบ์โค้ดดิ้งก็ได้..
 
claudemd 14 일 전

โลกทุกวันนี้ชวนสับสนเกินไป เพราะมีคนจำนวนมากที่ทำเป็นเหมือนผู้เชี่ยวชาญผ่าน AI และเมื่อพวกเขาเริ่มพร่ำพูดออกมา
...
 
click 15 일 전

ในเกาหลีเอง ตามกฎหมายคุ้มครองข้อมูลและมาตรา 21 วรรค 2 ของกฎหมายการแพทย์ ก็มีการกำหนดไว้ว่า บุคลากรของสถานพยาบาลต้องไม่เปิดให้ผู้อื่นเข้าดูเวชระเบียนของผู้ป่วย เว้นแต่จะเข้าเงื่อนไขข้อยกเว้น
https://law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9D%98%EB%A3%8C%EB%B2%95/…

ด้วยสภาพแวดล้อมด้านการคุ้มครองข้อมูลของเกาหลีที่ล้าหลัง ทุกคนเลยยึดถือการแยกเครือข่ายกันอย่างเคร่งครัด ดังนั้นโชคดีที่ดูเหมือนอุบัติเหตุแบบนี้จะไม่ค่อยเกิดในโรงพยาบาลขนาดใหญ่
เพราะสภาพแวดล้อมที่ใช้ดูเวชระเบียนของผู้ป่วยอยู่บนเครือข่ายภายใน ทำให้ผู้ใช้ที่ไม่ค่อยมีความรู้ด้านความปลอดภัยเอาบริการ AI เชิงพาณิชย์มาต่อใช้โดยตรงได้ยาก
ส่วนคลินิกระดับปฐมภูมิที่เอาคอมพิวเตอร์สำหรับตรวจรักษาไปต่ออินเทอร์เน็ตโดยตรง จะเกิดอะไรขึ้นบ้างก็ไม่รู้เหมือนกัน ฮ่า
 
antegral 15 일 전

PHI ต้องระวังเสมอ... ระวังให้มากเข้าไว้...
 
parkindani 15 일 전

ผมก็แนะนำ Claude Code ให้เพื่อนเหมือนกัน แล้วราวสองสัปดาห์ต่อมาเขาก็มาบอกว่า ฉันทำอะไรบางอย่างได้แล้ว!! ซึ่งก็เกิดสถานการณ์แบบเดียวกันเป๊ะเลยครับ
 
kiga183 15 일 전

ได้ยินมาว่าเทคโนโลยีสำหรับค้นหาช่องโหว่ด้านความปลอดภัยก็พัฒนาไปอย่างก้าวกระโดดเช่นกัน
การค้นพบช่องโหว่เหล่านั้นก็ยิ่งทำให้เกิดความจำเป็นในการหาวิธีป้องกันให้มากขึ้น
จึงดูว่าวิธีการด้านความปลอดภัยก็น่าจะได้รับการปรับปรุงตามไปด้วยครับ
 
woung717 15 일 전

อย่างแรกเลย คนที่ไม่ใช่มืออาชีพคงไม่รู้ด้วยซ้ำว่ามีของพวกนั้นอยู่ หรือทำไมมันถึงจำเป็น
 
carnoxen 14 일 전

ยิ่งเป็นแบบนั้นก็ยิ่งทำให้ตระหนักว่าควรเรียนวิทยาการคอมพิวเตอร์
 
ryj0902 15 일 전

ผมว่ามันเป็นคำพูดที่แทงใจประเด็นจริง ๆ
 
GN⁺ 15 일 전
ความคิดเห็นจาก Hacker News

  • เคยเจอเรื่องคล้ายกันในสเปน ไม่ใช่วงการแพทย์แต่เป็นบริษัทประกันเล็ก ๆ และเชื่อหรือไม่ว่าพวกเขาก็สร้าง CRM ด้วย vibe-coding
    พอฉันแจ้งปัญหาทางอีเมล พวกเขากลับขู่จะฟ้องร้อง ฟังดูเหลือเชื่อ แต่สุดท้ายฉันก็ยื่นเรื่องไปที่ AEPD (หน่วยงานคุ้มครองข้อมูลของสเปน) ซึ่งขึ้นชื่อว่าเป็นหน่วยงานที่มีอำนาจมาก
    เมื่อวันศุกร์ที่แล้วฉันยังส่ง burofax เพื่อขอให้ลบข้อมูลส่วนตัวของฉันด้วย

    • ตอนที่ Wi‑Fi เริ่มแพร่หลายใหม่ ๆ ฉันก็เคยเจออะไรแบบนี้ เชื่อมต่อเข้าเครือข่ายเปิดอยู่ แล้วพบว่าเป็นสำนักงานกฎหมาย คอมพิวเตอร์ทุกเครื่องเชื่อมกันด้วย Samba และแชร์ไดรฟ์ C: ทั้งลูก
      ฉันแจ้งปัญหาไว้ใน README.txt แต่ก็ไม่มีอะไรเปลี่ยน เลยคิดจะเดินเข้าไปช่วยแก้และอาจลองทำเป็นงานแรกของตัวเองดู แต่พวกเขากลับโกรธ บอกว่าพวกเขาจ้างบริษัทเอาต์ซอร์สราคาแพงอยู่แล้ว และกล่าวหาว่าฉันบุกรุก สุดท้ายฉันก็เดินออกมาทันที
    • น่าอิจฉาที่ AEPD มีอำนาจขนาดนั้น อยากให้ประเทศอื่นมีหน่วยงานแบบนี้บ้าง
    • หวังว่าจะมาอัปเดตความคืบหน้าในเธรดนี้ต่อ
    • คนเราพอโดนครั้งหนึ่งก็จะจำ แต่ องค์กรไม่มีวันเรียนรู้
    • คนที่ทำแอปแบบนี้มักไม่รู้อะไรเลยเกี่ยวกับ ข้อกำหนดด้านความเป็นส่วนตัวของข้อมูล
      ในฟอรัมผู้ประกอบการรายย่อยที่ฉันอยู่ ก็มีคนหนึ่งอวดว่าเขาทำแอปเองด้วย AI แต่ไม่รู้เรื่องความรับผิดทางกฎหมายเลย พอมีนักพัฒนาบน Reddit บอกว่า “ไปจ้างนักพัฒนาจริง ๆ เถอะ” เขาก็โมโห ตอนนี้เขาเชื่อแล้วว่านักพัฒนาเป็น สายพันธุ์ที่ใกล้สูญพันธุ์

  • บน LinkedIn พวก เซลส์ที่ไม่เข้าใจเทคโนโลยี กำลังพูดกันใหญ่ว่า AI คือคำตอบของทุกปัญหา
    ในบรรยากาศแบบนี้ มันทำให้รู้สึกกังวลว่าสักวันจะต้องเกิดเรื่องใหญ่แน่ ๆ

    • ถึงขั้นมีคนบอกว่านี่เหมือน “Hindenburg แห่งวงการโค้ดดิ้ง”
    • เรื่องแย่ ๆ ก็เกิดขึ้นแล้ว และคงต้องดูว่าโมเดลรุ่นถัดไปจะเปลี่ยนสถานการณ์นี้อย่างไร

  • vibe-coding ดูเท่ก็จริง แต่ข้อจำกัดมันโผล่มาเร็วมาก
    พอเกินหลักพันบรรทัด โครงสร้างก็เริ่มพัง และระบบจริงซับซ้อนกว่านั้นมาก สุดท้ายก็ยังต้องมี พื้นฐานวิศวกรรมซอฟต์แวร์
    มันพอใช้กับโปรโตไทป์หรือเครื่องมือภายในได้ แต่เอาไปใช้ในโปรดักชันจริงอันตรายมาก ฉันไม่อยากฝากข้อมูลของตัวเองไว้กับระบบแบบนี้

    • มีทั้ง เทคนิคจัดการหน่วยความจำ และเครื่องมือทำดัชนีโค้ดหลายอย่าง แต่สุดท้ายสิ่งสำคัญกลับเป็นเครื่องมือจัดการที่สุกงอมอย่าง Jira
      ฉันใช้ Jira Rovo MCP กับ Claude Code เพื่อทำแบบออกแบบและเอกสาร ตรวจด้วยตัวเองก่อน แล้วค่อยไปลงมือเขียนในเซสชันใหม่
      ยิ่ง LLM มีคอนเท็กซ์เยอะก็ยิ่งโง่ลง ดังนั้นควรเปิดใช้ การตั้งค่า context status bar
    • ในทางปฏิบัติ วิธีแบบนี้มักพังบ่อย ๆ แถมยิ่งแย่กว่าเดิมเพราะมันยอมรับการเปลี่ยนแปลงโค้ดโดยไม่รู้ตัวว่ากำลังสร้าง หนี้ทางเทคนิค
      ฉันทดสอบ Gemma 4 บนเครื่องตัวเอง มันช้าก็จริงแต่ทรงพลังพอ ๆ กับโมเดลคลาวด์ และข้อดีคือข้อมูลไม่ไหลออกไปข้างนอก
    • ถ้าลองสร้างแอปด้วย Claude Code เอง จะเห็นว่าต่อให้ไม่รู้พื้นฐานมันก็ยังทำงานได้ อย่างน้อยจนถึงราว ๆ 20,000 บรรทัด แต่ก็ยังต้องมีคนคอยให้ฟีดแบ็ก

  • เมื่อไม่กี่เดือนก่อนฉันเห็น เว็บแอปที่ vibe-coded โดยศัลยแพทย์คนหนึ่ง
    มันใช้งานได้ก็จริง แต่ในรูทไดเรกทอรีกลับ ไม่มี index.html และในไฟล์แบ็กอัปก็มีข้อมูลเชื่อมต่อ DB กับ AWS key อยู่ครบ
    แค่เพิ่ม index.html เปล่า ๆ เข้าไปก็แก้ได้แล้ว แต่ทั้งนักพัฒนาและ AI กลับไม่รู้เหตุผล
    ตัวแอปเองน่าประทับใจ แต่มี ความผิดพลาดด้านความปลอดภัย พื้นฐานเยอะเกินไป แค่ให้ DevOps ที่มีประสบการณ์มาดูสักรอบก็น่าจะพอแล้ว

    • สิ่งที่น่าสนใจคือ AI กลับทำส่วนยาก ๆ ได้ดี เช่น password hashing หรือการออกแบบสคีมา แต่พลาดตรงส่วนที่ต้องอาศัย เซนส์ด้านการปฏิบัติการระบบ
      สุดท้าย AI ก็ไม่รู้ในสิ่งที่ “ไม่ได้ถาม” นักพัฒนาที่มีประสบการณ์จะจำความล้มเหลวในอดีตได้ แต่ vibe-coder มีแค่ พรอมป์ต์
    • ทางแก้จริง ๆ ไม่ใช่แค่ปิดการทำดัชนี แต่ต้องออกแบบให้ เซิร์ฟเวอร์เข้าถึงไฟล์ credentials ไม่ได้ตั้งแต่แรก
    • ถ้าอยากป้องกันปัญหาแบบนี้ ต้องมี เครื่องมือ DevOps แบบ Agent-Native ควรมีมาตรฐานสำหรับงานอย่างการดีพลอยและการชำระเงินแบบอัตโนมัติ

  • คำว่า “ตรรกะควบคุมสิทธิ์ทั้งหมดอยู่ใน JavaScript ฝั่งไคลเอนต์” นี่คือแย่มากจริง ๆ
    นี่เป็น ตัวอย่างคลาสสิกของการใช้ AI แบบสะเปะสะปะโดยคนที่ไม่ใช่มืออาชีพ
    ถ้าจะใช้ AI ในงานจริง ต้องตระหนักเรื่องความรับผิดชอบและความเสี่ยงให้ชัดเจน

    • เครื่องมืออย่าง Claude หรือ opencode โดยพื้นฐานแล้วคือ ฮาร์เนสสำหรับโค้ดแบบ brute-force
      ถ้าไม่มีการควบคุมเวิร์กโฟลว์ที่ดีและการตรวจสอบผลลัพธ์ ปัญหาแบบนี้ก็จะเกิดซ้ำไปเรื่อย ๆ ตอนนี้คือยุค Wild West ของ LLM
    • ปัญหาไม่ใช่ AI แต่คือ การไม่มีมนุษย์ที่มีสติปัญญา ฉันเคยเห็นบริษัทด้านการแพทย์ที่ให้ฟรอนต์เอนด์สั่ง SQL query ไปที่แบ็กเอนด์โดยตรงมาก่อนแล้ว

  • ฉันคิดว่าวิศวกรรมซอฟต์แวร์เองก็ควรมี ระบบใบอนุญาตวิชาชีพ ได้แล้ว
    เหมือนกับการออกแบบสะพานหรืออาคารที่ต้องมีใบรับรอง นักพัฒนาที่สร้างระบบสำคัญก็ควรต้องผ่านมาตรฐานบางอย่าง

    • แต่สถาบันแบบนี้มักทำตัวเป็น gatekeeper มากกว่า ทุกวันนี้ก็มีกฎหมายและระบบรับรองอยู่แล้ว ปัญหาคือการบังคับใช้
    • เรื่องอย่างการจัดการข้อมูลส่วนบุคคลมีกฎหมายที่เกี่ยวข้องอยู่แล้วเยอะมาก เพียงแต่คนยังตระหนักไม่พอ คิดว่าอีกไม่นานคงได้เห็น กรณีลงโทษผู้บริหารระดับสูง
    • ฉันก็สนับสนุนการกำกับดูแล ซอฟต์แวร์เป็นเรื่องจริงจัง และ กระแส AI ตอนนี้ควรถูกเบรกบ้าง
    • ปัญหาไม่ใช่เรื่องคุณสมบัติ แต่คือ ความไม่รู้ คนที่ไม่รู้แม้แต่การจัดการข้อมูลทางการแพทย์กลับเป็นคนสร้างระบบ
      สุดท้ายพอเวลาผ่านไป ความเข้าใจเรื่อง AI และความเป็นส่วนตัวก็น่าจะค่อย ๆ ฝังราก
    • จริง ๆ แล้วประเทศส่วนใหญ่ก็มีกฎหมายและมาตรฐานอยู่แล้ว กรณีนี้แค่เป็นการเพิกเฉยมันอย่างสิ้นเชิง

  • บทความนี้ คลุมเครือมากจนดูเหมือนเรื่องแต่ง

    • ฉันรู้จักคนเขียน เขาไม่ใช่คนที่จะโกหก การปิดรายละเอียดบางส่วนก็สมเหตุสมผล
    • การไม่เปิดเผยชื่อบริษัทก็ถูกต้องในเชิงจริยธรรม ถ้ายังตรวจสอบไม่ครบอาจเสี่ยงเกินไป
    • มีมุกด้วยว่า หรือจริง ๆ นี่อาจเป็น คลิกเบตที่ AI เขียน ก็ได้
    • แต่เนื้อหามันก็ไม่เหมือนโค้ดที่ AI สร้างจริง ๆ โครงสร้างและรูปแบบความผิดพลาดด้านความปลอดภัยมัน ใกล้กับโค้ดของมือใหม่ มากกว่า ยังต้องมีหลักฐานเพิ่ม
    • มันดูเหมือน เรื่องเล่าที่แต่งให้ฟังขึ้น ในระดับที่แทบตรวจสอบข้อเท็จจริงไม่ได้

  • ถ้า AI ถูกฝึกให้ ซ่อนรายละเอียดการติดตั้งใช้งาน เช่น ทำไคลเอนต์ให้บางลงและใช้งาน OAuth authentication มันจะดีขึ้นไหม?
    ความผิดพลาดง่าย ๆ แบบนี้ป้องกันได้แน่นอน แต่เป้าหมายก็ยังเป็น การแทนนักพัฒนา อยู่ดี
    ที่แย่กว่านั้นคือ ผู้คนเริ่มเชื่อว่า “การเรียนเรื่องยาก ๆ นั้นไม่มีประสิทธิภาพ”
    ฉันอยู่ในสาย วิทยาการเข้ารหัสลับ และนักศึกษาบางคนคิดว่าเทคนิคความปลอดภัยจะหายไปเพราะ AI ในไม่ช้า ฉันเลยให้พวกเขาลองทำระบบยืนยันตัวตนบนเว็บแบบง่าย ๆ เพื่อให้เห็นความจริง

  • บริษัทบัญชีแห่งหนึ่งที่ฉันรู้จักก็กำลังสร้าง CRM เองด้วย Lovable โดยไม่มีบุคลากรสายเทคนิคเลย
    มองเห็น หายนะ ที่กำลังจะมาอยู่ตรงหน้า

    • หัวใจของ CRM คือความน่าเชื่อถือ แล้วทำไมถึงยังอยากสร้างเองก็ไม่เข้าใจ

  • อุตสาหกรรมที่มีความเสี่ยงสูงอื่น ๆ ล้วนมี ระบบตรวจสอบซ้ำ ทั้งนั้น นักบินมีผู้ช่วยนักบิน ศัลยแพทย์มีเช็กลิสต์ โรงไฟฟ้านิวเคลียร์มีการตรวจสอบอิสระ
    แต่ซอฟต์แวร์กลับเป็นข้อยกเว้น และ vibe-coding ก็กำลังลบแม้กระทั่ง การตรวจสอบที่ตั้งอยู่บนความเข้าใจ ที่พอมีอยู่บ้าง

    • แม้จะมี code review แต่ส่วนใหญ่ก็เป็นแค่ พิธีการ เมื่อก่อนขั้นตอน QA ยังดีกว่านี้ แต่ก็หายไปเพราะต้นทุนและความเร็ว