ข้อมูลสำหรับการฝึก AI | ศูนย์ความเชื่อถือของ Microsoft

ความน่าเชื่อถือและความโปร่งใสเป็นหัวใจสำคัญของแนวทางที่เราใช้กับข้อมูลสำหรับการฝึกโมเดล AI ที่ Microsoft

จุดประสงค์ของหน้านี้คือการแบ่งปันแนวทางของเรา โดยอธิบายถึงประเภทของข้อมูลที่เราใช้ในการฝึก และสิ่งที่เรากำลังทำเพื่อให้ผู้เผยแพร่เว็บและผู้สร้างเนื้อหาสามารถควบคุมวิธีการใช้เนื้อหาของตนในการฝึกโมเดลเหล่านี้ได้

การฝึกโมเดล AI หมายความว่าอย่างไร

โมเดล AI สร้างการคาดการณ์โดยอิงจากข้อมูล ระหว่างกระบวนการฝึก โมเดล AI จะระบุรูปแบบ ความสัมพันธ์ และแนวคิดต่างๆ จากข้อมูลปริมาณมหาศาล จากนั้นจึงใช้สิ่งที่เรียนรู้มาเพื่อสร้างคำตอบสำหรับคำถามหรือคำขอ โมเดลสามารถปรับแต่งได้โดยใช้ข้อมูลการฝึกประเภทต่างๆ เพื่อปรับความสามารถในการสร้างให้เหมาะสมสำหรับข้อมูลบางกลุ่ม เช่น ภาษาธรรมชาติ โค้ดซอฟต์แวร์ หรือรูปภาพ นอกจากนี้ ยังสามารถใช้ข้อมูลบริบทเฉพาะขององค์กรได้เช่นกัน เช่น ในกลุ่มอุตสาหกรรมเฉพาะทางอย่างการเกษตร สุขภาพ หรือการค้าปลีก

โมเดล AI สร้างสรรค์ไม่ได้ออกแบบมาเพื่อจัดเก็บ เข้าถึง หรือสร้างข้อมูลการฝึกเดิมขึ้นมาใหม่ แต่โมเดลเหล่านี้มีจุดประสงค์เพื่อสร้างสรรค์ผลงานและเนื้อหาใหม่ๆ ที่มีความหมาย

คนสองคนที่ยืนอยู่ในอาคารกำลังตรวจทานแดชบอร์ดบนจอภาพขนาดใหญ่ที่แสดงแผนภูมิและเมตริกต่างๆ

ค้นพบวิธีที่ Microsoft ฝึกโมเดล AI สร้างสรรค์ด้วยข้อมูลที่หลากหลาย

ชุดข้อมูลขนาดใหญ่และหลากหลายเป็นองค์ประกอบสำคัญในการสร้างระบบ AI ในปัจจุบัน การใช้ข้อมูลที่หลากหลายในวงกว้างเพื่อพัฒนาโมเดลที่มีความแม่นยำมากขึ้น สะท้อนถึงวัฒนธรรมและภาษาที่แตกต่างกันได้ดียิ่งขึ้น และสามารถเรียนรู้และประยุกต์ใช้ประสบการณ์และความคิดสร้างสรรค์ของมนุษย์ได้อย่างครบถ้วนนั้นมีความสำคัญอย่างยิ่ง

เราฝึกฝนโมเดลโดยใช้ข้อมูลที่คัดสรรมาแล้วจากแหล่งข้อมูลสาธารณะ ซึ่งผสมผสานระหว่างชุดข้อมูลมาตรฐานอุตสาหกรรมสำหรับการเรียนรู้ของเครื่อง และการรวบรวมข้อมูลจากเว็บ เราไม่รวมแหล่งข้อมูลที่มีระบบเก็บค่าบริการและเนื้อหาที่ละเมิดนโยบายของเรา รวมถึงแหล่งข้อมูลที่เลือกที่จะไม่เข้าร่วมการฝึกโดยใช้ตัวควบคุมเว็บที่เราเผยแพร่ไว้ ข้อมูลที่รวบรวมจากเว็บจะผ่านการกรองและประมวลผลเพื่อความปลอดภัย โดยจะลบเนื้อหาที่ผิดกฎหมาย รวมถึงสื่อละเมิดทางเพศของเด็ก (CSAM) ตามกฎหมายที่เกี่ยวข้องและนโยบาย AI ที่รับผิดชอบของ Microsoft

เราเคารพมาตรฐานต่างๆ เช่น แท็ก robots.txt ที่ผู้เผยแพร่เว็บใช้เพื่อปฏิเสธเข้าร่วมการรวบรวมข้อมูลจากเว็บ เราไม่ใช้ข้อมูลจากโดเมนที่อยู่ในรายชื่อ “ตลาดต้องสงสัยด้านการปลอมแปลงและละเมิดลิขสิทธิ์ (Notorious Markets for Counterfeiting and Piracy)” ของสำนักงานผู้แทนการค้าสหรัฐฯ (United States Trade Representative หรือ USTR)
นี่คือข้อมูลการฝึกที่เราเข้าถึงได้ผ่านข้อตกลงที่เจรจาไว้ เช่น กับผู้เผยแพร่และเจ้าของลิขสิทธิ์
ข้อมูลนี้รวบรวมจากบริการผู้บริโภคบางส่วนของ Microsoft และได้รับการคุ้มครองตามคำชี้แจงสิทธิ์ส่วนบุคคลของ Microsoft บล็อก Microsoft Copilot และคำถามที่ถามบ่อยเกี่ยวกับ Copilot ของเราอธิบายว่าเราใช้ข้อมูลผู้บริโภคจาก Copilot Bing และ Microsoft Start (MSN) เพื่อช่วยฝึกโมเดลของเราใน Copilot อย่างไร เราช่วยให้ผู้ใช้สามารถเลือกที่จะไม่เข้าร่วมได้ง่าย และมีมาตรการป้องกัน เช่น การลบตัวระบุที่อาจระบุตัวตนของคุณเพื่อปกป้องความเป็นส่วนตัวของผู้ใช้ เราไม่ใช้ข้อมูลของลูกค้าองค์กรของเราโดยไม่ได้รับอนุญาตจากพวกเขา
ในบางครั้ง เราฝึกโดยใช้ชุดข้อมูลสังเคราะห์ เราสร้างชุดข้อมูลเหล่านี้ขึ้นโดยการพร้อมท์ให้โมเดลภาษาขนาดใหญ่ (LLM) สร้างผลลัพธ์ตามที่ร้องขอโดยเฉพาะ ซึ่งจะช่วยเสริมข้อมูลในโลกจริงที่มีอยู่น้อยหรือจำกัด จากนั้นผลลัพธ์จะได้รับการตรวจสอบและคัดกรอง รวมถึงโดยผู้ตรวจสอบที่เป็นมนุษย์ เพื่อให้แน่ใจว่ามีคุณภาพเพียงพอที่จะเป็นส่วนหนึ่งของชุดข้อมูลสำหรับการฝึก
เราได้รวมข้อคิดเห็นจากมนุษย์ ทั้งจากผู้ฝึก AI ทีมสีแดง พนักงาน และคู่ค้าคำอธิบายประกอบภายนอก เข้ามาในกระบวนการฝึกของเรา ซึ่งรวมถึงความคิดเห็นจากมนุษย์ที่ช่วยตอกย้ำผลลัพธ์คุณภาพให้กับพร้อมท์ของผู้ใช้ เพื่อยกระดับประสบการณ์ใช้งานของผู้ใช้ ทีมสีแดงจะทำการทดสอบโมเดลกับคำขอที่เป็นอันตรายหรือไม่ปลอดภัย และข้อคิดเห็นของพวกเขาจะถูกนำมาใช้เพื่อปรับปรุงพฤติกรรมด้านความปลอดภัยของโมเดล

นอกจากโมเดลของ Microsoft เองแล้ว เรายังนำโมเดลอื่นๆ รวมถึงจาก OpenAI มาใช้ในผลิตภัณฑ์และบริการของเราด้วย เรียนรู้เพิ่มเติมเกี่ยวกับวิธีที่ OpenAI ฝึกโมเดล

เพื่อให้ AI เป็นประโยชน์และครอบคลุมทุกคน เพื่อให้ AI มีประโยชน์และครอบคลุมทุกภาคส่วน ผู้เผยแพร่เว็บและเจ้าของเนื้อหาบางรายต้องการมีส่วนร่วมมากขึ้นในการกำหนดวิธีการใช้เนื้อหาของตน การควบคุมของผู้เผยแพร่เว็บมีประโยชน์ แต่ไม่ใช่โซลูชันที่สมบูรณ์ เรากำลังทำงานร่วมกับผู้มีส่วนเกี่ยวข้องรายอื่นๆ ในอุตสาหกรรม การเผยแพร่ องค์กรกำหนดมาตรฐาน และชุมชนผู้สร้างเนื้อหา เพื่อระบุแนวทางร่วมที่เราทุกคนสามารถพัฒนาและนำมาใช้ได้