Podatki za usposabljanje umetne inteligence | Microsoftovo središče zaupanja

Zaupanje in preglednost sta temelj našega pristopa k podatkom za usposabljanje modelov UI v podjetju Microsoft.

Namen te strani je predstaviti naš pristop, opisati kategorije podatkov, ki jih uporabljamo za usposabljanje, in pojasniti, kaj delamo, da bi spletnim izdajateljem in ustvarjalcem vsebine omogočili nadzor nad tem, kako se njihova vsebina uporablja za usposabljanje teh modelov.

Kaj pomeni usposabljanje modela UI?

Modeli UI ustvarjajo napovedi na podlagi podatkov. Med postopkom usposabljanja model UI prepozna vzorce, povezave in koncepte v obsežnih količinah podatkov, nato pa uporabi, kar se je naučil, za ustvarjanje odgovorov na vprašanja ali zahteve. Model lahko prilagodimo z različnimi kategorijami podatkov za usposabljanje, da optimiziramo zmožnosti ustvarjanja za določene vrste informacij, kot so naravni jezik, programska koda ali slike. Lahko temelji tudi na podatkih organizacije, na primer v določeni panogi, kot so kmetijstvo, zdravstvo ali maloprodaja.

Modeli generativne UI niso zasnovani za shranjevanje izvirnih podatkov za usposabljanje, dostop do njih ali njihovo reproduciranje. Namesto tega so ti modeli namenjeni ustvarjanju novih izraznih del in vsebine.

Dve osebi stojita v zaprtem prostoru in pregledujeta nadzorno ploščo na velikem monitorju, na katerem so prikazani grafi in metrike.

Odkrijte, kako Microsoft usposablja modele generativne UI z raznolikimi podatki

Veliki in raznoliki nabori podatkov so bistveni za ustvarjanje današnjih sistemov UI. Ključno je, da za razvoj modelov uporabimo široko raznolikost podatkov, da so ti bolj natančni, bolj reprezentativni za različne kulture in jezike ter da se učijo in uporabljajo celoten spekter človeških izkušenj in iznajdljivosti.

Usposabljamo jih na izbranih javno dostopnih podatkih iz kombinacije naborov podatkov za strojno učenje, ki so standard v panogi, in spletnih zajemov. Izključujemo vire s plačljivimi zidovi in vsebino, ki krši naše pravilnike, ter vire, ki so se z uporabo spletnih kontrolnikov, ki smo jih objavili, zavrnili sodelovanje pri usposabljanju. Podatki, zajeti s spleta, so varnostno filtrirani in obdelani tako, da se odstrani nezakonita vsebina, vključno z materialom o spolni zlorabi otrok (CSAM), v skladu z veljavno zakonodajo in Microsoftovimi pravilniki o odgovorni UI.

Spoštujemo standarde, kot so oznake robots.txt, ki jih spletni izdajatelji uporabljajo za odjavo od spletnega iskanja. Ne uporabljamo podatkov iz domen, ki so navedene na seznamu Office of the United States Trade Representative (USTR) Notorious Markets for Counterfeiting and Piracy.
To so podatki za usposabljanje, do katerih dostopamo prek dogovorjenih ureditev, na primer z izdajatelji in lastniki avtorskih pravic.
Ti podatki so zbrani iz izbranih Microsoftovih storitev za potrošnike in so zaščiteni v skladu z našo Microsoftovo izjavo o zasebnosti. V našem spletnem dnevniku Microsoft Copilot in pogostih vprašanjih o storitvi Copilot je razloženo, kako uporabljamo podatke potrošnikov iz storitev Copilot, Bing in Microsoft Start (MSN) za pomoč pri usposabljanju naših modelov v storitvi Copilot. Uporabnikom omogočamo preprosto zavrnitev sodelovanja in vzpostavljamo varovala, kot je odstranjevanje identifikatorjev, ki vas lahko identificirajo, da zaščitimo zasebnost uporabnikov. Podatkov naših poslovnih strank ne uporabljamo brez njihovega dovoljenja.
Včasih usposabljamo na podlagi sintetičnih naborov podatkov. Te ustvarimo tako, da velike jezikovne modele (LLM) pozovemo, naj ustvarijo posebej zahtevan rezultat, ki dopolnjuje redke ali omejene podatke iz resničnega sveta. Rezultate nato pregledamo in filtriramo, tudi s pomočjo človeških pregledovalcev, da zagotovimo, da so dovolj kakovostni za vključitev v nabor podatkov za usposabljanje.
V naš postopek usposabljanja vključujemo povratne informacije ljudi od trenerjev UI, rdečih ekip, zaposlenih in zunanjih partnerjev za označevanje. To vključuje na primer povratne informacije ljudi, ki krepijo kakovosten rezultat za poziv uporabnika in izboljšujejo izkušnjo končnega uporabnika. Poleg tega rdeče ekipe preizkušajo model proti škodljivim ali nevarnim zahtevam, njihove povratne informacije pa uporabljamo za izboljšanje varnostnega vedenja modela.

Poleg naših Microsoftovih modelov vključujemo v naše izdelke in storitve tudi druge modele, vključno z modeli podjetja OpenAI. Več informacij o tem, kako OpenAI usposablja modele.

Za koristno in vključujočo UI si nekateri spletni izdajatelji in lastniki vsebine želijo več besede pri tem, kako se njihova vsebina uporablja. Kontrolniki spletnih izdajateljev so koristni, vendar niso celotna rešitev. Skupaj z drugimi v panogi, založništvu, standardnih organih in skupnosti vsebine sodelujemo pri prepoznavanju skupnega pristopa, ki ga lahko vsi razvijemo in sprejmemo.