Opublikowane przez AJ Maschinot, starszego inżyniera oprogramowania i Jenny Huang, menedżera produktu, Google ResearchW ostatnich latach samonadzorowane uczenie się reprezentacji , które jest wykorzystywane w różnych zadaniach związanych z obrazem i wideo , znacznie się rozwinęło dzięki zastosowaniu uczenia kontrastywnego. Te kontrastujące podejścia do uczenia się zazwyczaj uczą model łączyć ze sobą reprezentacje obrazu docelowego (zwanego „kotwicą”) i dopasowanego („pozytywnego”) obrazu w przestrzeni osadzenia, jednocześnie odsuwając kotwicę od wielu niedopasowanych ( obrazy „negatywne”. Ponieważ zakłada się, że etykiety są niedostępne w samonadzorowanym uczeniu się, pozytywna wartość jest często rozszerzeniem zakotwiczenia, a negatywy są wybierane jako pozostałe próbki z minipartii uczącej. Jednakże, z powodu tego losowego próbkowania, fałszywie negatywy, tj. negatywy wygenerowane z próbek tej samej klasy co kotwica, mogą powodować pogorszenie jakości reprezentacji. Ponadto określenie optymalnej metody generowania pozytywów jest nadal obszarem aktywnych badań .

TEN MATERIAŁ JEST ZABLOKOWANY  ,kliknij kup teraz aby go widzieć I ODBLOKOWAĆ WSZYSTKIE ZABLOKOWANE TREŚCI NA STRONIE W TYM STREAM VIDEO BLOKADA BĘDZIE ZDJĘTA NA OKRES 30 DNI

Dodaj do koszyka

Formularz zamówienia

NazwaPrzelew
Dostęp do treści102.00 zł
Anuluj

MFORUM VIDEO LIVE INFO NIUS Informacje prasowe , video stream , podcast ,reportaż, audiobook , film fabularny, film dokumentalny , relacje ,transmisje , retransmisje publikacje , republikacje materiały tłumaczone na język polski , komunikator chat audio i video , największe w Polsce archiwum materiałów video i art. prasowych trwale usuniętych z internetu ,codziennie najnowsze informacje bez cenzury nie dostępne w Polskim internecie .Audycje stream live w każdy dzień z wyjątkiem piątku i soboty o godzinie 20 .00 dostępna funkcja translator z możliwością tłumaczenia zawartości całej witryny na 93 języki w tym treści chat !!

TEN MATERIAŁ JEST ZABLOKOWANY  ,klik nij kup teraz aby go widzieć I ODBLOKOWAĆ WSZYSTKIE ZABLOKOWANE TREŚCI NA STRONIE W TYM STREAM VIDEO BLOKADA BĘDZIE ZDJĘTA NA OKRES 30 DNI

Dodaj do koszyka

Formularz zamówienia

NazwaPrzelew
Dostęp do treści102.00 zł
Anuluj

MFORUM VIDEO LIVE INFO NIUS Informacje prasowe , video stream , podcast ,reportaż, audiobook , film fabularny, film dokumentalny , relacje ,transmisje , retransmisje publikacje , republikacje materiały tłumaczone na język polski , komunikator chat audio i video , największe w Polsce archiwum materiałów video i art. prasowych trwale usuniętych z internetu ,codziennie najnowsze informacje bez cenzury nie dostępne w Polskim internecie .Audycje stream live w każdy dzień z wyjątkiem piątku i soboty o godzinie 20 .00 dostępna funkcja translator z możliwością tłumaczenia zawartości całej witryny na 93 języki w tym treści chat !!

¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶1_________________1¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶1___111_1111111_1____¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶1_1881188111111111____¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶881188__¶___8111_______¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶8881____1__________________¶¶¶¶¶¶¶¶¶888¶¶¶¶ ¶11188¶¶¶¶¶¶¶¶¶¶881__________818¶¶¶¶¶¶¶¶18¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶81___1¶_1¶¶¶¶¶¶¶¶¶11¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶818¶¶¶¶¶¶¶¶¶¶¶¶18¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶8888¶¶¶¶¶¶¶¶81¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶88888¶8¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶81¶ ¶¶¶¶¶¶¶¶881111111111_11118888¶¶¶¶¶¶¶¶¶¶¶¶¶81¶ ¶¶¶¶¶881881181111118¶¶¶88111111_____8¶¶¶¶¶¶1¶ ¶¶¶¶¶8¶¶¶81111118¶¶¶¶¶81111881111_____1¶¶¶¶1¶ ¶¶¶¶¶¶¶¶¶¶¶811118¶81111__118111111111___8¶8_¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶1__1888¶¶¶¶¶¶¶8______11181___18¶ ¶¶¶¶¶¶81118¶¶8_____18188881_______11181__888¶ ¶¶¶¶¶¶¶¶¶¶8881____________________1118118¶__¶ ¶¶¶¶¶¶¶¶881_81___________________111181_188_¶ ¶¶¶¶¶¶¶¶81_1¶8__________________1111881_____¶ ¶¶¶¶¶8111_118______11_________1111888811____¶ ¶¶¶¶¶81111181__18¶8111___1_111111811111_____¶ ¶¶¶¶¶¶8111_8¶¶¶¶¶¶¶8______1111111111111___18¶ ¶¶¶¶¶¶¶81111¶¶¶¶1____________111111111¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶8111¶¶1_______________1111111888¶¶¶8¶ ¶¶¶¶¶¶¶¶¶81118¶88¶¶¶8881_____1111111188_18¶_¶ ¶¶¶¶¶¶¶¶¶¶818¶¶8111__1___111111111118¶811188¶ ¶¶¶¶¶¶¶¶¶¶¶8188888¶¶881111181111118¶¶8111188¶ ¶¶¶¶¶¶¶¶¶¶¶¶8¶¶¶¶¶¶811111111111188¶¶81111181¶ ¶¶¶¶¶¶8888¶¶¶¶¶8____________188¶¶¶¶8111111_1¶ ¶¶¶¶81111¶¶¶¶¶811_1111___118¶¶¶¶¶¶81111111_¶¶ ¶¶¶811_1¶¶¶¶¶¶¶88888¶¶¶¶8¶¶¶¶¶¶¶¶81111111_8¶¶ ¶81___1¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶88811118__¶¶¶ ¶___8¶¶¶88¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶888881888_¶8_¶ ¶81_¶¶8888¶¶¶8¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶888888888__¶8__¶ ¶¶¶¶1__1¶¶¶888¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶888888881___1¶¶¶ ¶¶88¶¶8_81_1¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶8¶88881_11¶¶¶88¶ ¶¶1_18¶¶8__¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶88__8¶¶¶¶1_1¶ ¶81_1118¶¶¶__1¶¶¶¶¶¶¶8¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ 888888888888888888888888888888888888888888888 8___________________________________________8 8__¶¶¶¶¶_¶¶___¶¶_¶¶¶¶_¶¶__¶¶_¶¶¶¶¶_¶¶___¶¶__8 8__¶¶____¶¶¶_¶¶¶__¶¶__¶¶¶_¶¶_¶¶____¶¶¶_¶¶¶__8 8__¶¶¶¶__¶¶_¶_¶¶__¶¶__¶¶_¶¶¶_¶¶¶¶__¶¶_¶_¶¶__8 8__¶¶____¶¶___¶¶__¶¶__¶¶__¶¶_¶¶____¶¶___¶¶__8 8__¶¶¶¶¶_¶¶___¶¶_¶¶¶¶_¶¶__¶¶_¶¶¶¶¶_¶¶___¶¶__8 8___________________________________________8 888888888888888888888888888888888888888888888 211_1_1____2¶¶¶¶66¶¶¶¶¶¶¶88¶88__¶888¶¶2________126 __________¶¶¶¶¶12¶¶¶¶¶8¶¶¶866¶612¶8¶¶¶6_1_________ 211_1___6¶¶¶¶¶¶¶¶¶¶¶¶¶¶866¶¶66¶822¶¶8886681_______ 1111____2¶¶¶¶¶¶¶¶¶¶¶¶¶¶8688¶¶8_8¶2168¶61126_______ 21___268¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶8¶¶¶¶¶¶68¶6_188__666______ 11__12¶¶¶¶¶¶228¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶68¶2_26¶2_2861____ 1__16¶¶¶¶¶6___¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶61¶¶_¶¶6¶____122__ 1__8¶¶¶¶¶6____6¶¶¶¶8¶¶¶¶¶¶¶¶¶¶¶¶218¶18¶61¶1______1 2186¶¶¶¶2_1____28682¶8¶8¶¶¶¶¶¶¶¶¶_68266¶1_2¶1_____ 6862¶¶¶¶__1_____6___26_16¶8¶¶¶8__¶211612¶8_¶¶81886 ¶88¶¶¶¶81_1____12________________¶¶1_11_6¶_2¶¶2___ 6¶¶¶¶¶¶6__2____1________________2_88_2_1_¶1¶8661__ 1_¶¶¶¶¶2__8______________________1¶22____¶688¶¶12_ _2¶¶¶¶¶8__21_1_11_____________1__¶__11_1_¶81¶¶¶1__ _2¶¶¶¶¶¶1_2621_1________________18___26__2¶2_¶¶___ 28_¶¶¶¶¶1__262_____1_______1_____2___1611_8¶126___ 8__¶¶¶¶¶2_282_______________1____2___62_2__2¶¶6___ __2¶8¶8¶6_6¶¶¶8182______________622__16__12__82___ __¶2_2¶¶¶_6¶¶¶¶¶¶¶¶12__61_2¶¶¶¶¶¶¶¶66_6___¶¶21112_ 1_81__8¶¶__6¶¶268¶¶¶¶61¶¶¶¶¶¶¶2_18¶¶1__1_2¶¶¶2_1_1 8_22__1¶¶1__6¶¶¶¶¶¶¶¶_____¶¶¶¶¶¶¶_1¶____1¶¶¶¶8____ 1_22__1¶¶8____6¶¶¶2__________81___6______¶¶¶¶¶2___ _______¶¶¶2_______________________2______626¶¶6___ _______8¶¶6_______16__________________1__¶¶¶¶8¶81_ _____686¶¶¶¶2___12______________________¶¶¶¶8¶¶¶86 ___2¶¶¶¶8¶¶¶6_____26_______________16___¶¶¶¶¶¶¶¶¶6 86¶¶¶¶¶¶¶¶¶¶¶¶221__2¶881__________22_____¶¶¶¶¶128¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶882_16_____¶¶¶21____1_1¶¶¶¶¶228¶ ¶¶¶¶¶¶¶¶8¶¶¶¶8¶¶¶8¶¶¶¶¶¶¶¶¶62¶¶¶8___2___¶¶¶¶¶¶86¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶8162__6¶¶¶¶¶¶66_______6____¶¶¶¶¶¶66¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶66___88¶88________¶¶____¶¶¶¶¶¶862¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶6¶1____________¶¶¶1___¶¶¶¶¶¶¶¶626¶ ¶¶¶¶¶¶¶8¶¶¶¶¶2¶8¶¶¶2_________2¶81___2¶¶¶¶¶¶¶¶86618 ¶¶¶¶¶¶8¶¶¶¶¶¶2¶¶¶¶8¶¶¶8¶622¶¶¶_____6¶¶¶¶¶8¶¶¶8288¶ ¶¶¶¶¶¶¶¶¶¶¶8¶¶8888¶628¶¶¶¶¶2¶¶6____1¶¶¶¶¶8¶¶¶8¶¶¶¶ ¶¶¶¶¶¶¶¶6¶¶8¶¶2666866¶¶¶¶¶¶_¶¶¶____6¶¶¶¶¶8¶¶68¶¶8¶ ¶¶¶¶¶¶¶¶68¶6¶¶668628¶¶¶¶¶¶82¶¶¶¶__1¶¶¶¶¶62¶¶68¶¶88 ¶¶¶¶¶¶¶¶6¶¶¶¶¶¶6666¶¶¶8¶2118¶¶¶¶6_8¶¶¶¶¶128¶6¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶88¶¶862¶¶¶8¶¶2826¶¶¶¶¶¶¶¶66¶¶16¶¶¶¶¶¶¶8 ¶¶¶¶¶¶¶¶8¶¶¶2¶¶¶8¶¶¶28¶¶¶¶_2¶¶¶8¶¶¶22¶¶618¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶82¶¶28¶¶¶¶8_28¶¶¶2__¶881_¶618¶¶12¶¶¶¶¶¶¶¶¶ _________________11888888111 ____________1¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶81 __________8¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶8 ________8¶¶¶¶¶¶8¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ _______¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶1 ______¶¶¶¶¶¶811111188¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ _____¶¶¶8_____________18¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ____¶¶¶1_______________118¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ___¶¶¶1_________________18¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶8 __8¶¶¶11_______________1188¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ _8¶¶¶¶1______________111111888¶¶¶¶¶¶¶¶¶¶¶¶¶¶ 8¶¶¶¶11____________________1118¶¶¶¶¶¶¶¶¶¶¶¶¶1 ¶¶¶¶¶11_____________________118¶¶¶¶¶¶¶¶¶¶¶¶¶1 8¶¶¶¶1___11______1888111111888¶¶¶¶¶¶¶¶¶¶¶¶¶¶8 ¶¶¶¶¶¶8888¶¶8___8¶¶¶888¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶8¶¶¶¶1_1¶¶¶1_¶¶¶¶¶¶¶118¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶181_8¶81__1¶¶1___1181____1¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶____11____1881__________18¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶__________1111________118¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶8_________111________1188¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶_____1____111_____11188¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶81_1118_1¶¶¶¶____1118¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶881___8¶¶¶¶8__1111888¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶18888__18888¶¶8111888¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶8118881188¶¶¶81__1188¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶81___18¶¶881111118¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶81____11111118¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶1_____1118¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶8188¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶88¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶_1188¶¶¶¶¶¶¶8888¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶11111888888811188¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶811111118111111888¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶81_11111111111__1_1118¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶8811___1__111__________18¶¶¶¶¶8¶¶¶ ¶¶¶¶¶¶¶¶¶811___1_______________1111¶¶¶¶¶88¶¶¶ ¶¶¶¶¶¶¶¶1______________________1111¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶81_______________________1118¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶1________________________118¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶81_____________________111118¶¶¶¶¶¶¶¶¶¶ ¶¶¶8881_________________________118¶¶¶¶¶¶¶¶88 ¶¶111__________________________118¶¶¶¶¶¶88881 ¶81____________________________1188888¶811111 ¶¶1______________________________11888118¶¶¶¶ ¶¶¶81___________________________118¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶81111__________________8¶8¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶88111_________18¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶

Dodaj do koszyka

Formularz zamówienia

NazwaPrzelew
Dostęp do treści102.00 zł
Anuluj

TEN MATERIAŁ JEST ZABLOKOWANY  ,kliknij kup teraz aby go widzieć I ODBLOKOWAĆ WSZYSTKIE ZABLOKOWANE TREŚCI NA STRONIE W TYM STREAM VIDEO BLOKADA BĘDZIE ZDJĘTA NA OKRES 30 DNI

Dodaj do koszyka

Formularz zamówienia

NazwaPrzelew
Dostęp do treści102.00 zł
Anuluj

TEN MATERIAŁ JEST ZABLOKOWANY  ,kliknij kup teraz aby go widzieć I ODBLOKOWAĆ WSZYSTKIE ZABLOKOWANE TREŚCI NA STRONIE W TYM STREAM VIDEO BLOKADA BĘDZIE ZDJĘTA NA OKRES 30 DNI

Dodaj do koszyka

Formularz zamówienia

NazwaPrzelew
Dostęp do treści102.00 zł
Anuluj

W przeciwieństwie do podejścia samonadzorowanego, podejście w pełni nadzorowane może wykorzystywać dane oznaczone etykietami do generowania pozytywnych wyników z istniejących przykładów tej samej klasy, zapewniając większą zmienność w szkoleniu wstępnym, niż można to zwykle osiągnąć przez zwykłe rozszerzenie kotwicy. Jednak wykonano bardzo niewiele pracy, aby z powodzeniem zastosować uczenie kontrastowe w dziedzinie w pełni nadzorowanej.

W „ Nadzorowanym uczeniu kontrastowym ”, zaprezentowanym na NeurIPS 2020 , proponujemy nową funkcję utraty, zwaną SupCon, która wypełnia lukę między uczeniem się samonadzorowanym a uczeniem się w pełni nadzorowanym i umożliwia zastosowanie uczenia kontrastowego w środowisku nadzorowanym. Wykorzystując dane oznaczone etykietami, SupCon zachęca znormalizowane osadzania z tej samej klasy do zbliżania się do siebie, podczas gdy osadzania z różnych klassą rozsuwane. Upraszcza to proces selekcji pozytywnej, jednocześnie unikając potencjalnych wyników fałszywie negatywnych. Ponieważ uwzględnia wiele pozytywów na kotwicę, to podejście skutkuje lepszym wyborem pozytywnych przykładów, które są bardziej zróżnicowane, a jednocześnie zawierają istotne semantycznie informacje. SupCon pozwala również, aby informacje o etykiecie odgrywały aktywną rolę w uczeniu reprezentacji, zamiast ograniczać je do wykorzystania tylko w dalszym uczeniu, jak ma to miejsce w przypadku konwencjonalnego uczenia kontrastywnego. Zgodnie z naszą najlepszą wiedzą jest to pierwsza strata kontrastowa, która konsekwentnie działa lepiej w przypadku problemów klasyfikacji obrazów na dużą skalę niż powszechne podejście polegające na wykorzystaniu strat entropii krzyżowejbezpośrednio trenować model. Co ważne, SupCon jest prosty do wdrożenia i stabilny do trenowania, zapewnia stałą poprawę dokładności top-1 dla wielu zestawów danych i architektur (w tym architektur Transformer ) i jest odporny na uszkodzenia obrazu i zmiany hiperparametrów.

Samonadzorowane ( po lewej ) vs nadzorowane ( po prawej ) ubytki kontrastowe: Samonadzorowana utrata kontrastowa zestawia pojedynczy pozytyw dla każdej kotwicy (tj. rozszerzoną wersję tego samego obrazu) z zestawem negatywów składających się z całej reszty minipartii. Jednak nadzorowana utrata kontrastu rozważana w tym artykule zestawia wszystkie próbki z tej samej klasy jako pozytywne z negatywnymi z pozostałej partii.

Supervised Contrastive Learning Framework
SupCon może być postrzegany jako uogólnienie strat zarówno SimCLR, jak i N-par — pierwsza wykorzystuje pozytywy wygenerowane z tej samej próbki co próbka kotwicy, a druga wykorzystuje pozytywy wygenerowane z różnych próbek poprzez wykorzystanie znanej klasy etykiety. Użycie wielu pozytywów i wielu negatywów dla każdej kotwicy pozwala SupCon osiągnąć najnowocześniejsze osiągi bez konieczności wydobywania twardych negatywów (tj. wyszukiwania negatywów podobnych do kotwicy), które mogą być trudne do prawidłowego dostrojenia.

SupCon łączy straty wielokrotne z literatury i jest uogólnieniem strat SimCLR i N-Pair.

Metoda ta jest strukturalnie podobna do metod stosowanych w samonadzorowanym uczeniu kontrastowym, z modyfikacjami dotyczącymi klasyfikacji nadzorowanej. Biorąc pod uwagę wejściową partię danych, najpierw stosujemy rozszerzenie danych dwukrotnie, aby uzyskać dwie kopie lub „widoki” każdej próbki w partii (chociaż można utworzyć i użyć dowolnej liczby widoków rozszerzonych). Obie kopie są propagowane w przód przez sieć kodera, a wynikowe osadzanie jest następnie znormalizowane do poziomu L2 . Zgodnie ze standardową praktyką reprezentacja jest dalej propagowana przez opcjonalną sieć projekcyjnąaby pomóc zidentyfikować znaczące funkcje. Nadzorowana strata kontrastowa jest obliczana na znormalizowanych wyjściach sieci projekcyjnej. Pozytywy dla kotwicy składają się z reprezentacji pochodzących z tego samego wystąpienia w wiązce, co kotwica lub z innych wystąpień o tej samej etykiecie co kotwica; negatywy są wtedy wszystkimi pozostałymi instancjami. Aby zmierzyć wydajność zadań podrzędnych, trenujemy klasyfikator liniowy na podstawie zamrożonych reprezentacji.

Entropia krzyżowa, samonadzorowane ubytki kontrastowe i nadzorowane ubytki kontrastowe Po lewej: Utrata entropii krzyżowej wykorzystuje etykiety i stratę softmax do trenowania klasyfikatora. Środek: Samonadzorowana utrata kontrastowa wykorzystuje utratę kontrastową i rozszerzenia danych do uczenia się reprezentacji. Po prawej: Nadzorowany ubytek kontrastu uczy się również reprezentacji za pomocą ubytku kontrastu, ale wykorzystuje informacje z etykiety do próbkowania pozytywów oprócz augmentacji tego samego obrazu.

Kluczowe wnioski
SupCon konsekwentnie zwiększa dokładność top-1 w porównaniu z entropią krzyżową, klasyfikatorami marży (z wykorzystaniem etykiet) i samonadzorowanymi technikami uczenia kontrastowego w zestawach danych CIFAR-10 i CIFAR-100 oraz ImageNet . Dzięki SupCon osiągamy doskonałą dokładność top-1 w zestawie danych ImageNet dzięki architekturze ResNet-50 i ResNet-200 . W ResNet-200 osiągamy dokładność top-1 na poziomie 81,4%, co stanowi wzrost o 0,8% w porównaniu z najnowocześniejszą stratą entropii krzyżowej przy użyciu tej samej architektury (co stanowi znaczący postęp dla ImageNet ). Porównaliśmy również cross-entropię i SupCon na transformatorowym ViT-B/16 modelu i stwierdzili stałą poprawę w porównaniu z entropią krzyżową (77,8% w porównaniu z 76% dla ImageNet; 92,6% w porównaniu do 91,6% dla CIFAR-10) w tym samym reżimie wzbogacania danych (bez dostrajania w wyższej rozdzielczości).

Strata SupCon konsekwentnie przewyższa entropię krzyżową ze standardowymi strategiami zwiększania danych ( AutoAugment , RandAugment i CutMix ). Pokazujemy dokładność top-1 dla ImageNet, na ResNet-50, ResNet-101 i ResNet200.

Demonstrujemy również analitycznie, że gradient naszej funkcji straty zachęca do uczenia się na podstawie twardych pozytywów i twardych negatywów. Wkład gradientu od twardych pozytywów/negatywów jest duży, podczas gdy te dla łatwych pozytywów/negatywów są małe. Ta niejawna właściwość pozwala, aby kontrastowa strata ominęła potrzebę jawnego wydobywania twardego, które jest delikatną, ale krytyczną częścią wielu strat, takich jak strata trypletów. Zobacz materiał uzupełniający naszego artykułu, aby uzyskać pełne wyprowadzenie.

SupCon jest również bardziej odporny na naturalne uszkodzenia, takie jak szum, rozmycie i kompresja JPEG. Na średnią Korupcja błąd (MCE) środki średnia degradacji wydajności w stosunku do benchmarku IMAGEnet-C zbiorze. Modele SupCon mają niższe wartości mCE w różnych uszkodzeniach w porównaniu z modelami entropii krzyżowej, wykazując zwiększoną odporność.

Pokazujemy empirycznie, że strata SupCon jest mniej wrażliwa niż entropia krzyżowa dla zakresu hiperparametrów. Wraz ze zmianami w augmentacjach, optymalizatorach i szybkości uczenia się obserwujemy znacznie mniejszą wariancję wyniku utraty kontrastu. Co więcej, stosowanie różnych wielkości partii przy jednoczesnym utrzymaniu wszystkich innych hiperparametrów na stałym poziomie skutkuje konsekwentnie lepszą dokładnością SupCon top-1 w stosunku do entropii krzyżowej dla każdej wielkości partii.

Dokładność entropii krzyżowej i nadzorowanej utraty kontrastu w funkcji hiperparametrów i wielkości danych treningowych, mierzone w ImageNet za pomocą kodera ResNet-50. Po lewej: wykres pudełkowy pokazujący dokładność Top-1 w porównaniu ze zmianami w zakresie rozszerzania, optymalizatora i szybkości uczenia się. SupCon daje bardziej spójne wyniki dla różnych odmian, co jest przydatne, gdy najlepsze strategie są nieznane a priori . Po prawej: Dokładność Top-1 jako funkcja wielkości partii pokazuje, że obie straty odnoszą korzyści z większych rozmiarów partii, podczas gdy SupCon ma wyższą dokładność Top-1, nawet jeśli jest trenowany z małymi rozmiarami partii.
Dokładność nadzorowanej utraty kontrastu w funkcji czasu treningu i hiperparametru temperatury, mierzona w ImageNet za pomocą kodera ResNet-50. Po lewej: dokładność Top-1 jako funkcja epok przedtreningowych SupCon. Po prawej: dokładność Top-1 w funkcji temperatury podczas etapu przedtreningowego dla SupCon. Temperatura jest ważnym hiperparametrem w uczeniu kontrastowym i pożądane jest zmniejszenie wrażliwości na temperaturę.

Szersze oddziaływanie i kolejne kroki
Praca ta stanowi postęp techniczny w dziedzinie nadzorowanej klasyfikacji. Nadzorowane uczenie kontrastywne może poprawić zarówno dokładność, jak i odporność klasyfikatorów przy minimalnej złożoności. Klasyczna strata entropii krzyżowej może być postrzegana jako szczególny przypadek SupCon, w którym widoki odpowiadają obrazom i wyuczonym osadzeniom w końcowej warstwie liniowej odpowiadającej etykietom. Zauważamy, że SupCon czerpie korzyści z dużych rozmiarów partii, a możliwość trenowania modeli na mniejszych partiach jest ważnym tematem dla przyszłych badań.

Nasze repozytorium Github zawiera kod Tensorflow do trenowania modeli w artykule . Nasze wstępnie przeszkolony modele są również wydany na TF-Hub.

Podziękowania
Artykuł NeurIPS był współautorem z Prannay Khosla, Piotrem Teterwakiem, Chen Wangiem, Aaronem Sarną, Yonglongiem Tianem, Phillipem Isola, Aaronem Maschinotem, Ce Liu i Dilipem Krishnanem. Specjalne podziękowania dla Jenny Huang za prowadzenie procesu pisania tego wpisu na blogu.

https://ai.googleblog.com/