Daniel Ho, Software Engineer, The Everyday Robot Project i Kanishka Rao, Staff Software Engineer, Robotics w GoogleWzmacnianie i naśladowanie metod uczenia się w badaniach robotyki może umożliwić autonomiczną nawigację środowiskową i wydajną manipulację obiektami , co z kolei otwiera szereg przydatnych zastosowań w życiu codziennym. Poprzednia pracawykazał, w jaki sposób roboty, które uczą się od początku do końca za pomocą głębokich sieci neuronowych, mogą niezawodnie i bezpiecznie wchodzić w interakcję z otaczającym nas nieustrukturyzowanym światem, rozumiejąc obserwacje z kamery, aby podejmować działania i rozwiązywać zadania. Jednak, chociaż metody uczenia typu end-to-end mogą uogólniać i skalować skomplikowane zadania związane z manipulacją robotami, wymagają one setek tysięcy odcinków szkolenia robotów w świecie rzeczywistym, co może być trudne do uzyskania. Można próbować złagodzić to ograniczenie, stosując symulację środowiska, która pozwala wirtualnym robotom uczyć się szybciej i na większą skalę, ale niezdolność symulacji do dokładnego dopasowania do rzeczywistego świata stanowi wyzwanie powszechnie określane jako symulacja prawdziwa luka. Jednym z ważnych źródeł luki są rozbieżności między obrazami renderowanymi w symulacji a obserwacjami z rzeczywistej kamery robota, co z kolei powoduje, że robot źle radzi sobie w rzeczywistym świecie.

TEN MATERIAŁ JEST ZABLOKOWANY  ,kliknij kup teraz aby go widzieć I ODBLOKOWAĆ WSZYSTKIE ZABLOKOWANE TREŚCI NA STRONIE W TYM STREAM VIDEO BLOKADA BĘDZIE ZDJĘTA NA OKRES 30 DNI

Dodaj do koszyka

Formularz zamówienia

NazwaPrzelew
Dostęp do treści102.00 zł
Anuluj

MFORUM VIDEO LIVE INFO NIUS Informacje prasowe , video stream , podcast ,reportaż, audiobook , film fabularny, film dokumentalny , relacje ,transmisje , retransmisje publikacje , republikacje materiały tłumaczone na język polski , komunikator chat audio i video , największe w Polsce archiwum materiałów video i art. prasowych trwale usuniętych z internetu ,codziennie najnowsze informacje bez cenzury nie dostępne w Polskim internecie .Audycje stream live w każdy dzień z wyjątkiem piątku i soboty o godzinie 20 .00 dostępna funkcja translator z możliwością tłumaczenia zawartości całej witryny na 93 języki w tym treści chat !!

TEN MATERIAŁ JEST ZABLOKOWANY  ,klik nij kup teraz aby go widzieć I ODBLOKOWAĆ WSZYSTKIE ZABLOKOWANE TREŚCI NA STRONIE W TYM STREAM VIDEO BLOKADA BĘDZIE ZDJĘTA NA OKRES 30 DNI

Dodaj do koszyka

Formularz zamówienia

NazwaPrzelew
Dostęp do treści102.00 zł
Anuluj

MFORUM VIDEO LIVE INFO NIUS Informacje prasowe , video stream , podcast ,reportaż, audiobook , film fabularny, film dokumentalny , relacje ,transmisje , retransmisje publikacje , republikacje materiały tłumaczone na język polski , komunikator chat audio i video , największe w Polsce archiwum materiałów video i art. prasowych trwale usuniętych z internetu ,codziennie najnowsze informacje bez cenzury nie dostępne w Polskim internecie .Audycje stream live w każdy dzień z wyjątkiem piątku i soboty o godzinie 20 .00 dostępna funkcja translator z możliwością tłumaczenia zawartości całej witryny na 93 języki w tym treści chat !!

¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶1_________________1¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶1___111_1111111_1____¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶1_1881188111111111____¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶881188__¶___8111_______¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶8881____1__________________¶¶¶¶¶¶¶¶¶888¶¶¶¶ ¶11188¶¶¶¶¶¶¶¶¶¶881__________818¶¶¶¶¶¶¶¶18¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶81___1¶_1¶¶¶¶¶¶¶¶¶11¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶818¶¶¶¶¶¶¶¶¶¶¶¶18¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶8888¶¶¶¶¶¶¶¶81¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶88888¶8¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶81¶ ¶¶¶¶¶¶¶¶881111111111_11118888¶¶¶¶¶¶¶¶¶¶¶¶¶81¶ ¶¶¶¶¶881881181111118¶¶¶88111111_____8¶¶¶¶¶¶1¶ ¶¶¶¶¶8¶¶¶81111118¶¶¶¶¶81111881111_____1¶¶¶¶1¶ ¶¶¶¶¶¶¶¶¶¶¶811118¶81111__118111111111___8¶8_¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶1__1888¶¶¶¶¶¶¶8______11181___18¶ ¶¶¶¶¶¶81118¶¶8_____18188881_______11181__888¶ ¶¶¶¶¶¶¶¶¶¶8881____________________1118118¶__¶ ¶¶¶¶¶¶¶¶881_81___________________111181_188_¶ ¶¶¶¶¶¶¶¶81_1¶8__________________1111881_____¶ ¶¶¶¶¶8111_118______11_________1111888811____¶ ¶¶¶¶¶81111181__18¶8111___1_111111811111_____¶ ¶¶¶¶¶¶8111_8¶¶¶¶¶¶¶8______1111111111111___18¶ ¶¶¶¶¶¶¶81111¶¶¶¶1____________111111111¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶8111¶¶1_______________1111111888¶¶¶8¶ ¶¶¶¶¶¶¶¶¶81118¶88¶¶¶8881_____1111111188_18¶_¶ ¶¶¶¶¶¶¶¶¶¶818¶¶8111__1___111111111118¶811188¶ ¶¶¶¶¶¶¶¶¶¶¶8188888¶¶881111181111118¶¶8111188¶ ¶¶¶¶¶¶¶¶¶¶¶¶8¶¶¶¶¶¶811111111111188¶¶81111181¶ ¶¶¶¶¶¶8888¶¶¶¶¶8____________188¶¶¶¶8111111_1¶ ¶¶¶¶81111¶¶¶¶¶811_1111___118¶¶¶¶¶¶81111111_¶¶ ¶¶¶811_1¶¶¶¶¶¶¶88888¶¶¶¶8¶¶¶¶¶¶¶¶81111111_8¶¶ ¶81___1¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶88811118__¶¶¶ ¶___8¶¶¶88¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶888881888_¶8_¶ ¶81_¶¶8888¶¶¶8¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶888888888__¶8__¶ ¶¶¶¶1__1¶¶¶888¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶888888881___1¶¶¶ ¶¶88¶¶8_81_1¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶8¶88881_11¶¶¶88¶ ¶¶1_18¶¶8__¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶88__8¶¶¶¶1_1¶ ¶81_1118¶¶¶__1¶¶¶¶¶¶¶8¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ 888888888888888888888888888888888888888888888 8___________________________________________8 8__¶¶¶¶¶_¶¶___¶¶_¶¶¶¶_¶¶__¶¶_¶¶¶¶¶_¶¶___¶¶__8 8__¶¶____¶¶¶_¶¶¶__¶¶__¶¶¶_¶¶_¶¶____¶¶¶_¶¶¶__8 8__¶¶¶¶__¶¶_¶_¶¶__¶¶__¶¶_¶¶¶_¶¶¶¶__¶¶_¶_¶¶__8 8__¶¶____¶¶___¶¶__¶¶__¶¶__¶¶_¶¶____¶¶___¶¶__8 8__¶¶¶¶¶_¶¶___¶¶_¶¶¶¶_¶¶__¶¶_¶¶¶¶¶_¶¶___¶¶__8 8___________________________________________8 888888888888888888888888888888888888888888888 211_1_1____2¶¶¶¶66¶¶¶¶¶¶¶88¶88__¶888¶¶2________126 __________¶¶¶¶¶12¶¶¶¶¶8¶¶¶866¶612¶8¶¶¶6_1_________ 211_1___6¶¶¶¶¶¶¶¶¶¶¶¶¶¶866¶¶66¶822¶¶8886681_______ 1111____2¶¶¶¶¶¶¶¶¶¶¶¶¶¶8688¶¶8_8¶2168¶61126_______ 21___268¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶8¶¶¶¶¶¶68¶6_188__666______ 11__12¶¶¶¶¶¶228¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶68¶2_26¶2_2861____ 1__16¶¶¶¶¶6___¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶61¶¶_¶¶6¶____122__ 1__8¶¶¶¶¶6____6¶¶¶¶8¶¶¶¶¶¶¶¶¶¶¶¶218¶18¶61¶1______1 2186¶¶¶¶2_1____28682¶8¶8¶¶¶¶¶¶¶¶¶_68266¶1_2¶1_____ 6862¶¶¶¶__1_____6___26_16¶8¶¶¶8__¶211612¶8_¶¶81886 ¶88¶¶¶¶81_1____12________________¶¶1_11_6¶_2¶¶2___ 6¶¶¶¶¶¶6__2____1________________2_88_2_1_¶1¶8661__ 1_¶¶¶¶¶2__8______________________1¶22____¶688¶¶12_ _2¶¶¶¶¶8__21_1_11_____________1__¶__11_1_¶81¶¶¶1__ _2¶¶¶¶¶¶1_2621_1________________18___26__2¶2_¶¶___ 28_¶¶¶¶¶1__262_____1_______1_____2___1611_8¶126___ 8__¶¶¶¶¶2_282_______________1____2___62_2__2¶¶6___ __2¶8¶8¶6_6¶¶¶8182______________622__16__12__82___ __¶2_2¶¶¶_6¶¶¶¶¶¶¶¶12__61_2¶¶¶¶¶¶¶¶66_6___¶¶21112_ 1_81__8¶¶__6¶¶268¶¶¶¶61¶¶¶¶¶¶¶2_18¶¶1__1_2¶¶¶2_1_1 8_22__1¶¶1__6¶¶¶¶¶¶¶¶_____¶¶¶¶¶¶¶_1¶____1¶¶¶¶8____ 1_22__1¶¶8____6¶¶¶2__________81___6______¶¶¶¶¶2___ _______¶¶¶2_______________________2______626¶¶6___ _______8¶¶6_______16__________________1__¶¶¶¶8¶81_ _____686¶¶¶¶2___12______________________¶¶¶¶8¶¶¶86 ___2¶¶¶¶8¶¶¶6_____26_______________16___¶¶¶¶¶¶¶¶¶6 86¶¶¶¶¶¶¶¶¶¶¶¶221__2¶881__________22_____¶¶¶¶¶128¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶882_16_____¶¶¶21____1_1¶¶¶¶¶228¶ ¶¶¶¶¶¶¶¶8¶¶¶¶8¶¶¶8¶¶¶¶¶¶¶¶¶62¶¶¶8___2___¶¶¶¶¶¶86¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶8162__6¶¶¶¶¶¶66_______6____¶¶¶¶¶¶66¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶66___88¶88________¶¶____¶¶¶¶¶¶862¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶6¶1____________¶¶¶1___¶¶¶¶¶¶¶¶626¶ ¶¶¶¶¶¶¶8¶¶¶¶¶2¶8¶¶¶2_________2¶81___2¶¶¶¶¶¶¶¶86618 ¶¶¶¶¶¶8¶¶¶¶¶¶2¶¶¶¶8¶¶¶8¶622¶¶¶_____6¶¶¶¶¶8¶¶¶8288¶ ¶¶¶¶¶¶¶¶¶¶¶8¶¶8888¶628¶¶¶¶¶2¶¶6____1¶¶¶¶¶8¶¶¶8¶¶¶¶ ¶¶¶¶¶¶¶¶6¶¶8¶¶2666866¶¶¶¶¶¶_¶¶¶____6¶¶¶¶¶8¶¶68¶¶8¶ ¶¶¶¶¶¶¶¶68¶6¶¶668628¶¶¶¶¶¶82¶¶¶¶__1¶¶¶¶¶62¶¶68¶¶88 ¶¶¶¶¶¶¶¶6¶¶¶¶¶¶6666¶¶¶8¶2118¶¶¶¶6_8¶¶¶¶¶128¶6¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶88¶¶862¶¶¶8¶¶2826¶¶¶¶¶¶¶¶66¶¶16¶¶¶¶¶¶¶8 ¶¶¶¶¶¶¶¶8¶¶¶2¶¶¶8¶¶¶28¶¶¶¶_2¶¶¶8¶¶¶22¶¶618¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶82¶¶28¶¶¶¶8_28¶¶¶2__¶881_¶618¶¶12¶¶¶¶¶¶¶¶¶ _________________11888888111 ____________1¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶81 __________8¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶8 ________8¶¶¶¶¶¶8¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ _______¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶1 ______¶¶¶¶¶¶811111188¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ _____¶¶¶8_____________18¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ____¶¶¶1_______________118¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ___¶¶¶1_________________18¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶8 __8¶¶¶11_______________1188¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ _8¶¶¶¶1______________111111888¶¶¶¶¶¶¶¶¶¶¶¶¶¶ 8¶¶¶¶11____________________1118¶¶¶¶¶¶¶¶¶¶¶¶¶1 ¶¶¶¶¶11_____________________118¶¶¶¶¶¶¶¶¶¶¶¶¶1 8¶¶¶¶1___11______1888111111888¶¶¶¶¶¶¶¶¶¶¶¶¶¶8 ¶¶¶¶¶¶8888¶¶8___8¶¶¶888¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶8¶¶¶¶1_1¶¶¶1_¶¶¶¶¶¶¶118¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶181_8¶81__1¶¶1___1181____1¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶____11____1881__________18¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶__________1111________118¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶8_________111________1188¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶_____1____111_____11188¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶81_1118_1¶¶¶¶____1118¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶881___8¶¶¶¶8__1111888¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶18888__18888¶¶8111888¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶8118881188¶¶¶81__1188¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶81___18¶¶881111118¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶81____11111118¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶1_____1118¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶8188¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶88¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶_1188¶¶¶¶¶¶¶8888¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶11111888888811188¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶811111118111111888¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶81_11111111111__1_1118¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶8811___1__111__________18¶¶¶¶¶8¶¶¶ ¶¶¶¶¶¶¶¶¶811___1_______________1111¶¶¶¶¶88¶¶¶ ¶¶¶¶¶¶¶¶1______________________1111¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶81_______________________1118¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶1________________________118¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶81_____________________111118¶¶¶¶¶¶¶¶¶¶ ¶¶¶8881_________________________118¶¶¶¶¶¶¶¶88 ¶¶111__________________________118¶¶¶¶¶¶88881 ¶81____________________________1188888¶811111 ¶¶1______________________________11888118¶¶¶¶ ¶¶¶81___________________________118¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶81111__________________8¶8¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶88111_________18¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶

Dodaj do koszyka

Formularz zamówienia

NazwaPrzelew
Dostęp do treści102.00 zł
Anuluj

TEN MATERIAŁ JEST ZABLOKOWANY  ,kliknij kup teraz aby go widzieć I ODBLOKOWAĆ WSZYSTKIE ZABLOKOWANE TREŚCI NA STRONIE W TYM STREAM VIDEO BLOKADA BĘDZIE ZDJĘTA NA OKRES 30 DNI

Dodaj do koszyka

Formularz zamówienia

NazwaPrzelew
Dostęp do treści102.00 zł
Anuluj

TEN MATERIAŁ JEST ZABLOKOWANY  ,kliknij kup teraz aby go widzieć I ODBLOKOWAĆ WSZYSTKIE ZABLOKOWANE TREŚCI NA STRONIE W TYM STREAM VIDEO BLOKADA BĘDZIE ZDJĘTA NA OKRES 30 DNI

Dodaj do koszyka

Formularz zamówienia

NazwaPrzelew
Dostęp do treści102.00 zł
Anuluj

Do tej pory w pracach nad wypełnieniem tej luki wykorzystywano technikę zwaną adaptacją domeny na poziomie pikseli, która przekłada obrazy syntetyczne na realistyczne na poziomie pikseli. Jednym z przykładów tej techniki jest GraspGAN , który wykorzystuje generatywną sieć przeciwników(GAN), platforma, która okazała się bardzo skuteczna w generowaniu obrazów, do modelowania tej transformacji między symulowanymi i rzeczywistymi obrazami na podstawie zbiorów danych każdej domeny. Te pseudorzeczywiste obrazy korygują pewną lukę między symulacją a rzeczywistością, dzięki czemu zasady poznane podczas symulacji działają skuteczniej na prawdziwych robotach. Ograniczeniem ich stosowania w transferze z symulacji do rzeczywistego jest jednak to, że ponieważ GAN tłumaczą obrazy na poziomie pikseli, wielopikselowe funkcje lub struktury, które są niezbędne do uczenia się zadań robota, mogą być dowolnie modyfikowane lub nawet usuwane.

Aby rozwiązać powyższe ograniczenie i we współpracy z Everyday Robot Project w X , przedstawiamy dwie prace, RL-CycleGAN i RetinaGAN, które szkolą GAN z konsystencją specyficzną dla robota — tak, aby nie modyfikują arbitralnie funkcji wizualnych, które są szczególnie potrzebne do uczenia się zadań robota — i w ten sposób wypełniają wizualną rozbieżność między symulacją a rzeczywistością. Pokazujemy, w jaki sposób te spójność zachowują cechy krytyczne dla uczenia się zasad, eliminując potrzebę ręcznego dostrajania do konkretnego zadania, co z kolei pozwala na elastyczną pracę tej metodyki od symulacji do rzeczywistości w różnych zadaniach, domenach i algorytmach uczenia się. Dzięki RL-CycleGAN opisujemy naszą metodologię transferu sim do rzeczywistego i demonstrujemy najnowocześniejszą wydajność w rzeczywistych zadaniach chwytania przeszkolonych za pomocą RL. Dzięki RetinaGAN rozszerzamy nasze podejście o naukę naśladownictwa z zadaniem otwierania drzwi.

RL-CycleGAN
W „ RL-CycleGAN: Wzmacnianie uczenia się symulacji do rzeczywistości ” wykorzystujemy odmianę CycleGAN do adaptacji symultanicznej do rzeczywistej, zapewniając spójność funkcji istotnych dla zadania między obrazami rzeczywistymi i symulowanymi. CycleGAN zachęca do zachowania treści obrazu, zapewniając, że dostosowany obraz przekształcony z powrotem do oryginalnej domeny jest identyczny z oryginalnym obrazem, co nazywa się spójnością cyklu . Aby dodatkowo zachęcić przystosowane obrazy do użyteczności w robotyce, CycleGAN jest wspólnie szkolony z uczeniem wzmacniającym(RL) agent robota, który zapewnia, że ​​działania robota są takie same, biorąc pod uwagę zarówno oryginalne obrazy, jak i te po adaptacji GAN. Oznacza to, że funkcje specyficzne dla zadania, takie jak ramię robota lub lokalizacje obiektów do chwytania, pozostają niezmienione, ale GAN może nadal zmieniać różnice w oświetleniu lub teksturze między domenami, które nie wpływają na decyzje na poziomie zadania.

Ocena RL-CycleGAN Oceniliśmy
RL-CycleGAN w zadaniu robota polegającego na bezkrytycznym chwytaniu . Przeszkolony na 580 000 prawdziwych prób i symulacji dostosowanych za pomocą RL-CycleGAN, robot chwyta obiekty z wynikiem 94%, przewyższając 89% wskaźnik sukcesu wcześniejszej najnowocześniejszej metody GraspGAN i wynik 87% przy użyciu tylko rzeczywistych danych bez symulacji. Przy zaledwie 28 000 próbach metoda RL-CycleGAN osiąga 86%, porównywalnie z poprzednimi liniami bazowymi z 20-krotnością danych. Poniżej przedstawiono kilka przykładów wyjścia RL-CycleGAN wraz z obrazami symulacyjnymi.

Porównanie pomiędzy obrazami symulacyjnymi robota chwytającego przed (po lewej ) i po translacji RL-CycleGAN (po prawej ).

RetinaGAN
Podczas gdy RL-CycleGAN niezawodnie przenosi się z symulacji do rzeczywistości w domenie RL przy użyciu świadomości zadań, pojawia się naturalne pytanie: czy możemy opracować bardziej elastyczną technikę transferu z symulacji do rzeczywistości, która ma szerokie zastosowanie do różnych zadań i technik uczenia robotów?

W „ RetinaGAN: An Object-Aware Approach to Sim-to-Real Transfer ”, zaprezentowanym na ICRA 2021 , opracowujemy takie oddzielone od zadań, oddzielone od algorytmu podejście GAN do transferu sim do rzeczywistego, skupiając się zamiast tego na postrzeganiu robotów obiektów. RetinaGAN wymusza silną świadomość obiektowo-semantyczną poprzez spójność percepcji poprzez wykrywanie obiektów w celu przewidywania lokalizacji ramek granicznych dla wszystkich obiektów na wszystkich obrazach. W idealnym modelu symulacja-rzeczywistość oczekujemy, że detektor obiektów będzie przewidywał te same lokalizacje pudełek przed i po translacji GAN, ponieważ obiekty nie powinny zmieniać się strukturalnie. RetinaGAN jest przeszkolony w kierunku tego ideału przez wstecznej propagacji błędów, takich, że istnieje zgodność w percepcji obiektów zarówno gdy) symulowane obrazy są przekształcane z symulacji na rzeczywistą, a następnie z powrotem do symulacji oraz b ) gdy rzeczywiste obrazy są przekształcane z rzeczywistego w symulację, a następnie z powrotem do rzeczywistego. Uważamy, że ta spójność oparta na obiektach ma szersze zastosowanie niż spójność specyficzna dla zadania wymagana przez RL-CycleGAN.

Schemat etapów RetinaGAN. Symulowany obraz ( u góry po lewej ) jest przekształcany przez generator sim na rzeczywisty, a następnie przez generator rzeczywisty na sim. Prawdziwy obraz ( dolny lewy ) podlega transformacji w odwrotnej kolejności. Posiadanie oddzielnych potoków, które zaczynają się od symulowanych i rzeczywistych obrazów, poprawia wydajność GAN.

Ocena RetinaGAN na prawdziwym robocie
Mając na celu zbudowanie bardziej elastycznej techniki transferu sim do rzeczywistego, oceniamy RetinaGAN na wiele sposobów, aby zrozumieć, dla jakich zadań i w jakich warunkach realizuje transfer sim do rzeczywistego.

Najpierw stosujemy RetinaGAN do zadania chwytającego. Jak pokazano poniżej, RetinaGAN kładzie nacisk na tłumaczenie realistycznych tekstur obiektów, cieni i oświetlenia, przy jednoczesnym zachowaniu jakości wizualnej i wyrazistości obiektów do uchwycenia. Łączymy wstępnie wytrenowany model RetinaGAN z metodą uczenia z rozproszonym wzmocnieniem Q2-Opttrenować model zadań oparty na wizji, na przykład chwytanie. W przypadku prawdziwych robotów ta zasada obejmuje instancje obiektów z 80% sukcesem, gdy są trenowane na stu tysiącach odcinków — przewyższając wcześniejsze metody adaptacji RL-CycleGAN i CycleGAN (oba osiągają ~68%) i trenowanie bez adaptacji domeny (szare paski poniżej: 19% z dane sim, 22% z danymi rzeczywistymi i 54% z danymi mieszanymi). Daje nam to pewność, że spójność percepcji jest cenną strategią transferu sim do rzeczywistości. Co więcej, przy zaledwie 10 000 epizodach treningowych (8% danych), polityka RL z RetinaGAN osiąga 66% sukcesu, demonstrując wydajność wcześniejszych metod przy znacznie mniejszej ilości danych.

Ocena wydajności polityk RL w zakresie chwytania instancji, przeszkolona z różnymi zestawami danych i metodami sim-to-real. RetinaGAN o niskiej ilości danych wykorzystuje 8% rzeczywistego zestawu danych.
Symulowane środowisko chwytania (po lewej) jest tłumaczone na realistyczny obraz (po prawej) za pomocą RetinaGAN.

Następnie łączymy RetinaGAN z inną metodą uczenia się, klonowaniem behawioralnym , aby otworzyć drzwi sali konferencyjnej podczas demonstracji przez operatorów. Wykorzystując obrazy z symulowanych i rzeczywistych demonstracji, szkolimy RetinaGAN, aby tłumaczył syntetyczne obrazy, aby wyglądały realistycznie, wypełniając lukę między symulacją a rzeczywistością. Następnie szkolimy model klonowania zachowań, aby naśladować działania operatorów przy rozwiązywaniu zadań w rzeczywistych i dostosowanych do RetinaGAN demonstracjach symulacji. Podczas oceny tego modelu poprzez przewidywanie działań do podjęcia, robot wchodzi do prawdziwych sal konferencyjnych przez ponad 93% czasu, przekraczając wartości bazowe 75% i niższe.

Oba powyższe obrazy pokazują tę samą symulację, ale RetinaGAN tłumaczy symulowane obrazy otwierania drzwi (po lewej ), aby wyglądały bardziej jak dane z czujnika rzeczywistego robota (po prawej ).
Trzy przykłady prawdziwego robota z powodzeniem otwierającego drzwi do sali konferencyjnej przy użyciu polityki klonowania zachowań wyszkolonych przez RetinaGAN.

Podsumowanie
Ta praca wykazała, w jaki sposób dodatkowe ograniczenia w sieciach GAN mogą rozwiązać lukę między wizualną symulacją a rzeczywistością bez konieczności dostrajania do konkretnego zadania; te podejścia osiągają wyższe rzeczywiste wskaźniki sukcesu robotów przy mniejszym gromadzeniu danych. RL-CycleGAN tłumaczy obrazy syntetyczne na realistyczne z utratą spójności RL, która automatycznie zachowuje funkcje istotne dla zadania. RetinaGAN to technika adaptacji typu „sim-to-real” z uwzględnieniem obiektów, która przenosi się w sposób niezawodny między środowiskami i zadaniami, niezależnie od metody uczenia zadaniowego. Ponieważ RetinaGAN nie jest przeszkolony w zakresie wiedzy dotyczącej konkretnego zadania, pokazujemy, jak można go ponownie wykorzystać do nowego zadania polegającego na przekazywaniu obiektów . Mamy nadzieję, że prace nad luką między symulacją a rzeczywistością pozwolą dalej uogólniać rozwiązywanie manipulacji robotami niezależnymi od zadań w nieustrukturyzowanych środowiskach.

Podziękowania
Badania nad RL-CycleGAN przeprowadzili Kanishka Rao, Chris Harris, Alex Irpan, Sergey Levine, Julian Ibarz i Mohi Khansari. Badania nad RetinaGAN przeprowadzili Daniel Ho, Kanishka Rao, Zhuo Xu, Eric Jang, Mohi Khansari i Yunfei Bai. Chcielibyśmy również podziękować Ivonne Fajardo, Noah Brownowi, Benjaminowi Swansonowi, Christopherowi Paguyo, Armando Fuentesowi i Sphurti More’owi za nadzorowanie pracy robota. Dziękujemy Paulowi Wohlhartowi, Konstantinosowi Bousmalisowi, Danielowi Kapplerowi, Alexander Herzog, Anthony Brohan, Yao Lu, Chad Richards, Vincentowi Vanhoucke i Mrinalowi Kalakrishnanowi, Maxowi Braunowi i innym członkom zespołu Robotics at Google oraz Everyday Robot Project za cenne dyskusje i pomoc .

https://ai.googleblog.com/