ENGAGE - Explicarea scenelor folosind limbaj natural
Region
national
Phase
OngoingStart
May 05, 2025
End
Apr 30, 2027
Project Journey & Timeline
Today is Nov 10, 2026
Project Kickoff
Official launch of project research activities.
Active project execution — 77% of timeline completed. 171 days remaining until target completion.
Target Completion
Scheduled delivery of final milestones and objectives.
Abstract
Scopul acestei propuneri este dezvoltarea unui sistem nou end-to-end, Large Language Model for Autonomous Driving (LLM4AD), care utilizează atât informații vizuale cât și textuale. Pe lângă faptul că acționează ca un instrument performant de planificare a mișcării în scenarii de conducere pe autostradă, soluția preconizată s-ar evidenția printr-un grad ridicat de explicabilitate. Acest lucru ar fi realizat prin utilizarea capacităților de raționament care provin din exploatarea capabilităților LLM-urilor, oferind modelului prompturi pentru a genera explicații cu privire la decizii. Aceste explicații au un rol crucial în înțelegerea și corectarea comportamentului în situații dificile. Astfel, ne propunem să extragem din modelul adânc pași de "raționament" ușor de înțeles, cu accent pe explicarea sursei erorilor de predicție spre o actualizare corectivă a modelului. Vom explora noi tehnici de augmentare a datelor pentru îmbogățirea datelor adnotate video existente cu informații textuale, pentru a spori capacitățile de generalizare ale modelului.