Tanszéki konzulens: 

Mészáros Tamás docens Szoba: IE437 Tel.: +36 1 463-2899 Email: meszaros (*) mit * bme * hu

A feladat alapvetően önvezető járművekhez kapcsolódó, természetes nyelvű interfészek megvalósítását takarja. A lehetséges célok és kommunikációs módszerek feltérképezése után egy prototípus implementációt kell készíteni, amely szimulált környezetben valósít meg egy ilyen rendszert.

A feladat részletei

Járműveink, mozgó ipari és mezőgazdasági gépeink egyre nagyobb önállóságot kapnak. Kézi irányítású eszközökből önálló, kommunikációra képes intelligens ágensekké válnak, amelyek kapcsolatba kerülnek más önálló entitásokkal, köztük emberekkel is (utasokkal, vezetővel, gépkezelővel, járókelőkkel stb.). Ez az ember-gép kooperáció egy izgalmas, új területe, ahol a természetes nyelvű kommunikáció alapvető szerephez juthat. A feladatkiírás egyik fő célja ennek a területnek a feltérképezése, ötletes elképzelések kialakítása. A feladat részben hasonlít az okos otthonokban jelentkezőhöz, azonban itt az ember-gép kommunikáció és kooperáció új lehetőségei nyílnak meg azzal, hogy az ember a jármű belsejében ül, illetve szenzorikus adatokkal és be is bőven ellátott a környezete.

Sokféle célból, számos modalitást (képet, hangot, szöveges üzeneteket) felhasználva, változatos szereplői körrel készíthetünk ilyen rendszereket. A feladat egyrészt esettanulmányok (use-cases) összeállítása egy választott alkalmazási területen, másrészt egy prototípus implementáció elkészítése. Azt, hogy ez egy önvezető autó fedélzeti információs rendszere, vagy egy külső kommunikációs rendszer a veszélyesen közlekedő gyalogosok vagy kerékpárosok figyelmeztetésére, esetleg egy mezőgazdasági géppark irányítási és felügyeleti rendszerének a részét képezi, a jelentkezőre bízom.

A prototípus elkészítése során alapvetően a beérkező, természetes nyelvű mondatok feldolgozására koncentrálunk. Ennek egyik alapvető eleme ún. kontrollált természetes nyelvek használata, amelyeket az adott alkalmazás igényeinek megfelelően alakítunk ki. A munka másik lényegi összetevője egy szintaktikai elemző elkészítése (pl. az ANTLR eszközzel) a kidolgozott nyelvhez, amely a beérkező szövegek feldolgozását kezdi el. A harmadik részfeladat pedig a közlések értelmezésének kidolgozása az adott alkalmazási környezetnek megfelelően. További részletek mindezekről a természetes nyelvű interfészek feladatkiírásomban is olvashatók.

Érdekességképpen felmerülhet a beszéd/szöveg feldolgozása mellett képi információk (pl. gesztusok, arcminima, érzelmek, jellemző mozdulat) felismerése is, amelyek tovább színesíthetik az ember-gép kommunikációt (és a feladatot).

Szükséges kompetenciák - megszerezhető képességek

A feladat sikeres megoldásához alapvető programozói tudás (jellemzően Python, esetleg Java) szükséges, természetesnyelv-feldolgozási (NLP) algoritmusok és eszközök előzetes előismerete nem elvárt.

A megoldás kialakítása során gyakorlati ismeretek szerezhetők egyszerűbb NLP eszközök alkalmazásáról, nyelvi modellek kialakításáról és egy természetes nyelvű ember-gép interfész létrehozásáról.