Helaas kunnen we in videobeelden niet zoeken naar gebaren of zinnen. Voor de computer zijn videobeelden gewoon een heleboel pixels op het scherm, zonder inhoud. Het is daarom nodig dat opnames met de hand worden vertaald en getranscribeerd. Gebaar voor gebaar, zin voor zin. Dit kost verschrikkelijk veel tijd, maar als het goed gebeurt kan er heel interessant onderzoek mee gedaan worden. Door bijvoorbeeld te zoeken naar alle zinnen waarin een bepaald gebaar voorkomt (bv. OP-BEZOEK-GAAN), kan vastgesteld worden of dit in de Nederlandse Gebarentaal ook een werkwoord is, of het altijd vervoegd wordt, enzovoorts. Ook kan zo onderzoek gedaan worden naar verschillen tussen regio’s of tussen personen; niet iedereen gebaart op precies dezelfde manier. De software die voor annotatie gebruikt wordt heet ELAN. Hierin wordt een stukje tekst (een annotatie) gekoppeld aan een specifiek fragment in een filmpje. Afhankelijk van het gebaar en de snelheid van gebaren, verwijst zo’n annotatie soms naar een heel klein stukje van een filmpje, tot minder dan een seconde, en soms naar een stuk van meerdere seconden. Ook kan de duur van gebaren en de lengte van zinnen achteraf berekend worden met behulp van annotaties.
Hoewel annotaties voor onderzoek cruciaal zijn, wil dat niet zeggen dat de filmpjes geen eigen waarde hebben. Voor andere doeleinden dan corpusonderzoek kan het nuttig zijn filmpjes met elkaar te vergelijken. Onderzoek begint meestal met goed naar filmpjes te kijken, en te observeren wat er gebeurt. Pas als duidelijk is wat er precies aan de hand is, worden er annotaties gemaakt. Naast gebruik in onderzoek kunnen filmpjes ook gebruikt worden in het onderwijs. Sommige corpora, zoals het Corpus NGT, zijn (deels) publiek toegankelijk, opdat de filmpjes ook gewoon voor ieders plezier bekeken kunnen worden.