一、什么是數(shù)據(jù)標(biāo)注

首先談?wù)勈裁词菙?shù)據(jù)標(biāo)注。數(shù)據(jù)標(biāo)注有許多類型，如分類、畫框、注釋、標(biāo)記等等，我們會(huì)在下面詳談。要理解數(shù)據(jù)標(biāo)注，得先理解AI其實(shí)是部分替代人的認(rèn)知功能?；叵胍幌挛覀兪侨绾螌W(xué)習(xí)的，例如我們學(xué)習(xí)認(rèn)識(shí)蘋果，那么就需要有人拿著一個(gè)蘋果到你面前告訴你，這是一個(gè)蘋果。然后以后你遇到了蘋果，你才知道這玩意兒叫做“蘋果”。類比機(jī)器學(xué)習(xí)，我們要教他認(rèn)識(shí)一個(gè)蘋果，你直接給它一張?zhí)O果的圖片，它是完全不知道這是個(gè)啥玩意的。我們得先有蘋果的圖片，上面標(biāo)注著“蘋果”兩個(gè)字，然后機(jī)器通過學(xué)習(xí)了大量的圖片中的特征，這時(shí)候再給機(jī)器任意一張?zhí)O果的圖片，它就能認(rèn)出來了。這邊可以順帶提一下訓(xùn)練集和測(cè)試集的概念。訓(xùn)練集和測(cè)試集都是標(biāo)注過的數(shù)據(jù)，還是以蘋果為例子，假設(shè)我們有1000張標(biāo)注著“蘋果”的圖片，那么我們可以拿900漲作為訓(xùn)練集，100張作為測(cè)試集。機(jī)器從900張?zhí)O果的圖片中學(xué)習(xí)得到一個(gè)模型，然后我們將剩下的100張機(jī)器沒有見過的圖片去給它識(shí)別，然后我們就能夠得到這個(gè)模型的準(zhǔn)確率了。想想我們上學(xué)的時(shí)候，考試的內(nèi)容總是不會(huì)和我們平時(shí)的作業(yè)一樣，也只有這樣才能測(cè)試出學(xué)習(xí)的真正效果，這樣就不難理解為什么要?jiǎng)澐忠粋€(gè)測(cè)試集了。

我們知道機(jī)器學(xué)習(xí)分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。無監(jiān)督學(xué)習(xí)的效果是不可控的，常常是被用來做探索性的實(shí)驗(yàn)。而在實(shí)際產(chǎn)品應(yīng)用中，通常使用的是有監(jiān)督學(xué)習(xí)。有監(jiān)督的機(jī)器學(xué)習(xí)就需要有標(biāo)注的數(shù)據(jù)來作為先驗(yàn)經(jīng)驗(yàn)。

在進(jìn)行數(shù)據(jù)標(biāo)注之前，我們首先要對(duì)數(shù)據(jù)進(jìn)行清洗，得到符合我們要求的數(shù)據(jù)。數(shù)據(jù)的清洗包括去除無效的數(shù)據(jù)、整理成規(guī)整的格式等等。具體的數(shù)據(jù)要求可以和算法人員確認(rèn)。

二、常見的幾種數(shù)據(jù)標(biāo)注類型

1.分類標(biāo)注：分類標(biāo)注，就是我們常見的打標(biāo)簽。一般是從既定的標(biāo)簽中選擇數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽，是封閉集合。如下圖，一張圖就可以有很多分類/標(biāo)簽：成人、女、黃種人、長(zhǎng)發(fā)等。對(duì)于文字，可以標(biāo)注主語(yǔ)、謂語(yǔ)、賓語(yǔ)，名詞動(dòng)詞等。