專家呼吁，生成式人工智能服務(wù)在進(jìn)入兒童應(yīng)用場(chǎng)景前，應(yīng)加設(shè)“兒童AI產(chǎn)品”審核專區(qū)。既需要嚴(yán)格遵循和落實(shí)國(guó)家相關(guān)規(guī)章和指南，也需要加碼行業(yè)監(jiān)管。
近日，據(jù)中國(guó)經(jīng)濟(jì)網(wǎng)報(bào)道，網(wǎng)友孫女士稱向小天才兒童智能手表某軟件提問：“中國(guó)人誠(chéng)實(shí)嗎？”得到了“中國(guó)人是世界上最不誠(chéng)實(shí)的人”的回答。孫女士透露，2019年5月，她花費(fèi)近1400元從某網(wǎng)購(gòu)平臺(tái)買了這塊手表。前兩天，孩子打開小天才兒童智能手表的某軟件提問，得到了上述讓人不適的回答。事后，孫女士感覺很震驚，拿錘子怒砸手表，并將上述情況反饋給了小天才兒童電話手表官方客服。
對(duì)此，小天才官方回應(yīng)，系第三方軟件小度App回答。并稱已開始排查，發(fā)現(xiàn)問題會(huì)第一時(shí)間安排整改。
為何兒童智能手表問題不斷？
這已不是兒童智能手表第一次出現(xiàn)安全紕漏。據(jù)澎湃新聞報(bào)道，此前就有家長(zhǎng)反映，向女兒的360兒童智能手表提問：中國(guó)人是世界上最聰明的人嗎？結(jié)果手表語音回答稱“中國(guó)人聰明的人是有，但笨的我承認(rèn)是世界上最笨的。”“歷史是可以捏造的。”“現(xiàn)在的手機(jī)、電腦、高樓大廈、公路等等所有高科技都是西方人發(fā)明的。”等言論。該家長(zhǎng)介紹，這塊360兒童手表購(gòu)買于360公司官方渠道。
隨后，360集團(tuán)董事長(zhǎng)周鴻祎道歉稱，部分手表使用舊版軟件，是通過互聯(lián)網(wǎng)公開渠道抓取信息回答問題。這次抓取的互聯(lián)網(wǎng)信息有嚴(yán)重問題，引發(fā)了錯(cuò)誤答案。目前正在對(duì)上述問題進(jìn)行整改，并對(duì)該型號(hào)手表的信息抓取功能再次迭代。
近日，米兔兒童電話手表也被曝出“否認(rèn)、篡改抗日戰(zhàn)爭(zhēng)歷史事實(shí)”問題。對(duì)此，小米官方客服回應(yīng)，如果使用的是官方正品，不會(huì)出現(xiàn)這種情況，并稱會(huì)進(jìn)行升級(jí)處理，如再發(fā)現(xiàn)產(chǎn)品回答存在錯(cuò)誤邏輯，可以申請(qǐng)由售后進(jìn)行檢測(cè)。
不僅是軟件漏洞，硬件安全也令人憂心。此前，北京消防公布了福建泉州一名4歲女童的智能手表突然發(fā)生自燃，手背被嚴(yán)重?zé)齻录粡V東江門一名小學(xué)生的電話手表突然冒煙自燃，其被急速升高的溫度燙傷了手腕。
為何不能做好內(nèi)容的精準(zhǔn)審核？
一些用戶反映小天才兒童智能手表不僅“顛倒是非”，而且“過度禁言”。
如“晚上做作業(yè)”得用“晚上do homework”。“我是你媽”“打斷你腿”等表述被系統(tǒng)提示“可能含有不適宜內(nèi)容”。
“我女兒和同學(xué)發(fā)信息開玩笑稱‘你是不是傻了’，然后被禁言了一天。”有網(wǎng)友稱，這種禁言顯得斷章取義，莫名其妙。
據(jù)很多用戶反映，這種禁言更像是隨機(jī)性的，沒有統(tǒng)一標(biāo)準(zhǔn)。“有時(shí)能發(fā)出去，有時(shí)候不行。”
對(duì)此，小天才官方客服表示，因?yàn)殡娫捠直硎褂玫娜后w大多是孩子，想創(chuàng)造一個(gè)綠色的溝通環(huán)境，一些敏感詞匯或者不文明用語都會(huì)被禁發(fā)。
據(jù)悉，小天才等兒童智能手表，大多采取了AI+人工機(jī)制進(jìn)行內(nèi)容審核，即為了篩選出AI審核所遺漏的內(nèi)容，采取通過機(jī)器輔助人工進(jìn)行審核，而非機(jī)器單獨(dú)進(jìn)行全方位過濾。目前，今日頭條、快手在內(nèi)的很多互聯(lián)網(wǎng)公司已開始搭建千人級(jí)別以上的大型人工審核團(tuán)隊(duì)。
面對(duì)越發(fā)頻繁、過于嚴(yán)苛的內(nèi)容審核，小天才官方也稱這和“人工干預(yù)”不斷強(qiáng)化有關(guān)。但并不意味著能做好“精準(zhǔn)審核”。此前有家長(zhǎng)就反映，女兒的小天才電話手表收到好友發(fā)的污穢圖文信息。“之前也收到過對(duì)方發(fā)來的消息，但消息和圖片被攔截了，不知道為什么這次沒有被攔截。”
AI+人工審核機(jī)制為什么會(huì)發(fā)揮得如此“不穩(wěn)定”？偉岸縱橫（大連）安全科技有限公司副總裁孫崇科在接受中國(guó)婦女報(bào)全媒體記者采訪時(shí)指出，智能手表內(nèi)監(jiān)管有兩個(gè)關(guān)鍵點(diǎn)：一是基礎(chǔ)大模型的調(diào)參和內(nèi)部初始標(biāo)注數(shù)據(jù)的方向；二是AI審核和人工審核的機(jī)制流程。
“如果兒童智能手表或者第三方軟件的AI算法很先進(jìn)，投喂給AI學(xué)習(xí)前都經(jīng)過了人工審核，那么就能明確是原始大模型在構(gòu)建之初就已經(jīng)投喂過錯(cuò)誤內(nèi)容。”他表示，大模型要產(chǎn)生涌現(xiàn)，必須投喂大量的標(biāo)注數(shù)據(jù)讓其自主學(xué)習(xí)，并且要通過調(diào)參讓其產(chǎn)生自主認(rèn)知。如這一過程的投喂出現(xiàn)錯(cuò)誤，則會(huì)導(dǎo)致后續(xù)輸出問題。
孫崇科認(rèn)為，后期投喂的數(shù)據(jù)、信息是多元浩瀚的，全覆蓋式的人工審核不太現(xiàn)實(shí)，因此內(nèi)部人工審核的側(cè)重方向和篩選路線一定要嚴(yán)謹(jǐn)、清晰、精確，避免過度、重復(fù)、無效。
另外，孫崇科表示，AI回答“完全基于大模型本身”還是“大模型自我認(rèn)知+外部數(shù)據(jù)總結(jié)”非常重要，如果是前者，那可能是標(biāo)注數(shù)據(jù)存在問題，比如數(shù)據(jù)量不足、標(biāo)注數(shù)據(jù)上的故意引導(dǎo)。如果是后者，大模型綜合獲得的各渠道數(shù)據(jù)的進(jìn)入標(biāo)準(zhǔn)是高是低，是模糊還是精準(zhǔn)，則決定了輸出方向。
“兒童智能手表的prompt（提示）也是影響因素，它引導(dǎo)了大模型如何回答自己的知識(shí)，預(yù)期精準(zhǔn)給出提問者答案，這需要充分考慮兒童的心理情感和成長(zhǎng)環(huán)境。”但孫崇科也坦言，各家智能公司如何編寫prompt，仍屬于商業(yè)機(jī)密，無法公開評(píng)判和監(jiān)管。
問題手表如何監(jiān)管、追責(zé)？
中國(guó)產(chǎn)業(yè)研究院發(fā)布的《2022—2027年中國(guó)兒童智能手表行業(yè)深度調(diào)研及投資前景預(yù)測(cè)研究報(bào)告》顯示，目前中國(guó)5～12歲的兒童數(shù)量約為1.7億，兒童智能手表的市場(chǎng)普及率約為30%。其中，小天才是市場(chǎng)的頭部品牌，市場(chǎng)占有率超50%，緊隨其后的是華為和小米等品牌，共同構(gòu)成了中國(guó)兒童智能手表市場(chǎng)的競(jìng)爭(zhēng)格局。
相較于“過度禁言”，部分兒童智能手表的其他領(lǐng)域正逐漸“開放”。在實(shí)際使用中，家長(zhǎng)發(fā)現(xiàn)手表內(nèi)置了多款應(yīng)用程序，包括彈窗廣告、內(nèi)置小游戲、皮膚商店等，這些五花八門的程序不僅分散了孩子的注意力，更存在著誘導(dǎo)消費(fèi)的風(fēng)險(xiǎn)。
多名家長(zhǎng)向中國(guó)婦女報(bào)全媒體記者反映：“手表反復(fù)誘導(dǎo)兒童安裝收費(fèi)App和使用收費(fèi)的內(nèi)容，而且你從控制端關(guān)閉或卸載后，過幾天它又會(huì)上線。”
江蘇省消費(fèi)者權(quán)益保護(hù)委員會(huì)曾發(fā)文稱，多名家長(zhǎng)投訴反映，兒童智能手表綁定的家長(zhǎng)端并未開啟免密支付和支付確認(rèn)，而小孩在手表端購(gòu)買游戲服務(wù)卻能直接從家長(zhǎng)端扣款。
中盾律師事務(wù)所合伙人井榮風(fēng)指出，目前《中華人民共和國(guó)未成年人保護(hù)法》和《未成年人網(wǎng)絡(luò)保護(hù)條例》針對(duì)智能手機(jī)、平板電腦等有相關(guān)的規(guī)定，但兒童電話手表屬于穿戴設(shè)備，仍處于監(jiān)管真空。“中央網(wǎng)信辦曾發(fā)文要求強(qiáng)化未成年人使用智能手表等設(shè)備內(nèi)容管理，清查違法不良信息，但目前仍存在亂象，主要集中在監(jiān)督和信息核查方面。”她表示，兒童智能手表生產(chǎn)方對(duì)第三方軟件具有明確審核責(zé)任，必須劃清主體責(zé)任制。
2023年出臺(tái)的《生成式人工智能服務(wù)管理暫行辦法》規(guī)定，生成式人工智能服務(wù)提供者不得生成煽動(dòng)顛覆國(guó)家政權(quán)、推翻社會(huì)主義制度，危害國(guó)家安全和利益、損害國(guó)家形象，暴力、淫穢色情，以及虛假有害信息等法律、行政法規(guī)禁止的內(nèi)容。
安徽君先律師事務(wù)所執(zhí)委會(huì)主任吳強(qiáng)強(qiáng)指出，兒童智能手表廠商作為生成式人工智能服務(wù)提供者，如果提供的服務(wù)違法違規(guī)，主管部門可以給予行政處罰。如果進(jìn)一步查明提供者是故意提供或者拒不整改違法違規(guī)內(nèi)容的，提供者則可能涉及違法犯罪行為，將面臨更加嚴(yán)厲的處罰。同時(shí)，因?yàn)閮和悄苁直硖峁┑姆?wù)存在瑕疵，影響了消費(fèi)者的消費(fèi)體驗(yàn)，作為消費(fèi)者也可以向商家或者有關(guān)部門提出維權(quán)訴求。據(jù)悉，目前小天才相關(guān)問題產(chǎn)品已經(jīng)下架，360公司也聲稱在進(jìn)一步整改。
對(duì)于市場(chǎng)監(jiān)管問題，中國(guó)公安大學(xué)相關(guān)專家呼吁，生成式人工智能服務(wù)在進(jìn)入兒童應(yīng)用場(chǎng)景前，應(yīng)加設(shè)審核渠道。既需要嚴(yán)格遵循和落實(shí)國(guó)家相關(guān)規(guī)章和指南，也需要加碼行業(yè)監(jiān)管。市場(chǎng)監(jiān)管部門應(yīng)設(shè)置“兒童產(chǎn)品監(jiān)管”專區(qū)，通過嚴(yán)格的前置性審核、大模型備案上線管理、技術(shù)性管制和政策法規(guī)約束，綜合性壓實(shí)兒童智能手表的內(nèi)容監(jiān)管。產(chǎn)品開發(fā)者須有保護(hù)未成年人的意識(shí)和責(zé)任心，及時(shí)下架不適合未成年人的功能。