用于大模型的首批中文基礎語料庫發(fā)布

　　中新網北京12月21日電 中國網絡空間安全協(xié)會人工智能安全治理專業(yè)委員會20日在北京召開發(fā)布會，面向社會發(fā)布用于大模型的首批中文基礎語料庫。

　　據(jù)悉，網安協(xié)會人工智能安全治理專委會會同國家權威機構，發(fā)揮企業(yè)、高校和科研單位協(xié)同優(yōu)勢，通過“共建－共享”機制，匯聚一批高質量可信數(shù)據(jù)，經過去重、過濾等技術手段，形成并對社會發(fā)布首批120G中文基礎語料，包括1億余條數(shù)據(jù)，500億個token。用戶登錄中國網絡空間安全協(xié)會網站，點擊“中文基礎語料庫”鏈接，通過注冊、認證等程序，就能夠下載相關語料。

　　網安協(xié)會人工智能安全治理專委會負責人表示，語料庫建設是一項長期性、專業(yè)性的工作，需要遵循相應法規(guī)、標準和規(guī)范，需要合力共建、突破創(chuàng)新，推動形成科學有效的語料庫匯聚、處理、使用機制，為國家人工智能技術創(chuàng)新和產業(yè)發(fā)展賦能。

　　來自專委會成員單位、大模型備案機構和相關領域科研、企業(yè)、社會組織代表近100人參加發(fā)布會。