大語言模型中的涌現現象是不是偽科學？
Datawhale干貨
作者：平凡@知乎，諾桑比亞大學，在讀博士
今天晚上，花了一點兒時間看了兩篇文章：
(相關資料圖)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現現象。
大規(guī)模神經網絡下的涌現現象在機器學習中使用大規(guī)模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規(guī)模神經網絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規(guī)模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發(fā)現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發(fā)現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少，但是系統的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf標簽：
推薦
財富更多》
-
手握60億元人參卻發(fā)不出工資，“人參之王”咋啦？
手握60億元人參卻發(fā)不出工資，“人參之...
-
熱威電熱過會：今年IPO過第143家 海通證券過11.5單_當前速訊
熱威電熱過會：今年IPO過第143家海通證...
-
世界消息！正恒動力過會：今年IPO過關第145家 東吳證券過5單
正恒動力過會：今年IPO過關第145家東吳...
-
潤際新材過會：今年IPO過關第144家 長江保薦過4單
潤際新材過會：今年IPO過關第144家長江...
-
環(huán)球動態(tài):斗魚美股跌6.48%
斗魚美股跌6 48%---中國經濟網北京6月1...
動態(tài)更多》
熱點
- realme10系列正式宣布 采用雙曲面屏正面頂部居中挖孔
- 五菱全新微型電動車內飾官圖發(fā)布 座椅采用星際形打孔工藝
- 努比亞Z40星空典藏版正式開售 采用微米級油畫筆觸紋理技術
- iQOO11系列正式官宣 首批搭載驍龍8Gen2機型之一
- 海信34英寸帶魚屏顯示器發(fā)布 支持165Hz刷新率
- OPPO明年將商用240W超級閃充 新一代電芯支持更高倍率充電
- 第一款Android手機渲染圖曝光 橫向滑蓋設計和全尺寸鍵盤
- 吉利首款純電皮卡11月9日上市 車輛續(xù)航里程超過610公里
- 努比亞Z40SPro星空典藏版正式公布 堪稱窄邊框天花板
- vivo無線運動耳機2今日正式上市 首銷只要119元
- 肌酐高吃什么能降下來(肌酐高可以吃哪些水果來降肌酐?)|快播報
- 約基奇23+12戈登27分 掘金力克熱火3-1奪冠軍點 當前快播
- 每日快報!王力宏方發(fā)聲否認李靚蕾在美國勝訴
- 樂平：科技大棚 增產增收 當前信息
- 全球短訊！杭州小學生查“學習資料”，一下花掉媽媽10萬元...緊急提醒！
- Zen5加持！AMD銳龍8000桌面APU曝光：集顯把入門卡虐成炮灰 當前資訊
- 世界動態(tài):做醪糟用什么米(做醪糟用什么米)
- 世界百事通！德云社違反衛(wèi)生管理， 未取得衛(wèi)生許可證被罰3萬
- 湖北省地方金融監(jiān)督管理局黨組書記、局長段銀弟接受審查調查
- 謝暉或遭足協追罰？怒懟球迷可以理解，大連足球底蘊已喪失殆盡
- 焦點消息！青龍圖騰淮上講的什么(青龍圖騰誰先喜歡誰)
- 日本推出知識產權推進計劃 將探討生成式 AI 必要管理的措施
- OpenAI首席執(zhí)行官同韓總統會面：建議韓國增加系統芯片產能 放寬規(guī)制營造AI生態(tài)系統
- “高考劣質筆”事件內情 短訊
- 歐陽靖維護歐陽娜娜：跟她合作絕對是我的榮幸
- 延安市人民醫(yī)院順利完成2023年醫(yī)師資格實踐技能陜北片區(qū)考試任務
- 機會僅一次！曝皇馬對凱恩下最后通牒：施壓熱刺，降5000萬來投
- AI前哨 | Open AI聯合創(chuàng)始人Sam AItman：目前開源不是最佳路徑-全球微動態(tài)
- 虞書欣方否認與吳建豪戀情：不再陷入自證危機
- 新突破、國際首次 中國科學技術領域成果頻出 當前熱聞
- 世界報道:長安大學學子以“三色”模式助力陜西鄉(xiāng)村振興
- 世界熱點！極目時評丨環(huán)衛(wèi)母親與高考兒子相擁而泣刷屏，普通人改變命運的努力打動人心
- 2023中國（山東）消費品供應鏈生態(tài)大會在濟隆重舉行|當前資訊
- 焦點信息:沃格爾：執(zhí)教杜蘭特和執(zhí)教詹姆斯很相似 那是一種合作關系
- 英偉達人工智能軟件存在安全漏洞 可被操控泄露個人信息
- 熱點聚焦：蘋果Epic對決或重燃：雙方均申請重新審議判決
- “牽手門”連衣裙月銷4000+ 賣家呼吁理性消費！
- 年內定增募資排行榜：7家公司募資超百億元
- 《潛行者2》確認不參加6月的Xbox發(fā)布會
- 回歸廣東，28歲林高遠上任新崗位，提拔亮相，王皓馬琳送祝福_世界看熱訊
- 中國5月狹義乘用車零售預計達173.0萬輛 新能源車銷量達58.0萬輛
- 當前熱點-陜西發(fā)布高校畢業(yè)生就業(yè)創(chuàng)業(yè)政策服務指南
- 數字化是方向——打造數字孿生是謀劃縣鄉(xiāng)發(fā)展的現實契機（十九）
- 世界微速訊：昔日荒山變?yōu)樾腋！敖鹕健?桃園變成農民增收“致富園”
- 羅馬尼亞vs斯洛文尼亞時間？
- 天天微速訊：扎克伯格評蘋果MR新品：價格是自家產品的7倍 但沒看到什么突破
- 微速訊：宋奇英
- 紅寶石電解電容_康富松電解電容
- 各地稅務部門不斷優(yōu)化服務 前5個月新辦涉稅經營主體643.5萬戶
- 環(huán)球今熱點：高考結束，河南多家景區(qū)發(fā)布免票、優(yōu)惠政策
- 蘋果的定位服務有什么用_蘋果定位服務有什么用簡介介紹 全球微頭條
- 每日視訊：10度穿什么衣服男_10度穿什么
- 科三考試燈光操作語音播報_科三考試燈光操作
- 天天動態(tài):本賽季季后賽至今波普總共代表掘金出場18次
- 中國平安運動意外險怎么樣？怎么買？
- 世界今亮點！意外險需要什么材料去報銷？報銷比例是多少？
- 最新：夜幕下，一個群體帶動城市消費新熱潮
- 一周鋼廠動態(tài)匯總（6月5日-6月9日）|世界獨家
- 當前消息！搜救犬被確診淋巴瘤晚期，主人帶它最后一次出門，小鎮(zhèn)居民集體出動陪它散步向它告別
- 歷時100天，180余項活動陸續(xù)開展，長春消夏藝術節(jié)盛大啟幕
- 斗羅：史萊克四美都美出新高度，唐三和小舞結婚一吻，也太甜了_今日快看
- 長春經濟圈環(huán)線高速項目再獲新突破_世界聚焦
- 信通萬物 提質賦能——第31屆中國國際信息通信展覽會觀察 當前聚焦
- 經濟日報金觀平：中國吸引跨國公司的不單是大市場
- 【焦點熱聞】西安高新區(qū)2023“文化和自然遺產日”主題活動啟動
- IDC：聯想服務器連續(xù)三季度全球第三_環(huán)球今日訊
- 全球通訊！多措并舉促進應屆高校畢業(yè)生就業(yè) 網絡招聘活動忙
- 每日快看：新突破、國際首次 中國科學技術領域成果頻出
- 夜幕下，一個群體帶動城市消費新熱潮
- 冬天的花有哪些？你都見過嗎？
- 關于鐵路計次票、定期票 如何購買使用
- 沃格爾：未來幾年我們都可以去爭冠 這是太陽最好的時代_天天速看料
- 國產榴蓮要來了！海南首批國產榴蓮預計6月上市_天天快資訊
- 陜西西安推動“十里灃河”文旅深度融合 古老灃河涌動新活力-全球觀點
- 全球短訊！暗黑4專注之威能介紹
- 當前視訊！這個小城培育發(fā)展新業(yè)態(tài) “平羅八點半”夜經濟啟動
- 血腥風格銀河惡魔城新作《Cookie Cutter》實機預告賞
- 暗黑4穩(wěn)壓威能介紹 焦點精選
- 前五個月全國累計新辦涉稅經營主體643.5萬戶
- 當前滾動:八村塁要8000萬加首發(fā)位置 不保證續(xù)約湖人 離開詹姆斯打快樂籃球
- 首發(fā)價39999元 三星發(fā)布98英寸Q80Z巨幕電視：送電視、手機 當前要聞
- 廣州市2023年普通高考感謝信 焦點熱門
- 【文體市場面面觀】“兩個效益”彰顯文化企業(yè)使命擔當
- 中經評論：以“村BA”點燃鄉(xiāng)村活力_天天觀點
- 國產最大盾構主軸承“破壁者”面世
- 蒼穹巨靈·內蒙古篇 看點
- 環(huán)球動態(tài):斗魚美股跌6.48%
- 無錫堰橋：馳而不息 繪就“人水和諧”新圖景
- 這一哭 全世界都對不起她了？
- 焦點快報!排列三2023151期漁王網三預測
- 哈維爾被喊下課卻獲海港內部力挺：我們很有凝聚力 環(huán)球頭條
- 觀焦點：名宿：國米具備戰(zhàn)勝曼城所需的所有素質，小因的戰(zhàn)術克制瓜迪奧拉
- 金山云美股漲7.72%-環(huán)球熱文
- 今日熱訊：中方駁斥：無中生有、信口雌黃、惡意詆毀！
- 專訪《米體》王牌記者：國米拿什么擊敗曼城？|全球視訊
- 中國商業(yè)航天發(fā)展大會聚焦商業(yè)航天產業(yè)發(fā)展
- 2023款全新瑞邁重塑入門級皮卡天花板，江西五十鈴產品線煥新再出王牌
- 2023款全新瑞邁重塑入門級皮卡天花板，江西五十鈴產品線煥新再出王牌
- 谷歌錢包超越蘋果錢包了嗎？3項很酷的新功能反殺
- 最后三天！魅族無界即將降臨，行業(yè)外觀的新標桿來了
- 世界速讀：金觀平：中國吸引跨國公司的不單是大市場
- 全國已收獲冬小麥面積2.04億畝——“三夏”機收快速推進 每日熱議
- 西藏實施質量強區(qū)戰(zhàn)略-視訊
- 【天天播資訊】認準這些高校！2023年山東具有普通高等學歷教育招生資格高校名單
- 【文體市場面面觀】“兩個效益”彰顯文化企業(yè)使命擔當 每日消息
- 天天要聞：進一步提振民間投資信心
- 快來參與！2023年“好網民·在淄博”優(yōu)秀故事開始征集！
- 今起，12306上線新功能！|環(huán)球熱議
- 微軟、谷歌測試人工智能搜索廣告的策略激怒廣告主
- 政府專項補貼會計分錄（收到政府補貼會計分錄）|焦點播報
- 當前頭條：大林寺桃花拼音版帶拼音（大林寺桃花拼音版）
- 資訊：科學排雷 | 近視了戴眼鏡，度數會加深嗎
- 速訊：名義利率實際利率計算（名義利率和實際利率的區(qū)別）
- 生活中的小數手抄報資料圖片（生活中的小數手抄報資料）
- 談笑江湖下載（談笑江湖）
- 全球資訊：多輪對話、邏輯和數學能力升級，訊飛星火大模型V1.5發(fā)布 | 科技前線
- 筆記本電腦老是重啟什么原因 環(huán)球報資訊
- 俄羅斯公布全新國產PC電腦 全球速訊
- 世界動態(tài):非自然死亡下載百度網盤（非自然死亡百度云網盤）
- be aware of什么意思（be aware of） 世界報道
- by thr end of的用法（by the end of 用法例句）
- 第二十五屆上海國際電影節(jié)開幕 紅毯群星閃耀_當前熱門
- 環(huán)球焦點！圖靈獎得主楊立昆：AI的邏輯推理和規(guī)劃能力有限，會犯事實錯誤和邏輯錯誤
- 證監(jiān)會：引導基金投顧業(yè)務服務于滿足居民多樣化養(yǎng)老需要 環(huán)球信息
- 環(huán)球速看：第十九屆文博會觀察：“好客山東好品山東”受關注
- 全球熱文：馬云微博直播間（馬云微博）
- 全世界還有誰比我們還絕配求歌名_全世界還有誰比我們還絕配是什么歌？ 世界動態(tài)
- 呼吸閥工作原理動畫圖（呼吸閥工作原理動畫）
- 當前熱點-醫(yī)療器械毒性檢驗，醫(yī)療器械微生物檢測
- 三尸腦神丹是誰發(fā)明的_三尸腦神丹
- 古迦奧特曼_古迦
- 江南文化名鎮(zhèn)石湫_關于江南文化名鎮(zhèn)石湫簡述
- ullike脫毛儀_ul li 資訊
- 天天熱訊:【KARDS】如何下載手游客戶端及綁定電腦端賬戶（圖文）
- 每日焦點！白俄羅斯進口鉀肥專列抵達河南鄭州