文本描述
ChatGPT 璋冪爺鎶ュ憡
锛堜粎渚涘唴閮ㄥ弬鑰冿級
鍝堝皵婊ㄥ伐涓氬ぇ瀛?
鑷劧璇█澶勭悊鐮旂┒鎵�锛圚IT-NLP锛?
2023 骞?3 鏈?6 鏃hatGPT 璋冪爺鎶ュ憡
搴忚█
2022 骞?11 鏈?30 鏃ワ紝OpenAI 鎺ㄥ嚭鍏ㄦ柊鐨勫璇濆紡閫氱敤浜哄伐鏅鸿兘宸ュ叿鈥斺�?
ChatGPT銆侰hatGPT琛ㄧ幇鍑轰簡闈炲父鎯婅壋鐨勮瑷�鐞嗚В銆佺敓鎴愩�佺煡璇嗘帹鐞嗚兘鍔涳紝
瀹冨彲浠ュ緢濂藉湴鐞嗚В鐢ㄦ埛鎰忓浘锛屽仛鍒版湁鏁堢殑澶氳疆娌熼�氾紝骞朵笖鍥炵瓟鍐呭瀹屾暣銆侀噸
鐐规竻鏅般�佹湁姒傛嫭銆佹湁閫昏緫銆佹湁鏉＄悊銆侰hatGPT涓婄嚎鍚庯紝5 澶╂椿璺冪敤鎴锋暟楂樿揪
100 涓囷紝2 涓湀娲昏穬鐢ㄦ埛鏁板凡杈? 1 涓嚎锛屾垚涓哄巻鍙蹭笂澧為暱鏈�蹇殑娑堣垂鑰呭簲鐢?
绋嬪簭銆傞櫎浜嗚骞垮ぇ鐢ㄦ埛杩芥崸澶栵紝ChatGPT杩樺彈鍒颁簡鍚勫浗鏀垮簻銆佷紒涓氱晫銆佸
鏈晫鐨勫箍娉涘叧娉紝浣夸汉浠湅鍒颁簡瑙ｅ喅鑷劧璇█澶勭悊杩欎竴璁ょ煡鏅鸿兘鏍稿績闂鐨?
涓�鏉″彲鑳界殑璺緞锛屽苟琚涓哄悜閫氱敤浜哄伐鏅鸿兘杩堝嚭浜嗗潥瀹炵殑涓�姝ワ紝灏嗗鎼滅储寮?
鎿庢瀯鎴愬法澶х殑鎸戞垬锛岀敋鑷冲皢鍙栦唬寰堝浜虹殑宸ヤ綔锛屾洿灏嗛瑕嗗緢澶氶鍩熷拰琛屼笟銆?
鍝堝伐澶ц嚜鐒惰瑷�澶勭悊鐮旂┒鎵�缁勭粐澶氫綅鑰佸笀鍜屽悓瀛︽挵鍐欎簡鏈皟鐮旀姤鍛婏紝浠?
鎶�鏈師鐞嗐�佸簲鐢ㄥ満鏅�佹湭鏉ュ彂灞曠瓑鏂归潰瀵?ChatGPT 杩涜浜嗗敖閲忚灏界殑浠嬬粛
鍙婃�荤粨銆?
鏈姤鍛婁粎渚涘唴閮ㄥ弬鑰冦�?
涓昏缂栨挵浜哄憳
绗竴绔犵敱杞︿竾缈斻�佹潹娌愭榾銆佸紶浼熺敺銆佽档濡嶅銆佸啹楠侀獘銆佸瓩鎵挎澃銆佹潕浣虫湅缂?
鍐欙紱绗簩绔犵敱寮犱紵鐢枫�侀殝鍏镐集銆侀珮缈犺姼銆佹湵搴嗙銆佹潕鏄庤揪銆佺帇闆澗缂栧啓锛涚
涓夌珷鐢卞垬閾�佹湵鑱収銆佹堡姝ユ床缂栧啓锛涚鍥涚珷鐢卞緪姘镐笢銆侀珮缈犺姼銆佹湵搴嗙缂栧啓锛?
绗簲绔犵敱鏉ㄦ矏鏄�銆佸紶浼熺敺銆侀煩涓�銆佸簞瀛愬涧缂栧啓锛涚鍏珷鐢遍殝鍏镐集銆侀珮缈犺姼缂?
鍐欙紱绗竷绔犵敱杞︿竾缈斻�佸垬閾紪鍐欍�傚弬涓庡悇绔犲鏍″伐浣滅殑杩樻湁锛氬磾涓�楦ｃ�佸緪蹇?
鏄庣瓑銆?
鎶ュ憡鏁翠綋鐢辫溅涓囩繑缁熺ǹ銆?
2 ChatGPT 璋冪爺鎶ュ憡
鐩綍
绗竴绔? ChatGPT 鐨勮儗鏅笌鎰忎箟6
1.1 鑷劧璇█澶勭悊鐨勫彂灞曞巻鍙?. . . . . . . . . . . . . . . . . . . . 6
1.2 澶ц妯￠璁粌璇█妯″瀷鐨勬妧鏈彂灞曞巻绋? . . . . . . . . . . . . . 8
1.3 ChatGPT 鎶�鏈彂灞曞巻绋?. . . . . . . . . . . . . . . . . . . . . 8
1.3.1 ChatGPT 鐨勭浉鍏虫妧鏈? . . . . . . . . . . . . . . . . . . 10
1.3.2 ChatGPT 鎶�鏈彂灞曡剦缁滅殑鎬荤粨 . . . . . . . . . . . . . 11
1.3.3 ChatGPT 鐨勬湭鏉ユ妧鏈彂灞曟柟鍚? . . . . . . . . . . . . . 12
1.4 ChatGPT 鐨勪紭鍔夸笌鍔ｅ娍 . . . . . . . . . . . . . . . . . . . . . 13
1.4.1 ChatGPT 鐨勪紭鍔? . . . . . . . . . . . . . . . . . . . . . 13
1.4.2 ChatGPT 鐨勫姡鍔? . . . . . . . . . . . . . . . . . . . . . 15
1.5 ChatGPT 鐨勫簲鐢ㄥ墠鏅?. . . . . . . . . . . . . . . . . . . . . . 16
1.5.1 鍦ㄤ汉宸ユ櫤鑳借涓氱殑搴旂敤鍓嶆櫙鍙婂奖鍝? . . . . . . . . . . . 17
1.5.2 鍦ㄥ叾浠栬涓氱殑搴旂敤鍓嶆櫙鍙婂奖鍝?. . . . . . . . . . . . . . 17
1.6 ChatGPT 甯︽潵鐨勯闄╀笌鎸戞垬 . . . . . . . . . . . . . . . . . . 19
绗簩绔? ChatGPT 鐩稿叧鏍稿績绠楁硶 24
2.1 鍩轰簬 Transformer 鐨勯璁粌璇█妯″瀷 . . . . . . . . . . . . . . 24
2.1.1 缂栫爜棰勮缁冭瑷�妯″瀷锛圗ncoder-only Pre-trained Mod-
els锛?. . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.1.2 瑙ｇ爜棰勮缁冭瑷�妯″瀷锛圖ecoder-only Pre-trained Mod-
els锛?. . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.1.3 鍩轰簬缂栬В鐮佹灦鏋勭殑棰勮缁冭瑷�妯″瀷锛圗ncoder-decoder
Pre-trained Models锛?. . . . . . . . . . . . . . . . . . 28
2.2 鎻愮ず瀛︿範涓庢寚浠ょ簿璋? . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.1 鎻愮ず瀛︿範姒傝堪 . . . . . . . . . . . . . . . . . . . . . . . 30
3ChatGPT 璋冪爺鎶ュ憡
2.2.2 ChatGPT 涓殑鎸囦护瀛︿範 . . . . . . . . . . . . . . . . . 31
2.3 鎬濈淮閾撅紙Chain of Thought锛孋OT锛? . . . . . . . . . . . . . . 32
2.4 鍩轰簬浜虹被鍙嶉鐨勫己鍖栧涔狅紙Reinforcement Learning with Hu-
man Feedback锛孯LHF锛?. . . . . . . . . . . . . . . . . . . . 33
绗笁绔? 澶фā鍨嬭缁冧笌閮ㄧ讲 35
3.1 澶фā鍨嬪苟琛岃绠楁妧鏈? . . . . . . . . . . . . . . . . . . . . . . . 35
3.2 骞惰璁＄畻妗嗘灦 . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.3 妯″瀷閮ㄧ讲 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3.1 棰勮缁冩ā鍨嬮儴缃茬殑鍥伴毦. . . . . . . . . . . . . . . . . . 40
3.3.2 閮ㄧ讲妗嗘灦鍜岄儴缃插伐鍏? . . . . . . . . . . . . . . . . . . . 41
3.3.3 閮ㄧ讲鎶�鏈拰浼樺寲鏂规硶 . . . . . . . . . . . . . . . . . . . 43
3.4 棰勮缁冩ā鍨嬬殑鍘嬬缉 . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.1 妯″瀷鍘嬬缉鏂规姒傝堪 . . . . . . . . . . . . . . . . . . . . 45
3.4.2 缁撴瀯鍖栨ā鍨嬪帇缂╃瓥鐣? . . . . . . . . . . . . . . . . . . . 45
3.4.3 闈炵粨鏋勫寲妯″瀷鍘嬬缉绛栫暐. . . . . . . . . . . . . . . . . . 46
3.4.4 妯″瀷鍘嬬缉灏忕粨 . . . . . . . . . . . . . . . . . . . . . . . 46
绗洓绔? ChatGPT 鐩稿叧鏁版嵁闆? 48
4.1 棰勮缁冩暟鎹泦 . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.1.1 鏂囨湰棰勮缁冩暟鎹泦 . . . . . . . . . . . . . . . . . . . . 48
4.1.2 浠ｇ爜棰勮缁冩暟鎹泦 . . . . . . . . . . . . . . . . . . . . 50
4.2 浜哄伐鏍囨敞鏁版嵁瑙勮寖鍙婄浉鍏虫暟鎹泦 . . . . . . . . . . . . . . . . . 52
4.2.1 鎸囦护寰皟宸ヤ綔娴佺▼鍙婃暟鎹泦鏋勫缓鏂规硶. . . . . . . . . . 53
4.2.2 甯歌鐨勬寚浠ゅ井璋冩暟鎹泦. . . . . . . . . . . . . . . . . . 53
4.2.3 鏋勫缓鎸囦护寰皟鏁版嵁闆嗙殑鍏抽敭闂 . . . . . . . . . . . . . 54
绗簲绔? 澶фā鍨嬭瘎浠锋柟娉?59
5.1 妯″瀷璇勪环鏂瑰紡 . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.1.1 浜哄伐璇勪环. . . . . . . . . . . . . . . . . . . . . . . . . 59
5.1.2 鑷姩璇勪环. . . . . . . . . . . . . . . . . . . . . . . . . 60
5.2 妯″瀷璇勪环鎸囨爣 . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
5.2.1 鍑嗙‘鎬? . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
5.2.2 涓嶇‘瀹氭�? . . . . . . . . . . . . . . . . . . . . . . . . . 63
5.2.3 鏀诲嚮鎬? . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4 ChatGPT 璋冪爺鎶ュ憡
5.2.4 姣掑鎬? . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.2.5 鍏钩鎬т笌鍋忚鎬?. . . . . . . . . . . . . . . . . . . . . . 65
5.2.6 椴佹鎬? . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.2.7 楂樻晥鎬? . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.3 妯″瀷璇勪环鏂规硶灏忕粨 . . . . . . . . . . . . . . . . . . . . . . . . 68
绗叚绔? 鐜版湁澶фā鍨嬪強瀵硅瘽寮忛�氱敤浜哄伐鏅鸿兘绯荤粺 69
6.1 鐜版湁澶фā鍨嬪姣?. . . . . . . . . . . . . . . . . . . . . . . . . . 69
6.2 瀵硅瘽寮忛�氱敤浜哄伐鏅鸿兘绯荤粺璋冪爺 . . . . . . . . . . . . . . . . . . 72
6.2.1 瀵硅瘽寮忛�氱敤浜哄伐鏅鸿兘绯荤粺 . . . . . . . . . . . . . . . . 72
6.2.2 涓嶅悓绯荤粺涔嬮棿鐨勬瘮杈? . . . . . . . . . . . . . . . . . . . 75
绗竷绔? 鑷劧璇█澶勭悊鐨勬湭鏉ュ彂灞曟柟鍚?80
7.1 鎻愰珮 ChatGPT 鐨勮兘鍔? . . . . . . . . . . . . . . . . . . . . . . 80
7.2 鍔犳繁瀵规ā鍨嬬殑璁よ瘑 . . . . . . . . . . . . . . . . . . . . . . . . 81
7.3 瀹為檯搴旂敤. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
7.4 浠庤瑷�鍒? AGI 鐨勬帰绱箣璺? . . . . . . . . . . . . . . . . . . . . 83
5
==>> 
