專訪方濱興
中國工程院院士 網(wǎng)絡(luò)空間安全專家
(資料圖片)
2023年5月18日,第七屆世界智能大會在天津舉辦,千余位院士專家與企業(yè)家共聚。隨著ChatGPT的出現(xiàn),生成式人工智能進(jìn)入大眾視野,也成為本屆大會與會嘉賓們探討的焦點(diǎn)話題。
自然語言模型ChatGPT,掀起了生成式人工智能浪潮,有人稱贊其誕生價值不亞于個人電腦與互聯(lián)網(wǎng);還有人將其等同于一場工業(yè)革命;當(dāng)然也有人對其不屑一顧;更多的人則是擔(dān)憂其所帶來的風(fēng)險(xiǎn)與安全問題。
基辛格在他的新書《人工智能時代與人類未來》中預(yù)測,人工智能這項(xiàng)具有顛覆性潛力的技術(shù),可能在五年之內(nèi)成為影響全球安全的關(guān)鍵因素。
方濱興:人工智能上世紀(jì)五十年代就有了,那個時候它叫自然語言理解,到了九十年代開始引入深度學(xué)習(xí),這是一個比較重要的環(huán)節(jié),沒有深度學(xué)習(xí),自然語言理解更多的還是從規(guī)則,那確實(shí)非常麻煩。
吳小莉:我當(dāng)時印象很深的是人工智能打敗了圍棋高手。
方濱興:對,就是因?yàn)樗梢杂?xùn)練大量的數(shù)據(jù)。其實(shí)深度學(xué)習(xí)在我看來,不是一個知識體系,而是個數(shù)據(jù)體系,它利用的是大量的數(shù)據(jù)。比方說下棋,它見過有多少個人走了這一步。
吳小莉:成功率最高的。
方濱興:對,它把這個規(guī)律找出來,然后就這么走。它不知道為什么,也不需要知道為什么,所以我們把這叫做概率。那么既然討論概率,就是純數(shù)據(jù),所以研究人工智能的人,不認(rèn)為這里是有知識的。
吳小莉:幾年前我去浙江大學(xué)的人工智能研究所,他們給我看了AI作的曲,還有AI拉提琴,那時候AI已經(jīng)開始識別一些圖像了。為什么這次ChatGPT問世,會如此的火爆?
方濱興:我們知道人工智能有三個核心,算法、算力和數(shù)據(jù),現(xiàn)在就是算力的問題。你想要有大量的數(shù)據(jù)來做,要訓(xùn)練,那就得有足夠大的算力。
中國發(fā)展人工智能 芯片短缺問題只是暫時
人工智能技術(shù)持續(xù)突破,全球算力進(jìn)入“軍備競賽”。有評論指出,要訓(xùn)練出GPT-3.5至少需要1萬張A100的芯片集群,而目前中國內(nèi)地可用作大模型訓(xùn)練的A100芯片總共只有4萬張左右。
美國商務(wù)部從2022年10月出臺高端GPU出口限令,中國只可以向英偉達(dá)購買與A100算力一致,但傳輸速率只有A100三分之二的特供版芯片A800,而且此后算力更強(qiáng)的GPU芯片都會被限制出口到中國。
近日,處于人工智能浪潮中心的半導(dǎo)體公司英偉達(dá),其CEO黃仁勛在接受采訪的時候表示,對華芯片戰(zhàn)將會對美國科技造成“巨大損失”。
吳小莉:我們的芯片是不足的,這會不會影響我們未來發(fā)展這方面的事情?
方濱興:客觀上,算力是有問題,但情況沒有那么悲觀,當(dāng)我們的需求很確切的時候,這種芯片就可以做了。比如說A100,它實(shí)際上是一種更通用的芯片,它不是為了模型生成生產(chǎn)的,它是為了圖像處理,為了更多的事情生產(chǎn)的,那當(dāng)我知道要為模型生成生產(chǎn)芯片,我就可以把很多不需要的部分去掉,我就可以做專門服務(wù)于模型生成的這種GPU,所以現(xiàn)在芯片問題不是說不能解決,而且現(xiàn)在社會上有很多邊緣計(jì)算,各種云計(jì)算,我算法調(diào)整一下,不調(diào)用GPU我來做,也是可以的。我不知道您聽說過“挖礦”沒?“挖礦”搞個木馬,誰一中毒了之后,它就到誰那占用點(diǎn)資源去“挖礦”,“挖礦”都能做,我為什么不能做?所以想做總是能做的。
現(xiàn)在最大的問題是什么呢?大家都在訓(xùn)練,浪費(fèi)極大。其實(shí)我們國家,第一,人多,成本低;第二,我們的組織能力極強(qiáng),其它國家不可能做到。如果我們有一個專門搞訓(xùn)練的部門,訓(xùn)練之后什么模型都可以共享,這才是正道?,F(xiàn)在是你也組織訓(xùn)練,他也組織訓(xùn)練,成本越來越高。
吳小莉:中國內(nèi)地一些類似ChatGPT的產(chǎn)品,您試用過嗎?覺得怎么樣?
方濱興:我是百度文言一心的試用用戶,我覺得它是可以用,我問它的問題,它的回答已經(jīng)可以用了,答案我基本上都能接受。但是它有一點(diǎn)比ChatGPT弱一些。
吳小莉:弱在哪里?
方濱興:有時候信息量可能差一點(diǎn),訓(xùn)練的東西可能少一點(diǎn)。但我聽說它也組織了幾千人在做數(shù)據(jù)標(biāo)注,這種產(chǎn)品好不好完全取決于事后的這種強(qiáng)化學(xué)習(xí),你不做強(qiáng)化學(xué)習(xí),每次都給一個莫名其妙的答案,又沒人去管它,這肯定不行,所以它在這方面做得比較多。但因?yàn)樗窃谥袊?,它從中文的角度來說,已經(jīng)是非常成功了,只是信息量欠缺一些。
人工智能快速發(fā)展 如何從技術(shù)層面防范風(fēng)險(xiǎn)
人工智能的快速發(fā)展帶來了各種突破原有道德和法治邊界的風(fēng)險(xiǎn)。2023年4月30日,在日本召開的七國集團(tuán)(G7)數(shù)字與技術(shù)部長會議上,日本、美國和歐洲國家的技術(shù)部長們共同聲明,需要促進(jìn)“負(fù)責(zé)任”地使用ChatGPT等人工智能工具。
吳小莉:GPT-4給大家?guī)砹梭@奇、驚喜,但也有人會覺得很驚恐,因?yàn)樗鼘W(xué)習(xí)的速度太快了。
方濱興:它應(yīng)該有一個邊界,比方說我是研究安全的,我在寫《人工智能安全》的時候,我就提出一個概念叫做行為體,行為體的特點(diǎn)就是有能量,能夠去行動,去傷害人類,同時能夠做規(guī)劃,決定怎么傷害人類,有目的性。ChatGPT它是一個對話框,你罵它,它很生氣但也沒辦法,它不能去控制人類,但如果ChatGPT是個機(jī)器人呢?你設(shè)想一下,這個機(jī)器人根據(jù)ChatGPT給它的指示,來決定動手的話,那才叫恐怖呢,一旦把這種東西和行為體結(jié)合起來,這個時候就要開始考慮風(fēng)險(xiǎn)了。
方濱興:所以我當(dāng)時提出了一個保險(xiǎn)箍的概念,什么叫保險(xiǎn)箍呢?就是像保險(xiǎn)絲那樣,電流大了就燒掉了,像緊箍咒那樣,你孫悟空你太不服管教,我喊兩嗓子就能把你給收拾了。
比如說我在ChatGPT里設(shè)置一個小的插件,沒有這個插件,它動不了,這個插件是它的核心回路,插上插件你才能動。然后這個插件還能干什么呢?我遠(yuǎn)程遙控可以讓它停止工作,比如說它在傷害人類的時候,我們每人都會一句咒語,說出來這句咒語,插件接受到咒語,它就停止工作,這個機(jī)器人的行為就會失去,就算它還能思想,但它已經(jīng)不能行為了。
所以我想象將來真的有一天要把人工智能行為體和ChatGPT連接在一起,就需要制定一個標(biāo)準(zhǔn),規(guī)定出廠的東西必須配備它,而且它必須能起到作用。這跟汽車有剎車一樣,失控的時候,我有個遙控能夠緊急給它剎住車。
提前制定規(guī)則 為人工智能發(fā)展劃定邊界
近日,歐盟立法者委員會舉行對AI立法的關(guān)鍵投票,以絕大多數(shù)票數(shù)通過《人工智能法案》的談判授權(quán)草案。
此次商定的草案文本是歐洲議會歷史上討論協(xié)商最多次的文本之一,修正案多達(dá)1000多項(xiàng),其中包含了有關(guān)面部識別、生物識別監(jiān)控和其他AI應(yīng)用使用的新規(guī)則,并且提出了嚴(yán)格監(jiān)管ChatGPT等AI工具的新思路。
2023年4月11日,中國網(wǎng)信辦也已迅速行動,就《生成式人工智能服務(wù)管理辦法(征求意見稿)》,向社會公開征求意見。
吳小莉:埃隆·馬斯克此前聯(lián)合了一些企業(yè)高管,以及相關(guān)科技專家們,聯(lián)名說要暫停繼續(xù)大模型訓(xùn)練,給半年的時間大家做一些規(guī)則和規(guī)范。
方濱興:我覺得暫停不是特別現(xiàn)實(shí)的事,當(dāng)然大家可以這么呼吁,可是想做大模型的人會聽呼吁嗎?不會聽呼吁的。馬斯克他自己不是也搶購了1萬張A100芯片嘛,肯定也是為了做,所以說暫停意義不大,問題的關(guān)鍵在于發(fā)展下去怎么控制。
我們訓(xùn)練怕什么?我們可能怕三點(diǎn),第一怕訓(xùn)練出一個失控的事情;第二就是通過這個訓(xùn)練出現(xiàn)了違反倫理的事情;第三就是可能違反法律,或者說形成有害的社會影響。這樣的話還得靠后面的管理措施,你可以懲罰,比方說你要有這個問題,你這家企業(yè)關(guān)門吧,你要有這個問題,你研發(fā)的系統(tǒng)不能運(yùn)行,所以事后控制是對的,也是可行的。還有一個關(guān)鍵就是要早點(diǎn)說什么是不行的,你早點(diǎn)告訴大家,大家可以去避免,別花那么大代價,最后才知道原來這個不行,那花那個代價干什么呢?所以早點(diǎn)告訴大家,也是一個非常重要的事情。
大搜索為生成式人工智能帶來突破 也帶來隱患
2023年2月,引入ChatGPT的新版必應(yīng)搜索引擎(New Bing)問世,微軟CEO納德拉將這件事稱作是他執(zhí)掌微軟9年來發(fā)生的最大事件,但有人卻認(rèn)為這像是打開了“潘多拉魔盒”。
吳小莉:ChatGPT一進(jìn)入互聯(lián)網(wǎng)的大搜索,會不會就沒有邊界了?
方濱興:他搞預(yù)訓(xùn)練是相對安全的,因?yàn)樗孪戎牢矣?xùn)練的數(shù)據(jù)是什么,但是你再把搜索放進(jìn)來,搜索的東西比較實(shí)時,量比較大,人已經(jīng)不會站在旁邊再去看了,人在旁邊看,這個時間是沒有的,所以這確實(shí)是存在這樣的問題。
所以對我們來講,解決這個問題的唯一方法就是,你要有一種判斷一個生成結(jié)果是不是可被接受的一種能力。這種能力倒不是特別復(fù)雜,我們計(jì)算機(jī)自動判斷一篇文章,它的立場、它的態(tài)度、它的世界觀是否正確,都是有判斷方法的,所以是要有這些。判斷完了怎么辦?你要有安全閥,生成的答案不合適,是不是會被安全閥按住,然后生成一個相對通用的答案,對吧?甚至不回答,對吧?但是所有的前提都是要有一個安全閥,所以搜索引擎帶來的問題,導(dǎo)致安全的重要性就更為強(qiáng)大了,因?yàn)樗遣豢深A(yù)控的。我們現(xiàn)在傳統(tǒng)搜索引擎不會有這么高的風(fēng)險(xiǎn),因?yàn)閭鹘y(tǒng)搜索引擎我們叫存在性搜索,網(wǎng)上有什么你拿走什么,哪怕是一個有害信息,它也是客觀存在的,跟工具沒有關(guān)系。但現(xiàn)在就不一樣了,跟工具有關(guān)了。
吳小莉:它會自己生成。
方濱興:所以它的責(zé)任一下就變得非常大了。
試圖推進(jìn)中國的大搜索項(xiàng)目 我們失去了十年嗎
2013年,方濱興曾試圖推進(jìn)中國的大搜索項(xiàng)目研究,但因當(dāng)時缺乏國家實(shí)驗(yàn)室的力量,以及強(qiáng)勢企業(yè)的介入,項(xiàng)目最終因缺乏資金而停滯。
方濱興:大概在2008年,那時一方面全國到處都在說物聯(lián)網(wǎng),另一方面物聯(lián)網(wǎng)好像又沒有那么火,為什么呢?后來我說,你們想想互聯(lián)網(wǎng)是怎么火的,如果沒有搜索引擎,互聯(lián)網(wǎng)是火不了的,那么物聯(lián)網(wǎng)為什么火不了,還是缺搜索引擎,所以我最早就在呼吁應(yīng)該搞物聯(lián)網(wǎng)搜索引擎。當(dāng)時我提出泛在搜索的概念,過去我們搜索的只是信息,我說我們要搜索人,我還要搜索物,再后來我的一些朋友們說,那我們不如把問題解答也提出來,所以這就是2013年,我們擴(kuò)充(研究領(lǐng)域),從物聯(lián)網(wǎng)搜索擴(kuò)充到了智慧搜索。
那這怎么推動呢?光聽我到處演講沒有用,我們就找到國家自然科學(xué)基金委當(dāng)時的副主任,管我們這個口的副主任高文,他是了解這個的,當(dāng)時他就說好,支持,我們就等于在基金委立項(xiàng)了。那在基金委立項(xiàng)之后,他說你們研究的這種東西得讓大家懂,所以2014年我們就辦了雙清論壇,同時在好幾個地方專門開智慧搜索的會議。到了2015年,我們就說要把白皮書寫出來。大數(shù)據(jù)的核心要解決的是挖,挖價值,那大搜索正好是解決挖價值的事情,所以我們正好叫大搜索了,是這么改的名,然后我就為此專門寫了《網(wǎng)絡(luò)空間大搜索技術(shù)白皮書》,是這么一個過程。
但比較可惜的是咱們好像缺少這種環(huán)境,真要說做的話,我們是不是上來就敢投足夠多的錢去搞數(shù)據(jù)標(biāo)注?是不是有人會做這樣的決策?所以這是我們現(xiàn)在的一個問題。
吳小莉:據(jù)說當(dāng)時您也跟一些互聯(lián)網(wǎng)大平臺聊過?有跟現(xiàn)在的互聯(lián)網(wǎng)三巨頭BAT聊過嗎?
方濱興:這是比較得罪人的事。實(shí)際上我們在開世界互聯(lián)網(wǎng)大會時,我們就經(jīng)常有接觸,我還專門找了幾個人,給他們建議,這種建議后來我發(fā)現(xiàn)其實(shí)沒有任何意義。什么樣的建議才有意義呢?比如說請互聯(lián)網(wǎng)公司的決策者參加學(xué)術(shù)研討會,他就會認(rèn)真來決策,像我們偶爾當(dāng)面建議人家做,我發(fā)現(xiàn)沒有用。甚至我也曾經(jīng)找過某個人坐在一起談上一個小時,討論問題,也沒有觸動他往下做什么,因?yàn)樗麄兡菢拥钠髽I(yè)決策過程是很復(fù)雜的,任何一個全新的決策,一定會打亂他原本計(jì)劃里的什么事,所以說靠一個人去這樣說話,沒有用。
吳小莉:那您看到今天ChatGPT問世,會覺得我們因此失去了十幾年的時間嗎?
方濱興:肯定是失去了,否則的話我堅(jiān)信如果我們當(dāng)時走下去,絕對是超前的領(lǐng)域。
制作人:韓煙
編導(dǎo)、編輯:鄭書筠
標(biāo)簽:
- 芯片短缺?風(fēng)險(xiǎn)難控?聽安全專家如何解讀生成式AI|專訪方濱興 焦點(diǎn)熱議
- 長沙夜市爆炒鵝卵石16元一份 恩施州餐協(xié):這道地方菜叫嗍丟
- excel表格柱狀圖怎么顯示數(shù)據(jù) excel表格柱狀圖如何顯示數(shù)據(jù)
- 花30萬可以讓梅西敬酒合影?北京警方回應(yīng)
- tplink450m無線路由器怎么設(shè)置 全球簡訊
- 全球熱資訊!cad打印pdf cad怎么黑白打印
- 全球觀熱點(diǎn):微信紅包悄然提升一對一紅包額度 最高可發(fā)520元
- 花30萬可以讓梅西敬酒合影?北京警方回應(yīng)
- 國家精品課程哪里看 國家精品課程資源網(wǎng)無法訪問 今日熱聞
- 每日速訊:馬金鋪街道社區(qū)衛(wèi)生服務(wù)中心九價/四價HPV疫苗預(yù)約消息(持續(xù)更新)
- 一億小目標(biāo)游戲電腦版 一億小目標(biāo)
- Win10怎么沒有家庭組 win10怎么沒有realtek_焦點(diǎn)信息
- 在宇宙間不易被風(fēng)吹散 語錄 在宇宙間不易被風(fēng)吹散馮唐
- 今熱點(diǎn):增值稅不含稅價怎么算 不含稅價怎么算
- 華為p40pro怎么讀音 pro怎么讀音
- 石嘴山文化旅游產(chǎn)業(yè)領(lǐng)域?qū)I(yè)人員集體“充電”
- “南海救118”輪完成神舟十六號海上應(yīng)急保障任務(wù)|全球動態(tài)
- 世界新動態(tài):旋轉(zhuǎn)蕪菁圖鑒 旋轉(zhuǎn)蕪菁
- 大龍郵票現(xiàn)在值多少錢一枚 大龍郵票現(xiàn)在值多少錢 焦點(diǎn)精選
- 世界熱議:鼠標(biāo)手寫輸入法安裝 鼠標(biāo)手寫輸入法的使用教程
- 世界環(huán)境日丨共赴青綠 現(xiàn)實(shí)版“千里江山圖”來了!_當(dāng)前訊息
- 一圖讀懂丨公民生態(tài)環(huán)境行為規(guī)范十條_當(dāng)前熱門
- 蘋果:iPhone異常關(guān)機(jī)原因仍在查 未發(fā)現(xiàn)涉安全性問題
- 生態(tài)環(huán)境部等五部門聯(lián)合發(fā)布《公民生態(tài)環(huán)境行為規(guī)范十條》-當(dāng)前快報(bào)
- 生態(tài)環(huán)境部等五部門聯(lián)合發(fā)布《公民生態(tài)環(huán)境行為規(guī)范十條》
- 外交部:阿盟代表團(tuán)到新疆實(shí)地參訪 感受當(dāng)?shù)孛癖妼?shí)實(shí)在在的幸福生活
- 世界環(huán)境日丨共赴青綠 現(xiàn)實(shí)版“千里江山圖”來了!-環(huán)球聚看點(diǎn)
- 世界最資訊丨外交部:阿盟代表團(tuán)到新疆實(shí)地參訪 感受當(dāng)?shù)孛癖妼?shí)實(shí)在在的幸福生活
- 激發(fā)非遺活力,融入現(xiàn)代生活
- 涉嫌職務(wù)犯罪外逃人員蘇茂生回國投案_每日焦點(diǎn)
- 環(huán)球速看:一圖讀懂丨公民生態(tài)環(huán)境行為規(guī)范十條
- 涉嫌職務(wù)犯罪外逃人員蘇茂生回國投案_全球新資訊
- 全球快資訊:政銀攜手 寧夏不動產(chǎn)線上抵押登記開啟“數(shù)據(jù)直連”新模式
- 陌愛app如何關(guān)閉消息推送? 天天熱議
- 【播資訊】光學(xué)防抖有什么用 光學(xué)防抖
- 2023高考天氣地圖:我國大部氣溫舒適利發(fā)揮 江南華南等地需防雨
- 世界訊息:公主杖責(zé)二十 公主家法伺候挨板子
- 大眾點(diǎn)評客戶服務(wù)電話人工 大眾點(diǎn)評客服電話人工服務(wù)
- 全球球精選!天吉彩票網(wǎng)首頁查詢 天吉彩票網(wǎng)首頁
- 焦點(diǎn)信息:高考期間寧夏有分散性陣雨 午后氣溫較高
- 關(guān)注:2023高考天氣地圖:我國大部氣溫舒適利發(fā)揮 江南華南等地需防雨
- 美國國家信用卡被“刷爆”79次,債務(wù)“定時炸彈”在滴答作響……|鳳凰聚焦
- 成都公交有個“智慧大腦”:30秒自動生成營運(yùn)方案 讓出行更高效
- 太平洋壽險(xiǎn)行銷支持系統(tǒng)用戶登錄登陸不上去 太平洋壽險(xiǎn)行銷支持系統(tǒng)用戶登錄 全球關(guān)注
- 財(cái)政部緊急下達(dá)救災(zāi)資金2億元支持河南小麥搶收減損
- 環(huán)球訊息:劍靈會員有幾種 劍靈會員有什么特權(quán)會員購買與使用
- wows 兵工廠 坦克世界兵工廠怎么玩 每日消息
- 焦點(diǎn)熱文:與恐龍同時代!這種中國特有植物首次進(jìn)行“石山生境”野外回歸
- 與恐龍同時代!這種中國特有植物首次進(jìn)行“石山生境”野外回歸
- 天空之舞端游 天空之舞打不開 全球觀點(diǎn)
- 睡在我上鋪的兄弟電影完整版在線 睡在我上鋪的兄弟電影百度云 環(huán)球觀熱點(diǎn)
- 財(cái)政部緊急下達(dá)救災(zāi)資金2億元支持河南小麥搶收減損
- 寧夏中衛(wèi)新能源快速發(fā)展 新能源占當(dāng)?shù)匕l(fā)電總量的85.99% 天天觀點(diǎn)
- 陳偉霆、章若楠主演《照亮你》,熱血救援展現(xiàn)消防員群像 熱門看點(diǎn)
- 環(huán)球消息!今天全世界都在看的新聞2023.6.5
- 播報(bào):注意看,這個手拿魔方的男人,揭露美國最大竊聽丑聞
- 15國20余位駐華外交官從陜西延安出發(fā) 開啟鐘“秦”之旅 當(dāng)前熱門
- 俄:烏軍從5個方向開始大規(guī)模反攻,扎波羅熱方向兩軍戰(zhàn)斗8小時
- 柯文哲訪問日本,稱“兩岸之間同文同種,還是可以談”
- 高考倒計(jì)時2天 6個貼心提示助你輕松備考|天天即時看
- ?向“制造高地”飛躍——天津市制造業(yè)高質(zhì)量發(fā)展一線觀察
- 企業(yè)退休職工養(yǎng)老金計(jì)算方法舉例 企業(yè)退休職工養(yǎng)老金如何計(jì)算
- 作業(yè)在線使用網(wǎng)頁版登錄 作業(yè)在線使用網(wǎng)頁版 環(huán)球看熱訊
- 當(dāng)前視點(diǎn)!波洛克作品拍賣價格 波洛克作品
- 環(huán)境保護(hù)的耀眼“實(shí)績”
- 星火成炬丨萬物有靈,和諧共生|每日快報(bào)
- 世界微資訊!男裝夾克品牌polo 男裝夾克品牌大全
- 快資訊:環(huán)境保護(hù)的耀眼“實(shí)績”
- 即時看!?向“制造高地”飛躍——天津市制造業(yè)高質(zhì)量發(fā)展一線觀察
- 高考倒計(jì)時2天 6個貼心提示助你輕松備考-觀焦點(diǎn)
- 天天新動態(tài):退休養(yǎng)老金計(jì)算公式 退休養(yǎng)老金如何計(jì)算
- 世界熱文:星火成炬丨萬物有靈,和諧共生
- 行走在夏天里,清涼谷帶您輕松一夏
- 寧夏2023年六五環(huán)境日暨自治區(qū)環(huán)境教育宣傳周啟動
- 瑞幸咖啡第10000家門店在廈門開業(yè) 成為中國首家“萬店”規(guī)模連鎖咖啡品牌
- 【世界快播報(bào)】堿金屬與堿土金屬誰的離子半徑大_堿金屬與堿土金屬的區(qū)別
- 寧夏銀川前5個月居民充電樁報(bào)裝量增長超九成
- 【環(huán)球熱聞】筆記本電腦上的微信聊天記錄怎么刪除 電腦上的微信聊天記錄怎么刪除
- 熱訊:全球連線丨加拿大“網(wǎng)紅”體驗(yàn)中國式現(xiàn)代化之二·看,鷹飛之城
- 柿子醋家庭制作方法 當(dāng)前熱議
- 【播資訊】國道之行 從雪山奔向大海丨“讓國旗飄揚(yáng)在國境線的每個角落”
- 天天關(guān)注:公益微紀(jì)錄片丨眾生的地球
- 國道之行 從雪山奔向大海丨“讓國旗飄揚(yáng)在國境線的每個角落”
- 楚離桑 楚離 全球快訊
- 端午機(jī)票價格比“五一”有所下降,旅客出行成本相對減少 每日熱訊
- 公益微紀(jì)錄片丨眾生的地球 環(huán)球熱頭條
- 如何刪除電腦上的微信聊天記錄圖片 如何刪除電腦上的微信聊天記錄-世界快看
- 美指責(zé)中國軍艦“危險(xiǎn)攔截”險(xiǎn)些導(dǎo)致撞船 外交部回應(yīng)-天天快資訊
- 美指責(zé)中國軍艦“危險(xiǎn)攔截”險(xiǎn)些導(dǎo)致撞船 外交部回應(yīng)-全球視點(diǎn)
- nba猛龍隊(duì) 猛龍隊(duì)球員名單_快看點(diǎn)
- 端午機(jī)票價格比“五一”有所下降,旅客出行成本相對減少_今日快看
- 環(huán)球觀焦點(diǎn):全球連線丨加拿大“網(wǎng)紅”體驗(yàn)中國式現(xiàn)代化之二·看,鷹飛之城
- 儲蓄型保險(xiǎn)到期后是怎么返還的?儲蓄型保險(xiǎn)的優(yōu)缺點(diǎn)是什么?
- 開戶機(jī)構(gòu)指的是什么意思?開戶銀行聯(lián)行號是什么意思?
- 保險(xiǎn)理財(cái)和銀行理財(cái)誰的收益比較好?保險(xiǎn)理財(cái)和銀行理財(cái)?shù)膮^(qū)別是什么?
- 資本公積形成的來源按其用途主要包括哪些?資本公積主要分類是什么?
- 焦點(diǎn)報(bào)道:edg戰(zhàn)隊(duì)隊(duì)員scout(英雄聯(lián)盟edg中單scout核酸陽性)
- 實(shí)體經(jīng)濟(jì)發(fā)展的重要意義是什么?實(shí)體經(jīng)濟(jì)的發(fā)展困境有哪些?
- 蘋果平板電腦ipad5價格多少 蘋果平板電腦ipad5價格 環(huán)球時快訊
- 支撐天地往返!JF-22超高速風(fēng)洞通過驗(yàn)收
-
1居家學(xué)習(xí)期間 90.2%的受訪家長因?yàn)榕c孩子的溝通問題而煩惱
-
2喝礦泉水好? 還是喝純凈水好?
-
3家政業(yè)復(fù)工了 你們家阿姨上門了嗎?
-
4南京警方破獲多起偽裝房屋“中介”進(jìn)行詐騙案件
-
5一季度全國居民人均可支配收入8561元 同比名義增長0.8%
-
6名人直播帶貨火爆 直播電商快速生長期面臨“重塑”
-
7各地“搶人才”的腳步?jīng)]有放慢 新一輪人才大戰(zhàn)透露出哪些信號?
-
8第20個世界知識產(chǎn)權(quán)日 云南2019年專利申請3萬余件
-
9高溫來襲!海南省氣象局:多市縣將出現(xiàn)37度以上高溫天氣
-
10三亞機(jī)場累計(jì)恢復(fù)航線72條 國際及地區(qū)航線暫無復(fù)航計(jì)劃