AIGC多模態(tài)大模型應(yīng)用工程師課程

近嶼智能精心設(shè)計(jì)的多模態(tài)大模型應(yīng)用工程師課程，旨在帶領(lǐng)大家深入探索如何利用最前沿的人工智能技術(shù)，將簡(jiǎn)單的文字轉(zhuǎn)化為豐富多彩的多媒體內(nèi)容，包括文本、圖像、語音、音樂和視頻。課程從基礎(chǔ)的文本生成（文生文）起步，逐步引導(dǎo)大家邁向更高階的視頻創(chuàng)作（文生視頻），采用循序漸進(jìn)的教學(xué)方式，讓大家在輕松愉快的氛圍中掌握?qǐng)D像、語音、音樂和視頻的創(chuàng)作技巧。

深入探索MLLM工具的使用、API調(diào)用、工具開發(fā)與增強(qiáng)，涵蓋AI創(chuàng)作、視覺藝術(shù)、音樂生成及多模態(tài)技術(shù)，旨在打造精通AI技術(shù)應(yīng)用與創(chuàng)新的多模態(tài)大模型工程師。

B1階梯

熟練掌握各種多模態(tài)大模型工具（Qwen2-VL，GPT4o，可靈大模型等），完成短視頻文案、劇本創(chuàng)作，視頻剪輯、圖像創(chuàng)作、游戲設(shè)計(jì)、短視頻生成等工作，實(shí)現(xiàn)工作模式的升級(jí)和效率的提升。

B2階梯

學(xué)習(xí)多模態(tài)大模型的通用理論基礎(chǔ)，獲得多模態(tài)大模型的高級(jí)認(rèn)知，在MLLM工具使用的基礎(chǔ)上，通過API調(diào)用完成批量化創(chuàng)作。

B3階梯

能夠根據(jù)應(yīng)用需求，借助大模型應(yīng)用框架，集成語言模型以及多模態(tài)模型構(gòu)建應(yīng)用，擴(kuò)展大模型能力。

B4階梯

針對(duì)多模態(tài)大模型能力的局限性，對(duì)多模態(tài)大模型的能力進(jìn)行可控調(diào)優(yōu)。

文生文

介紹如何使用開源的Llama、ChatGlm或者閉源的蛙蛙寫作、通義、Kimi等進(jìn)行AI文本創(chuàng)作，如果你有一些可以模仿的作品集或者自己的歷史作品集，可以通過對(duì)開源的Llama、ChatGlm進(jìn)行微調(diào)（SFT），讓大模型生成海量的類似風(fēng)格的小說、劇本、軟文和廣告腳本等。

文生圖

會(huì)用開源的Flux、Stable Diffusion或者閉源的MidJourney進(jìn)行AI圖片創(chuàng)作，如果你有一些可以模仿的作品集或者自己的歷史作品集，可以通過對(duì)開源的Flux或者Stable Diffusion進(jìn)行微調(diào)（SFT），讓大模型生成海量的類似風(fēng)格的KV、電商詳情頁、海報(bào)和字體等。

AI語音生成

用開源的GPTSoVits或者閉源的剪映進(jìn)行AI語音生成，如果你有一些可以模仿的人物音頻或者自己的歷史音頻集，可以通過對(duì)開源的GPTSoVits進(jìn)行微調(diào)（SFT），讓大模型生成海量的類似風(fēng)格的語音等。

AI音樂創(chuàng)作

用開源的AudioLDM或者閉源的SunoAI進(jìn)行AI音樂創(chuàng)作，如果你有一些可以模仿的樂曲集、歌曲集或者自己的歷史作品集，可以通過對(duì)開源的AudioLDM進(jìn)行微調(diào)（SFT），讓大模型生成海量的類似風(fēng)格的純音樂或者帶歌詞的歌曲等。

AI視頻創(chuàng)作

用開源的CogVideo或者閉源的極夢(mèng)、Dream Machine、Runway、Pika進(jìn)行AI視頻創(chuàng)作，如果你有一些可以模仿的視頻作品集、電影或者自己的歷史作品集，可以通過對(duì)開源的CogVideo進(jìn)行微調(diào)（SFT），讓大模型生成海量的類似風(fēng)格的短視頻。

結(jié)合以上的一些或者全部的開源算法，用Langchain等技術(shù)框架開發(fā)一個(gè)集合AI文本創(chuàng)作，文生圖、文生音頻、文生音樂和文生視頻為一體的多模態(tài)大模型AI應(yīng)用，例如：AI自動(dòng)剪輯軟件筷子科技，非實(shí)時(shí)數(shù)字人合成軟件HeyGen和AI電商廣告生成軟件Fancy Tech等。

就業(yè)方向（部分）

多模態(tài)算法工程師

平面設(shè)計(jì)

UI設(shè)計(jì)

新媒體運(yùn)營(yíng)

游戲設(shè)計(jì)

品牌設(shè)計(jì)

電商

適合人群：

設(shè)計(jì)與創(chuàng)意行業(yè)從業(yè)者

原畫師：需要利用AI來增強(qiáng)創(chuàng)作過程，提高效率和創(chuàng)意表現(xiàn)。

AI設(shè)計(jì)師：專注于使用AI工具進(jìn)行設(shè)計(jì)工作，創(chuàng)造視覺內(nèi)容。

AI美術(shù)師：結(jié)合美術(shù)功底與AI技術(shù)，進(jìn)行藝術(shù)創(chuàng)作和視覺設(shè)計(jì)。

AI視覺設(shè)計(jì)：利用AI進(jìn)行視覺設(shè)計(jì)，包括界面、插畫等。

媒體與娛樂行業(yè)從業(yè)者

剪輯師：通過學(xué)習(xí)AI技術(shù)，提高剪輯效率，實(shí)現(xiàn)自動(dòng)化編輯流程。

娛樂媒體行業(yè)從業(yè)者：需要掌握AI工具來創(chuàng)作或優(yōu)化娛樂內(nèi)容，如視頻、音樂等。

AI內(nèi)容運(yùn)營(yíng)：負(fù)責(zé)管理和運(yùn)用AI生成的內(nèi)容，進(jìn)行有效的內(nèi)容策略規(guī)劃和執(zhí)行。

技術(shù)開發(fā)人員

多模態(tài)應(yīng)用開發(fā)工程師：開發(fā)結(jié)合多種模態(tài)（如視覺、語音、文本）的AI應(yīng)用。

多模態(tài)開發(fā)工程師：專注于創(chuàng)造能夠處理和學(xué)習(xí)多種類型數(shù)據(jù)的AI系統(tǒng)。

市場(chǎng)營(yíng)銷與商業(yè)運(yùn)營(yíng)

市場(chǎng)營(yíng)銷：利用AI進(jìn)行市場(chǎng)分析、消費(fèi)者行為預(yù)測(cè)和個(gè)性化營(yíng)銷內(nèi)容創(chuàng)作。

AIGC內(nèi)容運(yùn)營(yíng)：專注于運(yùn)營(yíng)由人工智能生成的內(nèi)容，包括社交媒體、廣告等。

教育工作者

教育工作者：利用AI工具輔助教學(xué)，開發(fā)個(gè)性化學(xué)習(xí)內(nèi)容，提高教學(xué)效率。

新人與轉(zhuǎn)行者

想進(jìn)入設(shè)計(jì)行業(yè)的應(yīng)屆生：對(duì)于剛剛畢業(yè)、希望進(jìn)入設(shè)計(jì)行業(yè)的學(xué)生，學(xué)習(xí)AI技能可以增加就業(yè)競(jìng)爭(zhēng)力。

創(chuàng)意設(shè)計(jì)相關(guān)崗位的AI設(shè)計(jì)師：對(duì)于希望結(jié)合創(chuàng)意與技術(shù)，從事設(shè)計(jì)行業(yè)的人員。

核心亮點(diǎn)詳解：

雙模式課堂：結(jié)合直播與錄播課程，提供實(shí)時(shí)互動(dòng)和答疑，以及隨時(shí)隨地的學(xué)習(xí)體驗(yàn)

PBL地點(diǎn)：線上遠(yuǎn)程/線下建議到上?？偛繉W(xué)習(xí)

線上/線下自習(xí)室：提供線上騰訊會(huì)議自習(xí)室及線下上?？偛孔粤?xí)室，均有老師督學(xué)和答疑

實(shí)戰(zhàn)檢測(cè)機(jī)制：通過實(shí)際案例作業(yè)檢測(cè)學(xué)習(xí)效果

全程伴學(xué)服務(wù)：從入學(xué)到學(xué)籍期結(jié)束提供全程學(xué)習(xí)輔助

1V1技術(shù)答疑：專屬學(xué)管老師長(zhǎng)期跟進(jìn)學(xué)習(xí)薄弱點(diǎn)，學(xué)習(xí)小助手答疑7x24小時(shí)AI技術(shù)支持

積分獎(jiǎng)勵(lì)機(jī)制：通過學(xué)習(xí)和積極性行為獲取積分，可在積分商城兌換

就業(yè)面試保障：制定個(gè)性化就業(yè)方案，匹配簡(jiǎn)歷優(yōu)化及面試指導(dǎo)，至少5次崗位面試機(jī)會(huì)

課程升級(jí)策略：學(xué)員可聯(lián)系學(xué)管老師選擇課程升級(jí)服務(wù)，補(bǔ)繳額外費(fèi)用即可轉(zhuǎn)入更高級(jí)別課程

就業(yè)指導(dǎo)

就業(yè)準(zhǔn)備階段

確認(rèn)學(xué)員基本信息：了解學(xué)員的基礎(chǔ)信息及就業(yè)意向和具體要求。

制定個(gè)性化就業(yè)方案：針對(duì)學(xué)員個(gè)性需求，為學(xué)員規(guī)劃求職方向。

簡(jiǎn)歷與面試準(zhǔn)備

簡(jiǎn)歷檢測(cè)與修改：針對(duì)學(xué)員初始版簡(jiǎn)歷，指導(dǎo)并輔助學(xué)員優(yōu)化簡(jiǎn)歷并制作成品。

AI模擬面試：提供多次AI模擬面試，豐富學(xué)員面試經(jīng)驗(yàn)并提升面試表達(dá)能力。

算法面試指導(dǎo)：課程提供2次算法面試指導(dǎo)直播課程。

面試能力提升

面試指導(dǎo)：可針對(duì)需面試崗位提供一對(duì)一視頻面試指導(dǎo)，包括技術(shù)能力溝通反饋。

面試技巧：提供面試禮儀與人事溝通技巧。

面試復(fù)盤：分析面試表現(xiàn)，并將在下一次面試指導(dǎo)中老師針對(duì)性給學(xué)員進(jìn)行提升優(yōu)化。

先行者面試題共享

面試題共享學(xué)習(xí)：提供學(xué)長(zhǎng)學(xué)姐整理的相關(guān)真實(shí)面試題與資料。

微軟證書

提供免費(fèi)的考試輔導(dǎo)服務(wù)：全面的微軟認(rèn)證考試準(zhǔn)備，包括技術(shù)考試流程指導(dǎo)、講師視頻教程、考試題庫等，幫助考生全面掌握考試所需技能和知識(shí)點(diǎn)。

結(jié)業(yè)證書

完成階段課程后頒發(fā)，由近嶼智能JYI頒發(fā)，行業(yè)認(rèn)可。涵蓋AIGC大模型實(shí)戰(zhàn)項(xiàng)目，在近嶼智能JYI的學(xué)習(xí)旅程中，學(xué)員將經(jīng)歷從基礎(chǔ)到進(jìn)階，再到實(shí)戰(zhàn)的全面訓(xùn)練，每一步都為學(xué)員的專業(yè)成長(zhǎng)和實(shí)際應(yīng)用能力的提升打下堅(jiān)實(shí)的基礎(chǔ)。