大家好啊

自从 ChatGPT、Stable Diffusion 发布以来各种相关开源项目百花齐放着实让人应接不暇。

今天我将着重挑选几个优质的开源项目对我们的日常工作、学习生活都会有很大的帮助。

今天整理分享给大家希望对你有所帮助。

一、Visual ChatGPT

这个是微软开源的项目一周多的时间就斩获了 23.6k+ star。

简单概括它那就是一个多模态的问答系统。

支持AI绘画、语言问答、看图问答将 AI 届近期的 3 大热点集于一身。

效果展示 

 

系统实现框架如下

这是一个“大力出奇迹”的开源项目集多方研究成果于一身BLIP、CLIP、ChatGPT、pix2pix、inpainting、vqa 等。

说白了就是教你怎样使用这些项目搭建一个多模态的问答系统这个系统架构很有参考价值。

项目地址

https://github.com/microsoft/visual-chatgpt

二、SadTalker

这是一篇 2023 年的 CVPR 论文对应的开源项目。

刚刚开源新鲜热乎

功能就是根据一张图片、一段音频合成面部说这段语音的视频。

结合 ChatGPT、AIGC、音频文字转换虚拟二次元 or 三次元形象就能“活”过来了。

 此外还项目还做成了 stable diffusion webui 的插件也就是直接能在 stable diffusion 里使用。

生成的图片直接配合一段音频就能生成合成的视频。

项目地址

https://github.com/winfredy/sadtalker

三、FateZero

文本能编辑生成图片那视频能编辑吗

FateZero我可以

左图是原图右图是生成效果输入的文本是

增加 Pokémon 动漫风格

增加水墨画风格

除了视频的风格迁移也支持修改里面的内容。

比如松鼠ch胡萝卜变成兔子吃茄子。

这个项目也是基于sd做的离一键生成视频又进了一步。

项目地址

https://github.com/chenyangqiqi/fatezero

四、ChatPaper

arXiv 想必大家都知道当下最流行的论文托管网站上面有来自世界各地的科学家、研究学者。

为了提高 arXiv 用户阅读论文的效率有人开源了一款利用 ChatGPT 总结 arXiv 论文的开源工具 ChatPaper。

开发者的动机他是这样讲述的

简而言之该项目可根据用户关键词下载 arXiv 上的最新论文利用 ChatGPT3.5 API 强大的归纳能力将其浓缩成固定格式文字少且易读。

同时项目支持个人自己部署或者直接去 Hugge Face 体验。

项目地址

https://github.com/kaixindelele/ChatPaper

https://huggingface.co/spaces/wangrongsheng/ChatPaper

最后

最近有太多公司 all in ChatGPT 了各种相关的开源项目也是层出不穷。

希望这些项目对你能有所帮助。

我是 Jack我们下期见