FunClip-阿里开源的自动化视频剪辑工具,支持本地部署使用

2024-04-28 17:53:41,

FunClip是什么?

FunClip是一款完全开源、本地部署的自动化视频剪辑工具,通过调用阿里巴巴通义实验室开源的FunASR Paraformer系列模型进行视频的语音识别,随后用户可以自由选择识别结果中的文本片段或说话人,点击裁剪按钮即可获取对应片段的视频。

FunClip-阿里开源的自动化视频剪辑工具,支持本地部署使用

FunClip的功能特色

  • FunClip集成了阿里巴巴开源的工业级模型Paraformer-Large,是当前识别效果最优的开源中文ASR模型之一,Modelscope下载量1300w+次,并且能够一体化的准确预测时间戳。
  • FunClip集成了SeACo-Paraformer的热词定制化功能,在ASR过程中可以指定一些实体词、人名等作为热词,提升识别效果。
  • FunClip集成了CAM++说话人识别模型,用户可以将自动识别出的说话人ID作为裁剪目标,将某一说话人的段落裁剪出来。
  • 通过Gradio交互实现上述功能,安装简单使用方便,并且可以在服务端搭建服务通过浏览器使用。
  • FunClip支持多段自由剪辑,并且会自动返回全视频SRT字幕、目标段落SRT字幕,使用简单方便。

如何使用FunClip?

方法一:在线体验魔搭社区demo

访问魔搭社区体验链接:https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary,按照下方步骤使用:

  • Step1: 上传视频或音频文件(或使用下方的用例体验),点击 识别 按钮
  • Step2: 复制识别结果中所需的文字至右上方,或者右设置说话人标识,设置偏移与字幕配置(可选)
  • Step3: 点击 裁剪 按钮或 裁剪并添加字幕 按钮获得结果

方法二:在本地启动Gradio服务

确保本地已安装Python和Git,在电脑终端执行以下命令。

git clone https://github.com/alibaba-damo-academy/FunClip.git
cd FunClip
python funclip/launch.py

随后在浏览器中访问localhost:7860即可看到如下图所示的界面,按如下步骤即可进行视频剪辑

  1. 上传你的视频(或使用下方的视频用例)
  2. (可选)设置热词,勾选是否使用说话人识别功能
  3. 点击识别按钮获取识别结果
  4. 将识别结果中的选段复制到对应位置,或者将说话人ID输入到对应为止
  5. (可选)配置剪辑参数,偏移量与字幕设置等
  6. 点击“裁剪”或“裁剪并添加字幕”按钮

FunClip-阿里开源的自动化视频剪辑工具,支持本地部署使用

© 版权声明

Warning: Trying to access array offset on value of type bool in /www/wwwroot/ainvp.com/wp-content/themes/onenav/inc/clipimage.php on line 34

相关文章

Fairy是什么? Fairy由Meta GenAI开发的用文本语言进行视频编辑的AI工具,你可以用简单的文字描述就对能视频进行风格转换(如将视频转换为梵高、漫画风格)、物体或角色变换(将视频中的物体或角色转换成其他形式)等编辑。 Fairy官方演示视频: 更多Fairy演示视频:https://fairy-video2video.github.io/supp/index.html Fairy可以做什么? 物体或角色变换:Fairy可以将视频中的特定物体或角色转换成其他形式,例如将人物转换成木雕或金属骑士雕塑。这种编辑涉及到复杂的形状和纹理变化。 视频风格转换:Fairy能够将视频中的图像风格转换为不同的艺术风格,例如梵高或毕加索风格。这种转换不仅改变颜色和纹理,还保持视频的原始内容和结构。 长视频处理:由于Fairy的高效性和内存管理优势,它能够处理相对较长的视频,而不会遇到内存问题。 保留视频细节:在进行风格转换或物体变换时,Fairy能够保留视频中的重要细节,确保编辑后的视频仍然保持高质量和真实感。 时间连贯性:Fairy特别注重在编辑过程中保持视频的时间连贯性,确保从一帧到下一帧的过渡自然和流畅。 处理高效:Fairy不仅解决了以前模型的内存和处理速度限制,还通过独特的数据增强策略改善了时间一致性。Fairy能够在14秒内生成120帧的512×384视频(4秒时长,30 FPS),比之前的工作快至少44倍。 如何使用Fairy? 项目地址:https://fairy-video2video.github.io 论文地址:https://arxiv.org/pdf/2312.13834.pdf

Fairy是什么? Fairy由Meta GenAI开发的用文本语言进行视频编辑的AI工具,你可以用简单的文字描述就对能视频进行风格转换(如将视频转换为梵高、漫画风格)、物体或角色变换(将视频中的物体或角色转换成其他形式)等编辑。 Fairy官方演示视频: 更多Fairy演示视频:https://fairy-video2video.github.io/supp/index.html Fairy可以做什么? 物体或角色变换:Fairy可以将视频中的特定物体或角色转换成其他形式,例如将人物转换成木雕或金属骑士雕塑。这种编辑涉及到复杂的形状和纹理变化。 视频风格转换:Fairy能够将视频中的图像风格转换为不同的艺术风格,例如梵高或毕加索风格。这种转换不仅改变颜色和纹理,还保持视频的原始内容和结构。 长视频处理:由于Fairy的高效性和内存管理优势,它能够处理相对较长的视频,而不会遇到内存问题。 保留视频细节:在进行风格转换或物体变换时,Fairy能够保留视频中的重要细节,确保编辑后的视频仍然保持高质量和真实感。 时间连贯性:Fairy特别注重在编辑过程中保持视频的时间连贯性,确保从一帧到下一帧的过渡自然和流畅。 处理高效:Fairy不仅解决了以前模型的内存和处理速度限制,还通过独特的数据增强策略改善了时间一致性。Fairy能够在14秒内生成120帧的512×384视频(4秒时长,30 FPS),比之前的工作快至少44倍。 如何使用Fairy? 项目地址:https://fairy-video2video.github.io 论文地址:https://arxiv.org/pdf/2312.13834.pdf