排序
发布更新浏览点赞

Warning: Trying to access array offset on value of type bool in /www/wwwroot/ainvp.com/wp-content/themes/onenav/inc/clipimage.php on line 34

Warning: Trying to access array offset on value of type bool in /www/wwwroot/ainvp.com/wp-content/themes/onenav/inc/clipimage.php on line 34

Warning: Trying to access array offset on value of type bool in /www/wwwroot/ainvp.com/wp-content/themes/onenav/inc/clipimage.php on line 34

Warning: Trying to access array offset on value of type bool in /www/wwwroot/ainvp.com/wp-content/themes/onenav/inc/clipimage.php on line 34

Warning: Trying to access array offset on value of type bool in /www/wwwroot/ainvp.com/wp-content/themes/onenav/inc/clipimage.php on line 34

Warning: Trying to access array offset on value of type bool in /www/wwwroot/ainvp.com/wp-content/themes/onenav/inc/clipimage.php on line 34
Ferret-UI是什么？ Ferret-UI是苹果公司与哥伦比亚大学研究团队联合发布的一个多模态模型。它是专门为了增强对移动端用户界面（UI）屏幕的理解而定制的，配备了引用、定位和推理功能。该模型能够“看懂”手机屏幕上的内容并执行任务，聚焦于移动端、关注用户交互。 论文链接：https://arxiv.org/pdf/2404.05719.pdf Ferret-UI主要功能特性 多模态理解能力：Ferret-UI展现了高水平的图文关联能力，尤其是在理解用户界面屏幕并与其有效交互方面，弥补了现有大部分通用多模态大模型的不足。 UI任务执行：Ferret-UI在多数基础UI任务上展现出了优越的性能，特别是在与iPhone相关的任务上，其性能超过了Ferret和GPT-4V。 Anyres技术：为解决移动设备UI屏幕长宽比多样化问题，Ferret-UI引入了“任何分辨率”技术，使其能够适应不同长宽比的屏幕，提高模型对UI元素的细节识别能力。 Ferret-UI的评测结果 Ferret-UI的评测结果表明，这款由苹果开发的多模态模型在多项手机UI任务上表现出色，甚至在某些方面超越了GPT-4V。以下是Ferret-UI在评测中的几个亮点： 基础UI任务表现：Ferret-UI在大多数基础UI任务上都展示了出色的性能，特别是与iPhone相关的任务。在OCR（光学字符识别）、图标识别和控件分类等任务上，Ferret-UI的平均准确率分别为72.9%、82.4%和81.4%，明显高于GPT-4V的相应准确率。 在安卓任务上的表现：尽管Ferret-UI的训练数据集未特别包含安卓数据，该模型在安卓平台的高级任务上仍然展现出了可观的性能。这表明Ferret-UI具备跨操作系统UI知识迁移的能力。 Anyres技术的应用：Ferret-UI采用了“任何分辨率”技术，成功解决了移动设备UI屏幕长宽比多样化的问题。这项技术通过生成额外的图像特征和区域连续特征，提高了模型对小型UI元素的识别和定位精度。 高级UI任务性能：在如详细描述、感知对话、交互对话和功能推断等高级任务上，Ferret-UI展现了与GPT-4V相当，甚至在某些任务上超过GPT-4V的性能。这进一步证明了Ferret-UI在理解和执行复杂UI交互方面的高效能力。 总体来看，Ferret-UI的评测结果强调了其作为一个多模态模型在手机UI任务上的先进性和实用性。通过在基础和高级UI任务上的出色表现，Ferret-UI展示了其在改善移动设备用户交互体验方面的巨大潜力。 Ferret-UI的应用场景 移动端用户交互：Ferret-UI可用于增强智能手机和其他移动设备上的用户交互体验，通过理解用户界面来执行复杂的UI任务。 自动化测试：Ferret-UI可以应用于自动化测试领域，自动识别UI中的元素和功能，提高测试效率和准确性。 辅助设计：对于UI设计师，Ferret-UI能够提供界面元素的自动识别和分类，辅助设计过程中的决策。 Ferret-UI通过其先进的多模态理解能力和专注于移动端的设计，展现了在UI理解和交互方面的强大潜力。随着技术的进一步发展和应用，Ferret-UI有望在提升移动设备用户体验方面发挥重要作用。

Ferret-UI是什么？ Ferret-UI是苹果公司与哥伦比亚大学研究团队联合发布的一个多模态模型。它是专门为了增强对移动端用户界面（UI）屏幕的理解而定制的，配备了引用、定位和推理功能。该模型能够“看懂”手机屏幕上的内容并执行任务，聚焦于移动端、关注用户交互。 论文链接：https://arxiv.org/pdf/2404.05719.pdf Ferret-UI主要功能特性 多模态理解能力：Ferret-UI展现了高水平的图文关联能力，尤其是在理解用户界面屏幕并与其有效交互方面，弥补了现有大部分通用多模态大模型的不足。 UI任务执行：Ferret-UI在多数基础UI任务上展现出了优越的性能，特别是在与iPhone相关的任务上，其性能超过了Ferret和GPT-4V。 Anyres技术：为解决移动设备UI屏幕长宽比多样化问题，Ferret-UI引入了“任何分辨率”技术，使其能够适应不同长宽比的屏幕，提高模型对UI元素的细节识别能力。 Ferret-UI的评测结果 Ferret-UI的评测结果表明，这款由苹果开发的多模态模型在多项手机UI任务上表现出色，甚至在某些方面超越了GPT-4V。以下是Ferret-UI在评测中的几个亮点： 基础UI任务表现：Ferret-UI在大多数基础UI任务上都展示了出色的性能，特别是与iPhone相关的任务。在OCR（光学字符识别）、图标识别和控件分类等任务上，Ferret-UI的平均准确率分别为72.9%、82.4%和81.4%，明显高于GPT-4V的相应准确率。 在安卓任务上的表现：尽管Ferret-UI的训练数据集未特别包含安卓数据，该模型在安卓平台的高级任务上仍然展现出了可观的性能。这表明Ferret-UI具备跨操作系统UI知识迁移的能力。 Anyres技术的应用：Ferret-UI采用了“任何分辨率”技术，成功解决了移动设备UI屏幕长宽比多样化的问题。这项技术通过生成额外的图像特征和区域连续特征，提高了模型对小型UI元素的识别和定位精度。 高级UI任务性能：在如详细描述、感知对话、交互对话和功能推断等高级任务上，Ferret-UI展现了与GPT-4V相当，甚至在某些任务上超过GPT-4V的性能。这进一步证明了Ferret-UI在理解和执行复杂UI交互方面的高效能力。 总体来看，Ferret-UI的评测结果强调了其作为一个多模态模型在手机UI任务上的先进性和实用性。通过在基础和高级UI任务上的出色表现，Ferret-UI展示了其在改善移动设备用户交互体验方面的巨大潜力。 Ferret-UI的应用场景 移动端用户交互：Ferret-UI可用于增强智能手机和其他移动设备上的用户交互体验，通过理解用户界面来执行复杂的UI任务。 自动化测试：Ferret-UI可以应用于自动化测试领域，自动识别UI中的元素和功能，提高测试效率和准确性。 辅助设计：对于UI设计师，Ferret-UI能够提供界面元素的自动识别和分类，辅助设计过程中的决策。 Ferret-UI通过其先进的多模态理解能力和专注于移动端的设计，展现了在UI理解和交互方面的强大潜力。随着技术的进一步发展和应用，Ferret-UI有望在提升移动设备用户体验方面发挥重要作用。

Ferret-UI：苹果公司推出的多模态AI模型
8个月前
20
紫东太初大模型 “紫东太初”跨模态通用人工智能平台是由中国科学院自动化研究所研发的以多模态大模型为核心、基于全栈国产化基础软硬件平台，可支撑全场景AI应用。 依托面向超大规模的高效分布式训练框架，自动化所构建了具有业界领先性能的中文预训练模型、语音预训练模型、视觉预训练模型，并开拓性地通过跨模态语义关联实现了视觉-文本-语音三模态统一表示，构建了三模态预训练大模型，赋予跨模态通用人工智能平台多种核心能力。 可实现文本、图片、语音、视频、3D点云、传感信号等不同模态的统一表征和学习，助推通用人工智能时代加速到来。 “紫东太初”兼具跨模态理解和生成能力，具有了在无监督情况下多任务联合学习、并快速迁移到不同领域数据的强大能力。对更广泛、更多样的下游任务提供模型基础支撑，达成AI在如视频配音、语音播报、标题摘要、海报创作等更多元场景的应用。 在线体验：https://xihe.mindspore.cn/modelzoo/taichu 了解更多：https://gitee.com/mindspore/zidongtaichu 紫东太初特色 全球首个多模态图文音预训练模型 多层次多任务自监督学习 弱关联多模态数据语义统一表达 兼顾任务感知和推理增强的中文预训练模型 多粒度学习与注意力指导的视觉预训练模型 基于自监督预训练的多任务语音建模技术 中文预训练模型 文本预训练模型使用条件语言模型作为自监督目标进行训练，和GPT一样，模型根据上文来预测当前词汇，最终训练得到的模型可以生成流畅的中文表达。 本次开源的中文文本预训练模型由40层Transformer组成，隐层维度2560，包含32个注意力头，共32亿参数。训练语料丰富多样，包括新闻、百科、散文等，文本生成能力强大。 中文预训练模型基础上还可以进行微调操作，充分利用少量有监督数据增强模型在下游任务上的表现，如文本分类，对话生成、古诗创作等；除此之外，中文预训练模型还能够实现简单的少样本学习，如下图所示，输入已知的部分样例，模型能够捕捉类似的规律进行文本生成。

紫东太初大模型 “紫东太初”跨模态通用人工智能平台是由中国科学院自动化研究所研发的以多模态大模型为核心、基于全栈国产化基础软硬件平台，可支撑全场景AI应用。 依托面向超大规模的高效分布式训练框架，自动化所构建了具有业界领先性能的中文预训练模型、语音预训练模型、视觉预训练模型，并开拓性地通过跨模态语义关联实现了视觉-文本-语音三模态统一表示，构建了三模态预训练大模型，赋予跨模态通用人工智能平台多种核心能力。 可实现文本、图片、语音、视频、3D点云、传感信号等不同模态的统一表征和学习，助推通用人工智能时代加速到来。 “紫东太初”兼具跨模态理解和生成能力，具有了在无监督情况下多任务联合学习、并快速迁移到不同领域数据的强大能力。对更广泛、更多样的下游任务提供模型基础支撑，达成AI在如视频配音、语音播报、标题摘要、海报创作等更多元场景的应用。 在线体验：https://xihe.mindspore.cn/modelzoo/taichu 了解更多：https://gitee.com/mindspore/zidongtaichu 紫东太初特色 全球首个多模态图文音预训练模型 多层次多任务自监督学习 弱关联多模态数据语义统一表达 兼顾任务感知和推理增强的中文预训练模型 多粒度学习与注意力指导的视觉预训练模型 基于自监督预训练的多任务语音建模技术 中文预训练模型 文本预训练模型使用条件语言模型作为自监督目标进行训练，和GPT一样，模型根据上文来预测当前词汇，最终训练得到的模型可以生成流畅的中文表达。 本次开源的中文文本预训练模型由40层Transformer组成，隐层维度2560，包含32个注意力头，共32亿参数。训练语料丰富多样，包括新闻、百科、散文等，文本生成能力强大。 中文预训练模型基础上还可以进行微调操作，充分利用少量有监督数据增强模型在下游任务上的表现，如文本分类，对话生成、古诗创作等；除此之外，中文预训练模型还能够实现简单的少样本学习，如下图所示，输入已知的部分样例，模型能够捕捉类似的规律进行文本生成。

中科院自动化研究所-紫东太初大模型
8个月前
50
Stable Code Instruct 3B是什么？ Stable Code Instruct 3B是Stability AI推出的先进代码语言模型，基于 Stable Code 3B 的指令调优 Code LM，旨在通过解读自然语言指令来生成代码、解决问题及执行多种编程语言的查询，从而简化软件开发流程，提高编程效率和直观性。 Stable Code Instruct 3B支持多种编程语言，能够理解复杂的自然语言指令，并在多个编程任务上展现出优异的性能。这个工具特别适合在多样化环境中工作的软件开发者。 了解详情，请前往官方博客：https://stability.ai/news/introducing-stable-code-instruct-3b Stable Code Instruct 3B的主要特性 Stable Code Instruct 3B的主要功能特性包括： 代码生成与补全：提供高质量的代码生成和补全功能，帮助开发者快速编写和完善代码。 自然语言理解：能够理解并执行基于自然语言的编程指令，使得与模型的交互更加直观和灵活。 多样化编程任务：除了代码补全，还能处理代码翻译、解释、创建和数据库查询等任务。 多语言支持：专注于主流编程语言，如Python、JavaScript、Java、C、C++和Go，并涵盖其他语言如SQL、PHP和Rust。 指令调整优化：特别调整以遵循用户的细微差别指令，提升了执行特定编程任务的准确性和效率。 这些功能特性使Stable Code Instruct 3B成为一个强大的编程辅助工具，旨在提高软件开发的效率和质量。 如何使用Stable Code Instruct 3B？ Stable Code Instruct 3B 现已对商业用途开放， Stability AI 会员资格可以使用。Stable Code Instruct 3B 的权重和代码现在可以在 Hugging Face 上找到。 在线测试：https://huggingface.co/spaces/stabilityai/stable-code-instruct-3b Hugging Face地址：https://huggingface.co/stabilityai/stable-code-instruct-3b 技术报告：https://stability.ai/s/Stable_Code_TechReport_release.pdf

Stable Code Instruct 3B是什么？ Stable Code Instruct 3B是Stability AI推出的先进代码语言模型，基于 Stable Code 3B 的指令调优 Code LM，旨在通过解读自然语言指令来生成代码、解决问题及执行多种编程语言的查询，从而简化软件开发流程，提高编程效率和直观性。 Stable Code Instruct 3B支持多种编程语言，能够理解复杂的自然语言指令，并在多个编程任务上展现出优异的性能。这个工具特别适合在多样化环境中工作的软件开发者。 了解详情，请前往官方博客：https://stability.ai/news/introducing-stable-code-instruct-3b Stable Code Instruct 3B的主要特性 Stable Code Instruct 3B的主要功能特性包括： 代码生成与补全：提供高质量的代码生成和补全功能，帮助开发者快速编写和完善代码。 自然语言理解：能够理解并执行基于自然语言的编程指令，使得与模型的交互更加直观和灵活。 多样化编程任务：除了代码补全，还能处理代码翻译、解释、创建和数据库查询等任务。 多语言支持：专注于主流编程语言，如Python、JavaScript、Java、C、C++和Go，并涵盖其他语言如SQL、PHP和Rust。 指令调整优化：特别调整以遵循用户的细微差别指令，提升了执行特定编程任务的准确性和效率。 这些功能特性使Stable Code Instruct 3B成为一个强大的编程辅助工具，旨在提高软件开发的效率和质量。 如何使用Stable Code Instruct 3B？ Stable Code Instruct 3B 现已对商业用途开放， Stability AI 会员资格可以使用。Stable Code Instruct 3B 的权重和代码现在可以在 Hugging Face 上找到。 在线测试：https://huggingface.co/spaces/stabilityai/stable-code-instruct-3b Hugging Face地址：https://huggingface.co/stabilityai/stable-code-instruct-3b 技术报告：https://stability.ai/s/Stable_Code_TechReport_release.pdf

Stable Code Instruct 3B：Stability AI推出的代码语言模型
8个月前
30
没有了