Moondream - 开源的轻量级AI视觉语言模型,可在本地快速运行

AI工具2个月前发布 AI工具集
1K 0

Moondream是什么

Moondream是一个免费开源的小型的人工智能视觉语言模型,虽然参数量小(Moondream1仅16亿,Moondream2为18.6亿)但可以提供高性能的视觉处理能力,可在本地计算机甚至移动设备或 Raspberry Pi 上运行,能够快速理解和处理输入的图像信息并对用户提出的问题进行解答。该模型由开发人员vikhyatk推出,使用SigLP、Phi-1.5和LLaVa训练数据集和模型权重初始化进行构建。Moondream基于宽松的Apache 2.0许可证,允许商用。

Moondream

Moondream的官网入口

Moondream Demo

如何安装和使用Moondream

方法一:克隆官方GitHub库

确认电脑上已安装Git和Python3,然后打开终端命令依次运行以下命令:

git clone https://github.com/vikhyat/moondream.git
cd moondream
pip install -r requirements.txt
python gradio_demo.py

然后打开浏览器在moondream2 gradio界面中上传图像和输入文本提示,点击Submit即可

方法二:使用Streamlit实现版

同样首先确认电脑上已安装Git和Python3,然后打开终端命令依次运行以下命令:

git clone https://github.com/Doriandarko/Moondream2-streamlit.git
cd Moondream2-streamlit
pip install -r requirements.txt
streamlit run vision.py

然后浏览器打开 http://localhost:8501 即可运行

Moondream的应用场景

  • 监控安全集成到安全监控系统中,实时分析视频流和图像数据。如识别异常行为、可疑活动、特定物体或人员,从而帮助预防潜在的安全事件。
  • 无人机和机器人在无人机和机器人领域,进行地形识别、目标跟踪和路径规划,帮助这些设备更好地理解其周围环境。
  • 零售与购物在零售行业,Moondream可以用于分析顾客行为和购物模式,帮助零售商优化店铺布局、商品摆放和促销策略。
© 版权声明

相关文章

暂无评论

暂无评论...