在 iPhone 上运行 CLIP 来搜索照片

可查询

Queryable 的开源版本,一个 iOS 应用程序,在 iOS 上使用 CLIP 模型来Photos离线搜索专辑。

与 iPhone 默认照片库中依赖关键字的搜索功能不同,您可以使用“草坪上的狗追气球”等自然句子在 Queryable 中进行搜索。

网站| 应用商店

表现

决赛.mp4

它是如何工作的?

首先,相册中的所有照片都会通过CLIP图像编码器进行逐张处理,得到一组本地图像矢量。当您输入新的文本查询时,文本将首先通过文本编码器获得文本向量,然后将其与存储的图像向量一一进行相似度比较。最后,排序并返回前K个最相似的结果。流程如下:

更多详细信息,请参阅我的文章在 iPhone 上运行 CLIP 搜索照片

在 Xcode 上运行

Google Drive下载ImageEncoder_float32.mlmodelcTextEncoder_float32.mlmodelc

克隆这个存储库,将下载的模型放在CoreMLModels/路径下并运行 Xcode,它应该可以工作。

贡献

你可以将Queryable应用到你自己的商业产品中,但我不建议直接修改外观然后上架App Store。您可以通过向此存储库提交提交来为该产品做出贡献,欢迎 PR。

如果您有任何问题/建议,以下是一些联系方式:Discord | 推特| Reddit:r/Queryable

执照

我的许可证

Copyright (c) 2023 Ke Fang

GitHub

查看 Github