在 iPhone 上运行 CLIP 来搜索照片
可查询
Queryable 的开源版本,一个 iOS 应用程序,在 iOS 上使用 CLIP 模型来Photos
离线搜索专辑。
与 iPhone 默认照片库中依赖关键字的搜索功能不同,您可以使用“草坪上的狗追气球”等自然句子在 Queryable 中进行搜索。
表现
决赛.mp4
它是如何工作的?
首先,相册中的所有照片都会通过CLIP图像编码器进行逐张处理,得到一组本地图像矢量。当您输入新的文本查询时,文本将首先通过文本编码器获得文本向量,然后将其与存储的图像向量一一进行相似度比较。最后,排序并返回前K个最相似的结果。流程如下:
更多详细信息,请参阅我的文章在 iPhone 上运行 CLIP 搜索照片。
在 Xcode 上运行
从Google Drive下载ImageEncoder_float32.mlmodelc
和。TextEncoder_float32.mlmodelc
克隆这个存储库,将下载的模型放在CoreMLModels/
路径下并运行 Xcode,它应该可以工作。
贡献
你可以将Queryable应用到你自己的商业产品中,但我不建议直接修改外观然后上架App Store。您可以通过向此存储库提交提交来为该产品做出贡献,欢迎 PR。
如果您有任何问题/建议,以下是一些联系方式:Discord | 推特| Reddit:r/Queryable。
执照
我的许可证
Copyright (c) 2023 Ke Fang