ScreenPipe 是一个开源工具,可以24小时不停地录制你的屏幕和麦克风。它的目的是帮助你收集生活中的各种信息,然后轻松地把这些数据连接到人工智能,帮助你进行搜索、自动化操作等。(链接在文章底部)
ScreenPipe 可以帮你抓取屏幕截图、录音、识别文字(OCR)和把语音转换成文字。它会把这些数据保存在你的电脑里,使用 SQLite 数据库和 MP4 文件。之后,你可以通过 API 查找这些数据,并将它们与人工智能连接,用于不同的应用场景。ScreenPipe 可以帮助你管理个人知识、自动记录任务、提供智能助手、轻松把数据输入到 CRM 系统等。可以在设置里调整视频的帧率和分辨率,选择较低的值会节省存储空间和电力。
01 软件架构
其结构分为四个主要部分:
1. 输入源 (Input Source):从屏幕捕获视频内容,支持窗口、整个屏幕或多个屏幕的录制。通过音频和麦克风捕获音频输入。
2. 数据提取与收集 (Data Extraction, Collection):将屏幕上的文本进行时间戳标记,并将用户操作的历史记录进行收集。将捕获的音频进行时间戳标记的转录。所有数据存储在SQL数据库中,并通过嵌入技术进行处理。
3. 查询、分析与后处理 (Query, Analyze, Post-Process):使用索引和向量搜索技术,对捕获的数据进行关键词和语义搜索。数据可进一步进行分类、标记、标签化并生成元数据。
4. 前端 (Front-End):用户通过Web应用或桌面工具栏访问系统。支持基于LLM(大语言模型)的搜索历史查询。允许用户创建、查看总结和指标,并基于特定事件触发操作。
02 实际使用与问题
ScreenPipe项目具备多个优秀特点,包括连续屏幕捕获和文字识别、自动录音与会议转录、以及本地数据存储,确保用户完全掌控自己的信息。它支持Mac、Windows和Linux等多个平台,并能与Ollama、OpenAI、Obsidian等工具无缝集成。
目标是支持个人知识管理、生产力优化和智能助手等多种应用。目前已建立一个用Rust编写的高性能系统,并提供便捷的桌面应用,方便用户快速上手。 但 同时也存在很多问题, 例如 : 监控面克风和屏幕的 隐私性问题 ; 数据存储的大小空间 问 题 ;
https://screenpi.pe/
https://github.com/mediar-ai/screenpipe欢迎交流~,带你学习AI,了解AI
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.