隐私遇上创新！ScreenPipe全天候监控你的数据，让你和大模型交互

ScreenPipe 是一个开源工具，可以24小时不停地录制你的屏幕和麦克风。它的目的是帮助你收集生活中的各种信息，然后轻松地把这些数据连接到人工智能，帮助你进行搜索、自动化操作等。（链接在文章底部）

ScreenPipe 可以帮你抓取屏幕截图、录音、识别文字（OCR）和把语音转换成文字。它会把这些数据保存在你的电脑里，使用 SQLite 数据库和 MP4 文件。之后，你可以通过 API 查找这些数据，并将它们与人工智能连接，用于不同的应用场景。ScreenPipe 可以帮助你管理个人知识、自动记录任务、提供智能助手、轻松把数据输入到 CRM 系统等。可以在设置里调整视频的帧率和分辨率，选择较低的值会节省存储空间和电力。

01 软件架构

其结构分为四个主要部分：

1. 输入源 (Input Source)：从屏幕捕获视频内容，支持窗口、整个屏幕或多个屏幕的录制。通过音频和麦克风捕获音频输入。

2. 数据提取与收集 (Data Extraction, Collection)：将屏幕上的文本进行时间戳标记，并将用户操作的历史记录进行收集。将捕获的音频进行时间戳标记的转录。所有数据存储在SQL数据库中，并通过嵌入技术进行处理。

3. 查询、分析与后处理 (Query, Analyze, Post-Process)：使用索引和向量搜索技术，对捕获的数据进行关键词和语义搜索。数据可进一步进行分类、标记、标签化并生成元数据。

4. 前端 (Front-End)：用户通过Web应用或桌面工具栏访问系统。支持基于LLM（大语言模型）的搜索历史查询。允许用户创建、查看总结和指标，并基于特定事件触发操作。

02 实际使用与问题

ScreenPipe项目具备多个优秀特点，包括连续屏幕捕获和文字识别、自动录音与会议转录、以及本地数据存储，确保用户完全掌控自己的信息。它支持Mac、Windows和Linux等多个平台，并能与Ollama、OpenAI、Obsidian等工具无缝集成。

目标是支持个人知识管理、生产力优化和智能助手等多种应用。目前已建立一个用Rust编写的高性能系统，并提供便捷的桌面应用，方便用户快速上手。 但 同时也存在很多问题， 例如 ： 监控面克风和屏幕的 隐私性问题 ； 数据存储的大小空间 问 题 ；

https://screenpi.pe/
https://github.com/mediar-ai/screenpipe

欢迎交流～，带你学习AI，了解AI