华为云日志服务：激活海量日志数据，云时代下的数据价值新飞跃

随着人工智能、大数据、物联网以及云计算时代的到来，在日志数据量持续爆增、日志数据日益多样化的今天，传统日志服务器的管理模式已经追不上日志数据的增速，企业对日志管理系统的要求越来越高，面对当前的挑战和机遇，众多云服务厂商纷纷推出了云日志服务，以此来满足企业的需求。

华为云日志服务 (Log Tank Service)为用户提供日志的收集、查询和存储功能，可以帮助用户轻松应对日志实时采集、查询分析等繁琐复杂工作。让用户在决策分析、日常运维定位问题时做到有据可依。

云日志服务核心价值

云日志服务提供多种接入方式实现海量日志接入LTS，支持日志搜索引擎、SQL分析引擎、日志加工引擎。

• 端云全场景日志接入：40+云服务、主机/容器、移动端、跨云、多语言SDK、多账号汇聚，满足全场景客户丰富的日志接入需求。
• 海量日志存储搜索：百亿日志秒级搜索，千亿日志迭代搜索，PB级智能冷存储。
• SQL统计和可视化图表：100+SQL函数、多种可视化图表、10多种开箱即用仪表盘。
• 实时日志告警：自定义告警内容，短信/邮件/企业微信/钉钉/HTTP多渠道通知。
• 一站式日志加工：200＋函数、一站式日志规整、富化、脱敏、过滤、分裂加工平台。
• 日志数据服务间集成：日志转储OBS/DWS/DIS/DLI/DMS，助力用户快速构建水平解决方案。

云日志服务产品功能

端云全场景日志接入

支持40+云服务、主机/容器、移动端、跨云、多语言SDK、多账号汇聚，满足全场景客户丰富的日志接入需求。

海量日志存储搜索：对采集的日志数据，可以通过关键字查询、模糊查询等方式简单快速地进行查询，支持百亿日志秒级搜索，千亿日志迭代搜索，PB级智能冷存储。

SQL统计和可视化图表

• LTS提供多种开箱即用的日志仪表盘模板，用户接入日志后即可快速分析。
• 将日志分析的结果使用可视化图表呈现出来，支持表格、折线图、饼图、柱状图、地图等统计图表，或将统计图表汇聚在仪表盘上统一呈现，方便运营分析。

日志监控与日志告警

支持对存储在云日志服务中的日志数据进行关键词统计或SQL统计，通过在一定时间段内日志中关键字出现次数，实时监控服务运行状态；支持自定义告警内容，支持短信/邮件/企业微信/钉钉/HTTP多渠道通知。

日志转储

• 主机和云服务的日志数据上报至云日志服务后，支持自定义存储时间。超出存储时间的日志数据将会被自动删除，对于需要长期存储的日志数据（日志持久化），云日志服务提供转储功能，可以将日志转储至对象存储服务（OBS）中长期保存。日志转储基于复制的转储机制，在LTS设置的存储时间内转储至OBS的日志，不会在LTS被删除。
• 同时LTS还支持转储DWS/DIS/DLI/DMS，让用户实现日志数据便捷在云服务间流转，快速构建水平解决方案。

日志消费与加工

• LTS提供DSL日志加工的能力，内置200＋函数，可以实现一站式日志规整、富化、脱敏、过滤、分裂等功能；另外结合定时SQL统计，可以对数据实现聚合统计。
• 支持用户使用SDK消费LTS日志，可以获取全量日志数据，可以作为流计算的数据源（SDK消费功能邀测中，暂未开放）。

云日志服务应用场景

应用运维

企业在日常业务运维、审计或等保时，需要收集各种类型的日志，常遇到如下痛点：

• 企业部门多且日志繁杂，日志量大。
• 云服务资源种类数量多，不熟悉监控指标和运维日志，运维难度大。
• 安全合规要求高，等保合规要求日志长期存储，人力不足，维护成本高。

基于云日志服务LTS可以实现：

• 提供全场景日志接入，全面覆盖业务、应用、中间件和基础设施，实现快速收集日志。
• 支持秒级日志查询和分钟级日志监控，通过配置告警规则和告警通知，实现分钟级问题定位和分析。
• 支持将日志转储至OBS实现长期保存，满足网络安全要求。

LTS提供解决方案，可以实现统一收集生产环境应用日志，开发人员检索分析日志，运维人员基于日志配置告警，实时感知现网业务，及时发现并解决故障问题。

安全合规

大型企业的每个业务部门都有独立的云账户实现资源隔离，每个业务部门的运维人员需要依赖日志监控告警实现故障定位分析，同时集团安全部门需要统一监控日志，因此多账号的统一日志管理成为企业痛点：

分业务独立运维：客户每个业务模块都有一个独立的账号做资源隔离，依赖日志服务配置监控告警，快速分析发现故障并定位根因。

安全部门统一监控日志：客户使用多账号管理体系，每个业务部门有一个独立的账号，安全部门需要汇聚所有日志到一个账号，并存储180天以上来满足法规要求。

基于云日志服务LTS可以实现：

多账号独立管理：每个账号独立采集各自业务的应用日志、云服务日志，资源互相隔离、权限划分清晰；借助日志告警配置，90%问题定位控制在10分钟。

日志数据跨账号集中汇聚：使用LTS的多账号日志汇聚功能，将各个子账号的日志复制一份到统一监控账号，长期存储180天，便于安全部门集中审计，满足网络安全法规要求。

LTS提供解决方案，可以实现统一收集云服务、应用程序日志，支持保存180天以上，满足《网络安全法》、《GDPR》等法律法规要求。

运营分析

企业在日常经营中，可以上报各种业务日志（例如移动端日志、服务端日志），经过规整、过滤、脱敏、富化等加工处理后，可以融合大数据平台、BI工具进行业务分析，例如获取页面的PV、UV、用户停留时间、交易金额等，用于了解业务运营状况、分析用户行为特征，基于实时的数据分析反馈调整业务决策，提升用户体验，提升经营效率，实现企业的数字化转型。

在业务分析过程中经常遇到如下痛点：

• 移动端数据难采集：难以快速采集多种移动端设备，例如Web浏览器、IOS、安卓、百度小程序、微信小程序、钉钉小程序、快应用等多类端侧日志无法快速采集。
• 数据传输不可靠：移动端日志数据量多且频繁，传输速度慢，也极易出现丢失，对业务分析造成一定影响。
• 数据处理不方便：原始数据不方便处理，不方便快速与大数据平台实现对接。

云日志服务LTS支持采集多种移动端日志，融合大数据完成业务运营分析，基于LTS可以实现：

• 端侧日志全面采集接入：集成LTS提供的多种移动端SDK，实现了缓存发送、异常重试、批量发送等稳定功能，用户快速集成即可全面采集移动端日志到LTS。
• 秒级上报，高可靠：端侧采集日志后，经传输链路秒级完成上报，数据无丢失，支撑业务做完整性分析。
• DLI和DWS快速对接LTS：DLI-Flink简易集成Connector，定点从LTS实时消费日志；LTS日志可快速配置转储到OBS，供DLI快速从OBS读取日志；LTS支持直接将结构化日志转储到DWS。

LTS提供解决方案，可以对日志结构化解析，基于SQL语法分析日志，生成可视化图表，并结合大数据平台帮助企业进一步挖掘数据价值，助力企业数字化转型。