我是一名IT审计师，擅长计算机辅助审计，精通SQL\VBA\Python，熟练使用Linux。
经常干的事情是业财数据核对、业务数据各维度分析，以及编写代码对财务报表有影响的复杂逻辑进行重新计算（如成本全量重新计算、银行流水全量核对）等等。
其实大部分项目都还不是大数据。
但相信大家经常能看到各种PPT上「大数据」审计之类的，可能在财务审计眼里只要是Excel处理不了的就是大数据了。
从18年10月份以来，我应该做过有20多个不同的项目，但基本上数据量都没有超过10亿行级别，稍微大一点也就在1、2亿行的数据量的样子。
而在几亿行的数据量的情况下，勉强还是可以用SQL进行处理的，这基本上是不借助客户服务器情况下，使用个人电脑的极限。而且你还得用Linux电脑，用Windows基本上都会崩。
这两年，我有一个感觉，就是企业的数据量的级别是逐步在增大的，也许去年的项目只有1个能上亿行的数据量，而今年做的项目就已经有三个。
目前我个人使用SQL能处理的数据量大概在100G这个数量级，我相信在未来的两三年内将会有大量项目需要处理上T的能力。
这对我们来说，带来的挑战。
说简单点，你想核对数，连数都打不开，还核对个毛线。
这要求我们也要学习新的技术，和企业走到一样的水平上。
之前做过一个游戏行业的项目，核对和分析一个月的数据，一共就有80个T,当然我是没有能力处理的。我只能和企业的开发和DBA泡在一起，我提需求，他写代码出结果，我来判断。
这个过程他们使用的技术是Elastick Search和MongoDB。
当然，我自己当时也利用休息时间学了，写这些查询语句是没有问题的。
但如果你给我几台服务器，搭建起这种分布式集群，我是搞不来的，毕竟这些东西还是蛮复杂的。
就拿我现在这个项目来说：
企业SAP系统导出的序时账，一年数据就是1.1亿行，三年数据就是3亿多行。
再加上业务系统的数据，一共有几百G的数据。
一进场让企业搞台服务器，走各种流程，过了一个半月才提供。要是等着企业，黄花菜都凉了。
直接用家里的台式机，20核心10代I9处理器，32G内存，跑起数据来轻轻松松。
现在我们还能应对，但是将来呢？两年后呢？
你用所里发的3000块钱电脑能应对未来这种级别的数据审计？
你用个人电脑能应对？
但什么事都不能等、靠、要吧。
我们就先把技术学着，B站上一大把教程。比如我想掌握Hadoop和Elastic Search大数据分析技术，B站上一搜：
挺多的。
我已经懂了一丢丢会计、审计、VBA、SQL、Python、Linux，也不差这一丢丢Hadoop、ES。
等会这些技术，遇到哪个项目需要了，领导说不定就能采购三台服务器，供我们使用了。
我相信不出5年，我们数据处理能力也能跟上企业的步伐，达到几个T应该没问题吧。
嗯，我相信，
不然估计我们也被淘汰了。
2、
3
4
6、
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
