数据处理是数据分析和系统开发中的核心环节，以下是关于数据接入、数据统计和数据转换三大技法的详细解析：

1. 数据接入

定义：将数据从外部来源(如文件、数据库、API、传感器等)导入到处理系统(如数据库、数据仓库、分析工具)的过程。

关键技术与工具：

文件读取：结构化文件：CSV、Excel(Python的pandas、SQL的COPY语句)。

非结构化文件：JSON、XML(json模块、BeautifulSoup)。

数据库连接：SQL数据库：pymysql、sqlalchemy(Python)，JDBC(Java)。

NoSQL数据库：MongoDB(pymongo)、Elasticsearch(elasticsearch库)。

API调用：requests(Python)、axios(JavaScript)用于RESTful API。

流式数据：Kafka、RabbitMQ(实时数据接入)。

大数据工具：ETL工具：Apache NiFi、Airflow。

批量处理：Sqoop(Hadoop与关系数据库交互)。

典型场景：

日志收集(如ELK Stack：Elasticsearch + Logstash + Kibana)。

实时数据流处理(如Kafka + Spark Streaming)。

多源数据整合(如从API、数据库、文件同步到数据仓库)。

2. 数据统计

定义：对数据进行汇总、计算和分析，提取有价值的信息(如总和、平均值、分布、关联性等)。

核心技术与工具：

描述性统计：均值、中位数、标准差(pandas的.mean()、.median())。

分组统计：groupby操作(如按地区统计销售额)。

推断性统计：假设检验(scipy.stats)、置信区间。

相关性分析：皮尔逊系数、卡方检验(pandas的.corr())。

SQL聚合：COUNT()、SUM()、AVG()、GROUP BY。

可视化统计：Matplotlib/Seaborn绘制直方图、箱线图、热力图。

机器学习统计：特征重要性分析(如基于决策树的特征排序)。

典型场景：

业务报表生成(如每日活跃用户数、转化率)。

异常检测(如通过3σ原则识别离群值)。

A/B测试结果分析(如计算显著性差异)。

3. 数据转换

定义：对数据进行清洗、格式化、特征工程等操作，使其满足分析或建模需求。

核心技术与工具：

数据清洗：缺失值处理：填充(均值/中位数)、删除(pandas的.fillna())。

重复值去重(.drop_duplicates())。

异常值处理(如IQR法、Z-Score)。

数据标准化：归一化(Min-Max Scaling)：(x - min)/(max - min)。

标准化(Z-Score)：(x - μ)/σ(sklearn.preprocessing)。

特征工程：编码分类变量：独热编码(One-Hot)、标签编码(pandas.get_dummies())。

时间特征提取：年份、月份、星期几(datetime模块)。

数据类型转换：字符串转日期：pd.to_datetime()。

数值类型转换：astype(float)。

文本处理：分词、停用词过滤(nltk、spaCy)。

TF-IDF向量化(sklearn.feature_extraction)。

典型场景：

构建机器学习数据集(如将原始日志转换为特征矩阵)。

ETL流程中的数据清洗(如电商订单数据的去重和格式统一)。

时序数据分析前的日期特征提取(如季度、节假日标记)。

三者关系与流程

数据接入 → 数据转换 → 数据统计：先获取数据(接入)，再清洗/转换，最后统计分析或建模。

迭代优化：统计结果可能反馈到转换步骤(如发现异常值需重新清洗)。

转换后的数据可能触发新的接入需求(如补充缺失数据源)。

数据接入解决“从哪里拿数据”，数据统计回答“数据有什么规律”，数据转换确保“数据能用”。

实际项目中需根据业务场景组合使用(如实时流处理+周期性统计+动态特征转换)。