什么是大数据？
大数据是指规模巨大、类型多样、产生速度快的数据集合，传统的数据处理工具难以在合理时间内处理。大数据技术的核心价值在于：从海量数据中发现模式、提取洞察、支持决策。
📊 数据爆炸
人类在过去两年产生的数据，比之前整个历史加起来还多。每天产生2.5万亿字节的数据——相当于每天产生2.5亿部高清电影的数据量。
大数据的5V特征
📦 Volume（大量）
数据规模从TB到PB甚至EB级别。一个大型互联网公司可能每天产生数百PB的数据。
⚡ Velocity（高速）
数据产生和处理的速度极快。实时流数据需要在毫秒内处理。
🎨 Variety（多样）
数据类型多样：结构化（数据库）、半结构化（JSON）、非结构化（图片、视频、文本）。
✓ Veracity（真实）
数据质量参差不齐，需要清洗和验证，确保分析结果的可靠性。
大数据技术栈
数据采集
从各种来源收集数据：日志、传感器、用户行为、交易记录、社交媒体等。工具如Flume、Kafka。
数据存储
海量数据需要分布式存储系统。Hadoop HDFS是经典的分布式文件系统，数据分散存储在多台服务器上。
数据处理
- 批处理：处理历史数据（Hadoop MapReduce、Spark）
- 流处理：处理实时数据（Kafka Streams、Flink、Storm）
数据分析
使用SQL查询（Hive、Presto）、机器学习（Spark MLlib）、图计算（GraphX）等工具分析数据。
数据可视化
将分析结果以图表、仪表盘的形式展示。工具如Tableau、Power BI、ECharts。
大数据的应用场景
个性化推荐
淘宝的"猜你喜欢"、抖音的视频推荐、Netflix的影片推荐，都是基于大数据分析用户行为和偏好。
精准营销
通过分析用户画像，在合适的时间、合适的渠道，向合适的人推送合适的广告。
风险控制
银行利用大数据进行信用评估、反欺诈检测。分析交易模式，实时识别可疑行为。
智慧城市
分析交通流量优化信号灯、预测犯罪热点区域、监测空气质量、优化能源使用。
医疗健康
分析病历数据辅助诊断、追踪疫情传播、发现新药、个性化治疗方案。
💡 数据驱动决策
过去的决策依靠经验和直觉，现在可以基于数据做出更科学的决策。但要警惕"数据迷信"——数据可能有偏见，相关性不等于因果性。
大数据与AI的关系
大数据是AI的"燃料"。没有大量的训练数据，深度学习模型无法学会识别图像、理解语言。两者相互促进：
- 大数据为AI提供训练素材
- AI帮助从大数据中发现价值
- 更多数据让AI更聪明
- 更聪明的AI能处理更复杂的数据
数据湖vs数据仓库
- 数据仓库：存储结构化数据，预先定义好schema，适合商业智能分析
- 数据湖：存储原始数据（任何格式），写入时不需要定义结构，更灵活，成本更低
现代架构趋势是"湖仓一体"（Lakehouse），结合两者优点。
大数据的挑战
- 数据隐私：如何在利用数据的同时保护用户隐私
- 数据质量：垃圾进，垃圾出——数据清洗非常重要
- 人才缺口：数据工程师、数据科学家供不应求
- 技术复杂：大数据技术栈复杂，学习曲线陡峭