从零开始设置环境、获取凭据、编写代码到最终成功抓取youtube评论的详细步骤

 整个流程概览

阶段描述涉及的指令/操作
阶段一准备环境:安装 Python 和必要的库使用 py -m pip install ... 命令
阶段二获取凭据:设置 Google Cloud Console控制台操作,获取 API Key
阶段三编写代码:配置并运行 Python 脚本创建 fetch_comments.py 文件
阶段四结果处理:保存并查看数据修改代码,生成 .csv 文件

详细步骤与指令回顾
阶段一:准备您的开发环境
  1. 安装 Python:
    • 从 Python 官方下载页面 下载并安装 Python。
    • 关键操作: 在安装过程中,务必勾选 “Add Python.exe to PATH”
  2. 验证 Python 安装(在“命令提示符”中运行):
    bash
    py --version
    # 预期输出:Python 3.14.2 (或类似版本号)
    
    Use code with caution.
  3. 安装必要的 Python 库(在“命令提示符”中运行):
    • 这个命令解决了您遇到的 pip 错误:
    bash
    py -m pip install google-api-python-client pandas
    
    Use code with caution.
阶段二:获取 YouTube Data API 凭据
这是一个在线操作过程:
  1. 访问 Google Cloud Console
  2. 创建新项目: 点击项目选择器 > “新建项目”,输入名称并创建。
  3. 启用 API: 导航至“API 和服务” > “库”,搜索并启用 “YouTube Data API v3”
  4. 创建 API 密钥: 导航至“API 和服务” > “凭据”,点击 “+ 创建凭据” > “API 密钥”
  5. 复制密钥: 复制生成的长字符串(您的 API_KEY)。
阶段三:编写、配置并运行 Python 脚本
  1. 查找目标视频 ID:
    • 从 YouTube 视频 URL 中提取 v= 后面的字符串(例如:dQw4w9WgXcQ)。
  2. 创建 fetch_comments.py 文件:
    • 打开记事本或代码编辑器。
    • 粘贴完整的 Python 代码(如之前的回复所示),并将以下两行替换为您获取的值:
    python
    API_KEY = "您复制的API密钥字符串"
    VIDEO_ID = "您的视频ID字符串"
    
    Use code with caution.
    • 关键操作: 将文件保存为 fetch_comments.py(选择“所有文件”类型,确保扩展名为 .py)。
  3. 运行脚本(在“命令提示符”中运行):
    • 使用 cd 命令导航到您保存 fetch_comments.py 的目录(例如:cd Desktop)。
    • 运行脚本:
    bash
    py fetch_comments.py
    
    Use code with caution.
阶段四:处理和查看结果
  1. 查看抓取总数:
    • 运行脚本后,您会看到输出显示抓取到的总评论数(例如:抓取完成,共 4800 条评论。)。
  2. 将结果保存为 CSV 文件(推荐):
    • 再次编辑 fetch_comments.py 文件。
    • 取消注释保存 CSV 的那一行(删除 # 号):
    python
    df.to_csv('youtube_comments.csv', index=False, encoding='utf-8')
    
    Use code with caution.
    • 保存并重新运行脚本:py fetch_comments.py
  3. 查看数据:
    • 在与 fetch_comments.py 相同的文件夹中找到新生成的 youtube_comments.csv 文件,双击使用 Excel 等软件打开查看所有评论。

评论

  1. 查看配额使用情况
    登录 Google Cloud Console。
    确保在页面顶部的项目选择器中选择了您用于抓取评论的正确项目(例如:“YouTube Comment Scraper Project”)。
    使用左侧导航菜单,转到 “IAM 和管理” (IAM & Admin) > “配额” (Quotas)。
    在“配额”页面,您会看到一个列表。您可以使用顶部的**“过滤表” (Filter table)** 框来查找特定的 API。
    在过滤器中输入 YouTube Data API v3 或 YouTube。
    在“服务”列下,点击“YouTube Data API v3”。
    页面将显示您项目的配额限制和当前使用情况的图表。
    您会看到一个名为 “Quota (每日)” 或 “Requests per day” 的指标。
    图表会直观显示您今天已经使用了多少配额单位(总共 10,000 单位)。
    通过这个页面,您可以准确监控自己的使用量,确保它保持在每日 10,000 单位的免费限制内,从而避免任何费用。每日配额会在太平洋时间 (Pacific Time, PT) 午夜重置。

    回复删除
  2. 如何保持免费使用?
    Google Cloud 为许多服务(包括 YouTube Data API)提供了慷慨的**“永久免费” (Always Free) 层级**,这是区别于 90 天试用期的。
    只要您将使用量控制在这个免费层级限制内,就不会产生费用:
    1. 核心是控制 YouTube Data API 配额
    对于抓取 YouTube 评论,您只需要关注 YouTube Data API v3 的使用配额。
    永久免费配额: Google 每天为您的项目提供 10,000 个“配额单位” (Quota Units) 的免费使用额度 [2, 3]。
    抓取评论的消耗: 抓取一页评论(最多 100 条)通常会消耗大约 100 个配额单位 [1]。
    安全范围: 只要您每天抓取的评论页数不超过约 100 页(总计约 10,000 条评论),您就可以永久免费使用此 API。
    2. 避免使用其他付费服务
    确保您只启用了 YouTube Data API,并且没有不小心启动了其他昂贵的 Google Cloud 服务,例如虚拟机 (Compute Engine)、大型数据库或 AI 服务。
    3. 设置配额限制和提醒
    最安全的方法是主动设置预算提醒:
    在 Google Cloud Console 中,导航到**“账单” (Billing) > “预算和提醒” (Budgets & alerts)**。
    您可以设置一个每月 1 美元或 5 美元的预算,这样,如果您意外超出了免费配额,Google 会立即向您发送电子邮件提醒,防止产生意外费用。
    90 天免费试用期结束后会如何收费?
    90 天免费试用期结束后,您的账户会发生以下变化:
    自动暂停服务: 试用期结束或 300 美元赠金用完后,Google 会自动暂停您的所有付费服务(包括免费试用期内的所有服务),以防止意外扣费 [3]。
    需要升级账户才能继续使用: 如果您想继续使用服务,即使是免费层级的服务,您也必须手动**“升级” (Upgrade)** 您的 Google Cloud 账户。
    升级后的计费方式:
    升级后,您的账户将切换为**“按使用量付费” (Pay As You Go)** 模式。
    免费层级依然有效: 升级后,您仍然可以继续享受永久免费层级的配额(例如 YouTube API 每天 10,000 单位)。
    超出即收费: 只有当您的使用量超出永久免费配额时,Google 才会根据您注册时提供的付款方式自动收取超出的那部分费用。
    总结
    您需要提供付款信息才能使用 Google Cloud,但在免费配额内使用 YouTube Data API 是免费且永久有效的。关键在于监控您的配额使用情况,并通过设置预算提醒来避免意外支出。

    回复删除
  3. 抓取一次大概4800条评论。用到0.98% 的使用率意味着您今天只使用了大约 98 个配额单位(总共 10,000 个免费单位),而您却抓取了 4800 多条评论。
    这证实了您目前的使用方式非常高效,并且远远低于免费限制。您完全可以放心地继续抓取评论,只要您每天的使用量保持在 100%(10,000 单位)以下,就不会产生任何费用。
    现在您可以专注于使用您保存的 youtube_comments.csv 文件来分析或使用您抓取到的数据了!

    回复删除
  4. https://share.google/aimode/dRzq8j42OUfEUvJbv

    回复删除
  5. https://share.google/aimode/5ITHr52sMBoisIXtZ

    回复删除

发表评论

此博客中的热门博文

躺在家里用Fiverr赚钱?很多普通人已经月入过万了!