各大网站提交入口/头条收录提交入口

各大网站提交入口,头条收录提交入口,哪家公司做网站开发做得比较好,网站建设一般用到的语言1. 再论抽取方法在前一期实验中，对gne组件进行分析和完善，对三种时间抽取的方法进行了实验对比。在对抽取结果进行个例分析的过程中，我发现此前实验存在几个问题： 抽取的1000篇新闻存在一定的重复，经过ID去重大约减…

1. 再论抽取方法

在前一期实验中，对gne组件进行分析和完善，对三种时间抽取的方法进行了实验对比。
在对抽取结果进行个例分析的过程中，我发现此前实验存在几个问题：

抽取的1000篇新闻存在一定的重复，经过ID去重大约减少了36篇。尽管重复新闻的HTML内容并不一定完全一样，但考虑到采样合理性，在新的实验中，加入基于ID的简单去重策略。去重这个问题比较复杂，后续单开一篇来讨论。
基于文本的正则匹配抽取，其基于//text()，会对整个HTML下面的文本段落段落进行匹配，其中包括<style>（CSS样式）和<script>（JS脚本）的内容，尤其是<script>可能与JSON-LD重复，且会匹配JS脚本中的非发布日期。在新的改进中，首先移除HTML中的全部<style>和<script>标签，然后分别对<head>和<body>进行匹配，即规则分为 //head//text()和//body//text()两种。理论上来说，<head>中如果出现日期，大概率就是<meta>和JSON-LD中的日期，其他<head>标签中出现的日期即便有也不能采信。在实验中我的确发现了一例，在<title>中出现了日期，虽然是对的，但是不如正文中的时间精确。
除了已经考虑的<meta>和JSON-LD两种被认为较为可靠的方式外，还有其他较为可靠的方式未考虑，即<time>标签以及带有诸如date、time样式的<span>或<div>标签。

2. 时间抽取结果统计

3. 案例分析

为了尽量提高抽取的准确率，对抽取结果进行人工走查分析。

3.1.抽取结果分析（recalled case analysis）

对抽取的888条进行人工走查，判断是否准确。网页新闻发布时间的准确率判断有两个标准：（1）必须是合法的日期/时间/日期时间的格式。可以首先通过一组较为严格的正则表达式进行校验，对于不匹配的再进行人工核查。（2）是否的确为该网页所表达的新闻发布时间，也就是说没有误抽。

3.1.1.格式正确性分析

经自动检查和人工核查，在888条结果中，有14条抽取错误，详情如下：

1231405504,06:10 PM06:41 PM06:15 PM06:21 PM06:40 PM
1231393829,Posted yesterday at 6:09am
1231401467,06:10 PM06:41 PM06:15 PM06:21 PM06:40 PM
1231373684,06:10 PM06:41 PM06:15 PM06:21 PM06:40 PM
1231413941,5 hours ago5 hours ago5 hours ago1 day ago21 hours ago
1231423363,Published
1231429109,Posted yesterday at 8:29am
1231423418,Published
1231442966,15:4515:1315:0614:3513:4513:2413:0912:5512:3512:0411:3611:2211:1217:0016:4516:3016:0015:3515:0014:3014:0613:4513:0512:3111:5311:4011:3611:1317:0916:33
1231413993,12 Mar 2025 5:56 pm AEDT12 Mar 2025 5:48 pm AEDT12 Mar 2025 5:45 pm AEDT12 Mar 2025 5:44 pm AEDT12 Mar 2025 5:44 pm AEDT12 Mar 2025 5:34 pm AEDT12 Mar 2025 5:34 pm AEDT12 Mar 2025 5:28 pm AEDT12 Mar 2025 5:14 pm AEDT12 Mar 2025 5:12 pm AEDT12 Mar 2025 5:09 pm AEDT12 Mar 2025 5:09 pm AEDT12 Mar 2025 5:08 pm AEDT12 Mar 2025 5:02 pm AEDT12 Mar 2025 5:02 pm AEDT12 Mar 2025 5:02 pm AEDT12 Mar 2025 4:58 pm AEDT12 Mar 2025 4:54 pm AEDT12 Mar 2025 4:52 pm AEDT12 Mar 2025 4:49 pm AEDT12 Mar 2025 4:48 pm AEDT12 Mar 2025 4:48 pm AEDT12 Mar 2025 4:48 pm AEDT12 Mar 2025 4:48 pm AEDT12 Mar 2025 4:42 pm AEDT12 Mar 2025 4:42 pm AEDT12 Mar 2025 4:40 pm AEDT12 Mar 2025 4:38 pm AEDT
1231404665,12 Mar 2025 4:38 pm AEDT12 Mar 2025 4:22 pm AEDT12 Mar 2025 4:20 pm AEDT12 Mar 2025 4:13 pm AEDT12 Mar 2025 4:12 pm AEDT12 Mar 2025 4:12 pm AEDT12 Mar 2025 4:07 pm AEDT12 Mar 2025 4:07 pm AEDT12 Mar 2025 4:06 pm AEDT12 Mar 2025 4:06 pm AEDT12 Mar 2025 4:06 pm AEDT12 Mar 2025 4:00 pm AEDT12 Mar 2025 3:58 pm AEDT12 Mar 2025 3:52 pm AEDT12 Mar 2025 3:48 pm AEDT12 Mar 2025 3:48 pm AEDT12 Mar 2025 3:46 pm AEDT12 Mar 2025 3:42 pm AEDT12 Mar 2025 3:41 pm AEDT12 Mar 2025 3:40 pm AEDT12 Mar 2025 3:40 pm AEDT12 Mar 2025 3:36 pm AEDT12 Mar 2025 3:36 pm AEDT12 Mar 2025 3:30 pm AEDT12 Mar 2025 3:28 pm AEDT12 Mar 2025 3:24 pm AEDT12 Mar 2025 3:22 pm AEDT12 Mar 2025 3:22 pm AEDT
1231409967,2025-03-112024-11-072024-12-042025-01-192025-03-102025-02-272025-02-262025-02-25
1231295956,03/11/2025 - 09:5403/10/2025 - 09:4403/06/2025 - 10:29
1231402230,12 Mar 2025 8:42 pm AEDT12 Mar 2025 8:42 pm AEDT12 Mar 2025 8:22 pm AEDT12 Mar 2025 8:16 pm AEDT12 Mar 2025 8:14 pm AEDT12 Mar 2025 8:14 pm AEDT12 Mar 2025 8:08 pm AEDT12 Mar 2025 8:02 pm AEDT12 Mar 2025 8:02 pm AEDT12 Mar 2025 7:56 pm AEDT12 Mar 2025 7:46 pm AEDT12 Mar 2025 7:44 pm AEDT12 Mar 2025 7:42 pm AEDT12 Mar 2025 7:40 pm AEDT12 Mar 2025 7:34 pm AEDT12 Mar 2025 7:32 pm AEDT12 Mar 2025 7:28 pm AEDT12 Mar 2025 7:24 pm AEDT12 Mar 2025 7:12 pm AEDT12 Mar 2025 7:12 pm AEDT12 Mar 2025 7:12 pm AEDT12 Mar 2025 7:04 pm AEDT12 Mar 2025 7:02 pm AEDT12 Mar 2025 6:56 pm AEDT12 Mar 2025 6:56 pm AEDT12 Mar 2025 6:54 pm AEDT12 Mar 2025 6:50 pm AEDT12 Mar 2025 6:46 pm AEDT

可以发现其中出现了几条相对时间，如“5 hours ago”、“yesterday at 8:29am”，以及只有时间如“06:10 PM”，这类信息在缺少上下文的情况下无法推断绝对时间，应视为无效抽取。查看网页（https://www.thisdaylive.com/index.php/2025/03/11/police-rescue-two-priests-other-kidnap-victims-in-adamawa-bayelsa/）：

<span class="date">5 hours ago</span>

在这里插入图片描述
说明是通过其他类标签匹配。同时这个信息其实并非当前新闻的发布时间，而是页面旁边的新闻列表中的时间。该页面真正的发布时间是在一个隐藏标签中：

<span class="todays-date hide-for-sm-down">Wednesday, 12th March, 2025</span>

标题下面也出现了日期：

<span class="date-container"><i class="fa-light fa-calendar-days"></i> <span class="date">21 hours ago</span></span>

date-container这个样式还在其他标签中出现了。
另外也出现了“Published”，发现是其他类标签抽取出错，HTML片段如下：

<span class="date">Published</span> <span class="entry-date updated" title="6:01 pm">March 11, 2025</span>

然后这个情况处理比较复杂，虽然可以将entry-date updated加入规则中，但是其日期在text()中，时间则是在@title中。
另一个网页中（https://98q.com/local-news-stories/efb6880a8150553e5bf8c87c87c03cac）的情况如下：

<span class="date"> Posted yesterday at 8:29am </span>

除此之外，没有任何其他位置包含时间信息。其他示例包括

<time class="article-intro__date" datetime="2025-03-11" itemprop="datePublished">March 11, 2025</time>
<span class="date updated published-date" itemprop="datePublished" content="2025-03-11T14:36:16+00:00">12 Mar 2025 1:36 am AEDT</span>

从这些个例可以看出，基于其他任意标签的时间戳往往比较随意，因此需要严格限定规则。

3.1.2.语义正确性分析

对874个抽取取正确时间格式（绝对时间）进行抽样检查，看是否为实际的新闻发布时间。
抽样了10个结果，发现9个抽取自<meta>，1个抽取自JSON-LD，语义全部正确。由于这一批数据大体上都在3月11日左右，因此通过筛选出与3月11日相差较大的日期（如3月9日以前），进行人工对比分析。

出现以下情况：

<meta name="articleDate" content="2025-03-11">
<time datetime="2025-03-07T16:00:00-07:00" class="tnt-date asset-date text-muted">Mar 7, 2025</time>
<div class="PromoA-timestamp" data-timestamp="1610379720000" data-date="January 11, 2021 at 10:42 AM EST" data-promo-date="January 11, 2021" data-show-timestamp="true">, January 11, 2021</div></div>