Skip to content

docs: 補充 5 項資料限制與使用注意事項的揭露說明(中英 + llms-full) - #176

Open
linsamtw wants to merge 1 commit into
masterfrom
feature/data-quality-disclosure-notes
Open

docs: 補充 5 項資料限制與使用注意事項的揭露說明(中英 + llms-full)#176
linsamtw wants to merge 1 commit into
masterfrom
feature/data-quality-disclosure-notes

Conversation

@linsamtw

@linsamtw linsamtw commented Aug 7, 2026

Copy link
Copy Markdown
Contributor

2026-08-07 全 dataset 品質稽核找到的 5 個項目,屬於「上游機制或既有限制、無法用程式修掉、但使用者必須事先知道」的資料特性,補進對外文件。

全部以 ??? note 摺疊區塊呈現,放在各 dataset 的 bullet list 之後、!!! example 之前,沿用既有排版與語氣。

揭露項目與擺放位置

# 項目 頁面 / 段落
1 2005 年以前上市(TWSE)資料的倖存者偏誤 Technical → TaiwanStockPrice
2 上櫃 2007-01-02 ~ 2007-04-20 缺少個股日成交資訊 Technical → TaiwanStockPrice
3 整日查詢時 stock_id 含 32 個英文指數代號 Technical → TaiwanStockPrice
4 5 秒級 dataset 的揭示頻率分四個世代 Technical → TaiwanStockStatisticsOfOrderBookAndTradeTaiwanVariousIndicators5SecondsTaiwanStockEvery5SecondsIndex
5 2023-08-04 開盤有一列前一交易日收盤的殘留累計值 Technical → TaiwanStockStatisticsOfOrderBookAndTrade

各項重點

1. pre-2005 倖存者偏誤(最重要)
2005 年以前的上市母體偏向「之後仍持續交易的證券」,已下市證券的歷史可能未被完整收錄。舉例:2311、2325 在本表最早只到 2004-02-11,2319 整段查無資料。說明對回測的影響(系統性高估報酬、低估風險)並給出兩項建議做法;註明上櫃不受影響,且同樣適用於 TaiwanStockPriceAdj

2. 上櫃 2007 斷層
71 個交易日;2006-12-29 與 2007-04-23 各約 400 檔上櫃個股,中間僅剩零星幾檔。屬來源端未揭示,建議視為缺值而非「當日無成交」。

3. 指數列混入
32 個英文代號(TAIEXTPEx + 30 個產業類指數),其 open/max/min/close 為指數點數。提供兩種過濾寫法(數字開頭判斷 / TaiwanStockInfo.industry_category)。

4. 五秒級揭示頻率四世代

期間 揭示間隔 每個交易日筆數
2005-01-03 ~ 2011-01-14 60 秒 271
2011-01-17 ~ 2014-02-21 15 秒 1,081
2014-02-24 ~ 2014-12-27 10 秒 1,621
2014-12-29 ~ now 5 秒 3,241

註明是來源端當時的揭示粒度(2005-09-28 官方同樣 271 筆),非本表缺漏;建議依當日實際時間欄位 resample。

5. 2023-08-04 跨日殘留
09:00:00 除正常開盤列外,另有一列與前一交易日 2023-08-02 13:30:00 七欄完全相同(08-03 因颱風停止交易)。證交所原始檔案即為此值。差分時第一根 bar 會出現極大負值,附上以 groupby(...).idxmin() 取真正開盤列的修正寫法。

修改檔案

  • docs/tutor/TaiwanMarket/Technical.md — 新增 7 個 ??? note
  • docs/tutor/TaiwanMarket/Technical.en.md — 對應英文版(非機翻)
  • docs/llms-full.txt — 補 7 條純文字 - Note:(維持純文字,不用 markdown 語法)

docs/llms.txt 僅為頁面索引,無對應內容需更新。

驗證

  • 五個項目皆已對實際資料查證(世代分界日、2311/2325/2319 起始日、2007 窗 71 個交易日與上櫃檔數落差、32 個指數代號、2023-08-04 重複列數值)
  • mkdocs build --strict 通過,表格於 ??? note 摺疊區塊內正常渲染
  • 全文無 commit hash / MR 編號 / 內部常數 / 檔案路徑 / 內部架構詞彙
  • 未新增內部錨點連結,不涉及 anchor 驗證

🤖 Generated with Claude Code

新增 2026-08-07 全 dataset 品質稽核所確認、屬上游機制或既有限制、
使用者需事先知道的資料特性說明,全部以 `??? note` 摺疊區塊呈現,
放在各 dataset 的 bullet list 之後、`!!! example` 之前。

## docs/tutor/TaiwanMarket/Technical.md
### TaiwanStockPrice(股價日成交資訊)新增 3 個 note
1. 「2005 年以前的上市(TWSE)資料:已下市證券的歷史可能不完整,
   長期回測請留意倖存者偏誤」
   - 說明 2005 年以前上市母體偏向「之後仍持續交易的證券」
   - 舉例:2311、2325 最早只到 2004-02-11;2319 整段查無資料
   - 說明對回測的影響(系統性高估報酬、低估風險)與兩項建議做法
   - 註明上櫃(TPEx)不受影響,並說明同樣適用於 TaiwanStockPriceAdj
2. 「上櫃(TPEx)2007-01-02 ~ 2007-04-20 缺少個股日成交資訊
   (來源端即無揭示)」
   - 71 個交易日;2006-12-29 與 2007-04-23 各約 400 檔,中間僅剩零星幾檔
   - 建議視為缺值而非「當日無成交」,避免報酬率/換手率/市場寬度失真
3. 「不帶 data_id 取整日資料時,stock_id 會包含指數代號(非個股)」
   - 目前 32 個英文指數代號(TAIEX、TPEx + 30 個產業類指數)
   - 說明指數列的 open/max/min/close 是指數點數
   - 提供兩種過濾寫法(數字開頭判斷 / TaiwanStockInfo industry_category)

### TaiwanStockStatisticsOfOrderBookAndTrade(每5秒委託成交統計)新增 2 個 note
4. 「揭示頻率隨年代不同,早期並非每 5 秒一筆」
   - 四個世代表格:60 秒 271 筆(2005-01-03~2011-01-14)、
     15 秒 1,081 筆(~2014-02-21)、10 秒 1,621 筆(~2014-12-27)、
     5 秒 3,241 筆(2014-12-29 起)
   - 註明是來源端揭示粒度(2005-09-28 官方同樣 271 筆),非本表缺漏
   - 建議依當日實際 Time 欄位 resample,勿用固定筆數或位置索引
5. 「2023-08-04 開盤 09:00:00 另有一列沿用前一交易日收盤的累計值」
   - 與 2023-08-02 13:30:00 七個數值欄完全相同(08-03 因颱風停止交易)
   - 註明證交所原始檔案即為此值;差分時第一根 bar 會出現極大負值
   - 提供以 groupby idxmin 取真正開盤列的修正寫法

### TaiwanVariousIndicators5Seconds(加權指數)新增 1 個 note
- 同上第 4 項四世代揭示頻率表格,resample 建議改對 date(含時間)欄位

### TaiwanStockEvery5SecondsIndex(每 5 秒指數統計)新增 1 個 note
- 同上第 4 項四世代揭示頻率表格,筆數以「每個交易日、每個指數」計,
  resample 建議改對 time 欄位

## docs/tutor/TaiwanMarket/Technical.en.md
- 上述 7 個 note 的英文版(非機翻,用語與既有 note 一致)

## docs/llms-full.txt
- TaiwanStockPrice 補 3 條純文字 Note(倖存者偏誤 / TPEx 2007 斷層 / 指數列)
- TaiwanStockStatisticsOfOrderBookAndTrade 補 2 條純文字 Note
- TaiwanVariousIndicators5Seconds、TaiwanStockEvery5SecondsIndex 各補 1 條
- 維持純文字格式,不使用 markdown 語法

docs/llms.txt 僅為頁面索引,無對應內容需更新。
`mkdocs build --strict` 通過,表格於 `??? note` 內正常渲染。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant