_START_ARTICLE_
地球
_START_SECTION_
概要
_START_PARAGRAPH_
地球とは我々人類が住んでいる天体、つまり我々の足元にある天体のことである。「地」という字・概念と「球」という字・概念でそれを表現している。英語 (Earth) やラテン語 (Tellus, Terra) など他の言語でも多くは「大地」を表す語が当てられている。単語としての「地球」は中国語由来である。中国語の「地球」は明朝の西学東漸期に初めて見られ、イタリア人宣教師マテオ・リッチ（1552年-1610年）の『坤輿万国全図』がこの単語が使用された最初期の資料である。清朝後期に西洋の近代科学が中国に入ってくると、大地球体説が中国の人々によって次第に受け入れられるようになり、「地球」（または地毬）という単語が広く使われるようになった。当時の新聞申報の創刊号には「地球説」に関する文章が掲載されている。日本には幕末から明治期に中国語から借入され、定着した。_NEWLINE_地球は太陽系の惑星の一つである。その形は、ほぼ回転楕円体で、赤道の半径は6378kmほどで、極半径は6357km。（より精度の高い数字については後述の「物理的性質」の項を参照のこと）その運動に着目すると、365日強で太陽の周囲を一周し、24時間で1回 自転しており、太陽からの平均距離は1億4960万km。_NEWLINE_その内部は大まかに地殻、マントル、核の3部分から成っている。地球全体の平均密度は1cm³当たり5.514gである。表面は大気に覆われている。_NEWLINE_放射性元素による隕石の年代測定と、アポロ計画によって持ち帰られた月の岩石分析から、地球は誕生してから約46億年経過していると推定される。_NEWLINE_太陽系の年齢もまた隕石の年代測定に依拠するので、地球は太陽系の誕生とほぼ同時に形成されたとしてよい。10個程度の火星サイズの原始惑星の衝突合体によって形成されたと考えられている。_NEWLINE_太陽系内の惑星としては、太陽から2天文単位内の位置に存在し、岩石質外層と鉄を主成分とする中心核を持つ「地球型惑星」に分類され、太陽系の地球型惑星の中で大きさ、質量、密度ともに最大のものである。_NEWLINE_組成は地表面からの深さによって異なる。地殻に存在する元素は、酸素（質量比49.5%）とケイ素（同25.8%）が主体で、以下アルミニウム・鉄・カルシウム・ナトリウム・カリウム・マグネシウムなどの金属元素が含まれる。この元素別質量百分率はクラーク数として纏められている。ほとんどはケイ酸塩など金属酸化物の形で存在する。_NEWLINE_対照的に、中心部分は鉄やニッケルが主体である。地表面の71.1%は液体の水（海）で被われており、地表から上空約100kmまでの範囲には窒素・酸素を主成分とする大気がある。大気の組成は高度によって変化する。
_START_SECTION_
公転
_START_PARAGRAPH_
円に近い楕円形の軌道を描いて太陽の周りを1.0000太陽年に1回公転し、また0.9973平均太陽日に1回自転している。天の北極から見て、自転、公転ともに反時計回りである。_NEWLINE_この楕円の形は10万年ほどの周期で変化することが天文学者の研究でわかっている。楕円の軌道離心率は0.0167である。_NEWLINE_1太陽年とは太陽が春分点から春分点まで一巡りする時間、すなわち季節が一巡する時間をいい、365.242 190 402日である。地球の歳差により春分点が移動するため、1太陽年は、恒星が動かないものとして見た時に地球が太陽の周りを一周する時間として定義される1年（恒星年）より短い。1恒星年は365.256 363 004日である。
...

地球
概要
地球とは我々人類が住んでいる天体、つまり我々の足元にある天体のことである。「地」という字・概念と「球」という字・概念でそれを表現している。英語 (Earth) やラテン語 (Tellus, Terra) など他の言語でも多くは「大地」を表す語が当てられている。単語としての「地球」は中国語由来である。中国語の「地球」は明朝の西学東漸期に初めて見られ、イタリア人宣教師マテオ・リッチ（1552年-1610年）の『坤輿万国全図』がこの単語が使用された最初期の資料である。清朝後期に西洋の近代科学が中国に入ってくると、大地球体説が中国の人々によって次第に受け入れられるようになり、「地球」（または地毬）という単語が広く使われるようになった。当時の新聞申報の創刊号には「地球説」に関する文章が掲載されている。日本には幕末から明治期に中国語から借入され、定着した。
地球は太陽系の惑星の一つである。その形は、ほぼ回転楕円体で、赤道の半径は6378kmほどで、極半径は6357km。（より精度の高い数字については後述の「物理的性質」の項を参照のこと）その運動に着目すると、365日強で太陽の周囲を一周し、24時間で1回 自転しており、太陽からの平均距離は1億4960万km。
その内部は大まかに地殻、マントル、核の3部分から成っている。地球全体の平均密度は1cm³当たり5.514gである。表面は大気に覆われている。
放射性元素による隕石の年代測定と、アポロ計画によって持ち帰られた月の岩石分析から、地球は誕生してから約46億年経過していると推定される。
太陽系の年齢もまた隕石の年代測定に依拠するので、地球は太陽系の誕生とほぼ同時に形成されたとしてよい。10個程度の火星サイズの原始惑星の衝突合体によって形成されたと考えられている。
太陽系内の惑星としては、太陽から2天文単位内の位置に存在し、岩石質外層と鉄を主成分とする中心核を持つ「地球型惑星」に分類され、太陽系の地球型惑星の中で大きさ、質量、密度ともに最大のものである。
組成は地表面からの深さによって異なる。地殻に存在する元素は、酸素（質量比49.5%）とケイ素（同25.8%）が主体で、以下アルミニウム・鉄・カルシウム・ナトリウム・カリウム・マグネシウムなどの金属元素が含まれる。この元素別質量百分率はクラーク数として纏められている。ほとんどはケイ酸塩など金属酸化物の形で存在する。
対照的に、中心部分は鉄やニッケルが主体である。地表面の71.1%は液体の水（海）で被われており、地表から上空約100kmまでの範囲には窒素・酸素を主成分とする大気がある。大気の組成は高度によって変化する。
公転
円に近い楕円形の軌道を描いて太陽の周りを1.0000太陽年に1回公転し、また0.9973平均太陽日に1回自転している。天の北極から見て、自転、公転ともに反時計回りである。
この楕円の形は10万年ほどの周期で変化することが天文学者の研究でわかっている。楕円の軌道離心率は0.0167である。
1太陽年とは太陽が春分点から春分点まで一巡りする時間、すなわち季節が一巡する時間をいい、365.242 190 402日である。地球の歳差により春分点が移動するため、1太陽年は、恒星が動かないものとして見た時に地球が太陽の周りを一周する時間として定義される1年（恒星年）より短い。1恒星年は365.256 363 004日である。
...

import tiktoken
import tensorflow_datasets as tfds

def count_tokens(text):
    ret_list = []
    for encoding_name in ["cl100k_base", "p50k_base", "r50k_base"]:
        encoding = tiktoken.get_encoding(encoding_name)
        token_integers = encoding.encode(text)
        num_tokens = len(token_integers)
        ret_list.append(num_tokens)
    return ret_list

def remove_markers(text):
    return(text.replace("_START_ARTICLE_\n", "").replace("_START_SECTION_\n", "").replace("_START_PARAGRAPH_\n", "").replace("_NEWLINE_", "\n"))

splits = ["test", "train", "validation"]
for split in splits:
    ds = tfds.load('wiki40b/ja', split=split)
    record_count = 0
    char_count = 0
    token_counts = [0, 0, 0]
    for idx, record in enumerate(ds):
        text = record['text'].numpy().decode('utf-8')
        text_replaced = remove_markers(text)
        char_count += len(text_replaced)
        token_counts = [x + y for x, y in zip(token_counts, count_tokens(text_replaced))]
        record_count += 1
    print("split: %s" % split)
    print("record_count: %s" % record_count)
    print("char_count: %s" % char_count)
    print("token_count (cl100k_base): %s" % token_counts[0])
    print("token_count (p50k_base): %s" % token_counts[1])
    print("token_count (r50k_base): %s" % token_counts[2])

プロセッサ	11th Gen Intel(R) Core(TM) i7-11370H @ 3.30GHz   3.30 GHz
実装 RAM	32.0 GB (31.8 GB 使用可能)
システムの種類	64 ビット オペレーティング システム、x64 ベース プロセッサ

import tiktoken
print(tiktoken.encoding_for_model('gpt-4o'))

<Encoding 'o200k_base'>