ForHosting KIT · データ変換・整形

「株式会社」表記ゆれもCSVの重複として検出

「株式会社山田商事」と「山田商事(株)」のように、表記は違っても同じ内容とみなせる行をCSVの中から見つける機能です。完全一致では見つからない重複を洗い出したいときに使います。

● 安定提供中1,000行あたり$0.002

実行 — $0.002 + $0.0015/1,000行 API仕様を見る

ご利用方法ウェブAPIメールアプリ近日Telegram 近日

オンラインで実行

アカウントでログインし、当社のサーバー上で実行します。無料ツールはブラウザ内で動作しますが、これは上記の料金がKIT残高から差し引かれます。

完全一致検出との違い

1文字も違わない行だけを重複とみなす機能とは異なり、こちらは表記の違いがあっても内容が近い行を見つけます。会社名の表記ゆれや、姓名の間隔の違いなどを検出できます。

検出の仕組み

各行の内容を数値の並び（ベクトル）に変換し、その近さを比較することで、意味が近い行を見つけます。文字列としては異なっていても、内容が同じとみなせる行を検出できるのが特徴です。

最終確認をおすすめする理由

内容の近さを基準に判断するため、まれに別の会社を同じものとして検出したり、逆に同じ会社を見逃したりすることがあります。削除の前に、検出結果を人の目で確認することをおすすめします。

料金の仕組み

1リクエスト$0.002に加えて、1,000行ごとに$0.0015かかります。数値変換のための処理にサーバーが必要なため、無料の手動処理ではなく従量課金で提供しています。

活用例

表記ゆれのある取引先リストを統合する

株式会社山田商事では、部署ごとに管理していた取引先リストをこの機能で照合し、表記の違う同一企業を1つの行にまとめています。

手入力で表記が揺れた顧客名簿を整理する

高橋恵子さんは、担当者ごとに入力方法が異なっていた顧客名簿をこの機能で照合し、同一人物とみなせる行を洗い出しています。

複数の展示会で集めた名刺データの重複を洗い出す

合同会社みどりデザインでは、複数回の展示会で集めた名刺データを、この機能で表記ゆれを踏まえて照合してから営業リストにまとめています。

よくある質問

アップロードしたファイルはどう扱われますか

処理のあいだだけ暗号化された通信で送信され、処理が完了すると保持されません。

なぜこの機能はほかのCSV機能より高いのですか

各行の内容を数値化して比較する処理にサーバー側の計算が必要なためです。完全一致だけを見つける機能より、多くの計算を行っています。

検出の精度はどれくらいですか

内容の近さをもとに判断するため、完全な精度を保証するものではありません。重要なデータについては、削除する前に検出結果をご確認ください。

完全に一致する行だけを見つける機能との違いは何ですか

完全一致の機能は1文字も違わない行だけを対象にします。この機能は、表記が違っても内容が近い行まで見つけられる点が異なります。

ファイルサイズに制限はありますか

25MBまでです。

日本語のサポートはありますか

申し訳ありませんが、日本語でのサポートは行っておりません。サポートは英語またはスペイン語で、担当者が直接対応します。ツール自体は日本語のデータでも問題なくご利用いただけます。

商用利用はできますか

できます。条件は個人利用と変わりません。

開発者向け — APIアクセス

このページの機能はすべてAPIからも利用できます。自社システムに組み込みたいチーム向けのセクションです。それ以外の方は上のツールをそのままお使いください。

エンドポイント

POSThttps://api.kit.forhosting.com/data/dedupe-semantic

Bearerトークンで認証し、POST1回でタスクをキューに登録します。結果はWebhookまたは署名付きリンクで受け取れます。

お使いのスタックから呼び出す

curl -X POST https://api.kit.forhosting.com/data/dedupe-semantic \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d &#39;{"text":"…"}'

const res = await fetch("https://api.kit.forhosting.com/data/dedupe-semantic", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.KIT_KEY}`,
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    "text": "…"
  })
});
const { task_id } = await res.json();

import os, requests

res = requests.post(
    "https://api.kit.forhosting.com/data/dedupe-semantic",
    headers={"Authorization": f"Bearer {os.environ[&#39;KIT_KEY']}"},
    json={
    "text": "…"
},
)
task_id = res.json()["task_id"]

<?php
$res = file_get_contents("https://api.kit.forhosting.com/data/dedupe-semantic", false, stream_context_create([
  "http" => [
    "method"  => "POST",
    "header"  => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
    "content" => &#39;{"text":"…"}',
  ],
]));
$task = json_decode($res, true);

body := bytes.NewBufferString(`{"text":"…"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/data/dedupe-semantic", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)

リクエスト例

{
  "text": "…"
}

レスポンス例

{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "data.dedupe_semantic",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

非同期APIです。task_idは即時に返ります。ポーリングは1秒あたり1リクエストまでです。

料金

1リクエストあたり$0.002

1,000行あたり$0.0015

単価はすべて公開しています。トークン換算や独自クレジットはありません。失敗したタスクは課金されません。

制限

max_mb 25

エラー

HTTP	コード	意味
`401`	`unauthorized`	APIキーが無効か、指定されていません。Authorizationヘッダーを確認してください。
`402`	`insufficient_balance`	残高が不足しています。チャージ後に再度お試しください。
`404`	`unknown_type`	指定されたタスクタイプは存在しません。タイプ名を確認してください。
`429`	`rate_limited`	リクエストが多すぎます。しばらく待ってから再度お試しください。

KITの完全なドキュメントを見る →