เครื่องมือแปลง JSON เป็น Big Query Schema- เครื่องมือแมปข้อมูลออนไลน์ฟรี

ตัวแปลง JSON เป็น Schema ของ BigQuery ออนไลน์

ลดความซับซ้อนของเวิร์กโฟลว์การจัดเก็บข้อมูลของคุณด้วย เครื่องมือ แปลง JSON เป็น BigQuery Schema ของเรา การกำหนดสคีมาตารางสำหรับ Google BigQuery ด้วยตนเองอาจใช้เวลานานและมีโอกาสเกิดข้อผิดพลาดสูง โดยเฉพาะอย่างยิ่งกับข้อมูลที่มีโครงสร้างซ้อนกัน เครื่องมือนี้ช่วยให้คุณสามารถวางออบเจ็กต์ JSON หรือ JSON Schema และสร้างไฟล์ BigQuery JSON schema ที่ถูกต้องได้ทันที พร้อมใช้งานใน Google Cloud Console, CLI หรือ API

เหตุใดจึงต้องแปลง JSON เป็น BigQuery Schema?

Google BigQuery ต้องการรูปแบบสคีมาเฉพาะเพื่อกำหนดโครงสร้างของตารางของคุณ หากคุณกำลังนำเข้าชุดข้อมูลขนาดใหญ่ การกำหนดสคีมาให้ถูกต้องนั้นมีความสำคัญอย่างยิ่งต่อความสมบูรณ์ของข้อมูลและประสิทธิภาพการสืบค้นข้อมูล

สร้างคำจำกัดความตารางโดยอัตโนมัติ

ไม่ว่าคุณจะจัดการกับไฟล์ข้อมูลแบบเรียบหรือเรคอร์ด JSON ที่ซ้อนกันหลายชั้น เครื่องมือของเราจะวิเคราะห์ประเภทข้อมูลและโครงสร้างเพื่อสร้างสคีมาที่พร้อมใช้งานจริง ซึ่งจะช่วยลดความจำเป็นในการเขียนอาร์เรย์ยาวๆ ของnameฟิลด์ต่างๆtypeด้วย ตนเองmode

จัดการข้อมูลซ้อนกันที่ซับซ้อน

BigQuery รองรับ โหมด RECORD(struct) และREPEATED(array) ตัวแปลงของเราจะระบุโครงสร้างเหล่านี้ใน JSON ของคุณอย่างชาญฉลาด และแมปไปยังประเภทข้อมูลซ้อนที่ถูกต้องของ BigQuery เพื่อให้ข้อมูลเชิงสัมพันธ์ของคุณได้รับการจัดระเบียบอย่างสมบูรณ์แบบ

คุณสมบัติหลักของตัวแปลงของเรา

เครื่องมือของเราได้รับการออกแบบมาเพื่อตอบสนองความต้องการของไปป์ไลน์วิศวกรรมข้อมูลสมัยใหม่บน GCP

1. การตรวจจับประเภทอัจฉริยะ

ตัวแปลงจะทำการแมปประเภทข้อมูล JSON มาตรฐานไปยังประเภทข้อมูลของ BigQuery โดยอัตโนมัติ:

• string → STRING

• number(จำนวนเต็ม) → INTEGER/INT64

• number(ทศนิยม) → FLOAT64/NUMERIC

• boolean → BOOL

• ISO 8601 strings→ TIMESTAMPหรือDATE

2. รองรับการตรวจจับโหมด

เอนจินของเราสามารถแยกแยะความแตกต่างระหว่างอ็อบเจ็กต์เดี่ยวและอาร์เรย์ได้ โดยจะกำหนดโหมดREQUIRED, NULLABLE, หรือ โดยอัตโนมัติ REPEATEDตามข้อจำกัดของ JSON Schema หรือการมีอยู่ของอาร์เรย์ในข้อมูลตัวอย่างของคุณ

3. รูปแบบผลลัพธ์ที่พร้อมใช้งาน

ผลลัพธ์ที่ได้จะเป็นอาร์เรย์ JSON มาตรฐานที่ BigQuery ต้องการ คุณสามารถคัดลอกข้อมูลนี้ลงใน ส่วน "แก้ไขเป็นข้อความ" ได้โดยตรง เมื่อสร้างตารางใน UI ของ BigQuery หรือบันทึกเป็น.jsonไฟล์เพื่อใช้กับbq loadคำสั่งก็ได้

วิธีการแปลง JSON เป็น BigQuery

1. ป้อนข้อมูลของคุณ:วางตัวอย่างออบเจ็กต์ JSON หรือ JSON Schema ที่ถูกต้องลงในช่องป้อนข้อมูล

2. วิเคราะห์:เครื่องมือนี้จะแยกโครงสร้างและระบุฟิลด์ต่างๆ ได้ทันที

3. สร้าง:ดูสคีมา BigQuery ที่สร้างขึ้นในหน้าต่างเอาต์พุต

4. คัดลอกและนำไปใช้:ใช้ปุ่ม "คัดลอก" เพื่อนำโครงสร้างข้อมูลไปใช้กับโปรเจกต์ Google Cloud ของคุณ

การเปรียบเทียบทางเทคนิค: JSON กับประเภทข้อมูลของ BigQuery

การจัดการกับค่าว่างและฟิลด์ที่เป็นตัวเลือก

ใน BigQuery ฟิลด์ต่างๆ จะNULLABLEถูกกำหนดค่าเริ่มต้นไว้แล้ว ตัวแปลงของเราจะเคารพคุณสมบัติของ JSON Schema ของคุณrequiredเพื่อทำเครื่องหมายฟิลด์เฉพาะตามที่แสดงREQUIREDใน BigQuery ซึ่งจะช่วยให้คุณรักษามาตรฐานคุณภาพข้อมูลที่เข้มงวดได้

การทำให้แบนราบเทียบกับการซ้อนกัน

โดยค่าเริ่มต้น เครื่องมือนี้จะรักษารูปแบบโครงสร้างแบบซ้อนกันของ JSON โดยใช้RECORDประเภทข้อมูล ซึ่งเป็นแนวทางที่แนะนำสำหรับ BigQuery เพื่อใช้ประโยชน์จากความสามารถในการวิเคราะห์อันทรงพลังของ BigQuery กับข้อมูลกึ่งโครงสร้าง

คำถามที่พบบ่อย(FAQ)

ฉันสามารถใช้ผลลัพธ์กับbqเครื่องมือบรรทัดคำสั่งได้หรือไม่?

ใช่! เพียงแค่บันทึกผลลัพธ์เป็นไฟล์ แล้วschema.jsonนำไปใช้ในคำสั่งของคุณได้เลย:bq make --schema schema.json mydataset.mytable

เครื่องมือนี้รองรับประเภทข้อมูลของ BigQuery GEOGRAPHYหรือ ไม่ BYTES?

หาก JSON Schema ของคุณระบุรูปแบบเหล่านี้ หรือหากข้อมูลตัวอย่างเป็นไปตามรูปแบบเฉพาะ เครื่องมือจะพยายามแมปข้อมูลเหล่านั้น อย่างไรก็ตาม คุณสามารถแก้ไขเอาต์พุตด้วยตนเองได้เสมอสำหรับประเภทข้อมูลที่เฉพาะเจาะจงมาก ๆ

ข้อมูลของฉันถูกอัปโหลดไปยังเซิร์ฟเวอร์ใดบ้างหรือไม่?

ไม่เลย การแปลงและวิเคราะห์ข้อมูลทั้งหมดจะดำเนินการในเบราว์เซอร์ของคุณโดยใช้ JavaScript ข้อมูลสำคัญของคุณจะไม่ถูกส่งออกจากเครื่องของคุณเลย