בעקבות...
החלטתי שצריך לברר את כל ענין הקידוד אחת ולתמיד, ואולי אם יצא מכאן משהו ברור, יהיה אפשר להפנות כל שאלה בתחום לקבל מענה מכאן.

הנשוא גם מתפרס על פני כמה תחומים, כך שהיה לי התלבטות באזיה פורום לפתוח את האשכול, אך אני חושב שבנית אתרים אולי יכלול גם את שפות הסקריפט, גם מסדי נתונים וכדומה.

למיטב ידעתי, יש כיום שני פורמטים עיקריים להצגת דפי אינטרנט בעברית.
1. windows 1255
2. utf-8
יש כמובן גם את הפורמט של ISO, עברית ויזואלית/לוגית ועוד.

אני בטוח שהרבה בוני אתרים לא מבינים את ההבדלים בין הפורמטים, ורק מגדירים אחד מהם כדי שהאתר יוצג בעברית, אבל לא באמת מבינים מה הם מגדירים.

תקנו אותי אם אני טועה:
כשאני יוצר מסמך טקסט ב-windows ושומר אותו בהגדרות כ-ANSI (ברירת מחדל) זה בעצם הפורמט windows 1255 ?
כשאני שומר בפורמט UTF-8, זה כמובן פורמט ה-UTF שהזכרנו.
1. איזה קידוד צריך להיות מוגדר בדף אינטרנט אם המסמך שמור בפורמט unicode ? או unicode big endian ?
2. חוץ מהפורמט של windows שאר הפורמטים יכולים להציג את כל התווים (בכל שפה וצורה) ?
3. מה ההבדלים העיקריים בין הפורמטים השונים, כמות הסיביות שמשמשות כל תו או מה ?

השאלה/ות הנוספות כבר קשורות למסדי נתונים ואולי גם שפות סקריט צד שרת, לכן זה אולי לא המקום, אבל אני חושב שרצוי שכל הענין יסוכם בצורה מרוכזת, לכן אני שואל כאן.
4. מה אני צריך להגדיר ב-MySQL אם אני רוצה לשמור במסד נתונים בפורמט UTF או בשל מיקרוסופט ?
5. כשאני מזין נתונים בטופס שמוצג בדף אינטרנט, באיזה קידוד הנתונים מוזנים/ישמרו ? זה תלוי בהגדרת הקידוד של הדף או במה ?

ולמה כל זה ?!
כי כל פעם יש לי בעיה אחרת, כרגע הבעיה הספציפית היא בגיבוי ושיחזור תוכן בעברית ממסד נתונים MySQL (באמצעות mysqldump), אני מקבל נתונים כג'יבריש, חושש מאד שגם לא אוכל לשחזר בצורה תקינה.
אם אני מזין נתונים באמצעות phpMyAdmin הם נקלטים כג'יבריש.
ועוד בעיות שלא זכורות לי כרגע.

מה שאני מצפה מהאשכול הזה, זה להבין מה בדיוק ההבדלים בין הפורמטים, וע"י זה לדעת לבחור את הטוב/מתאים ביותר, שיעבוד כמו שצריך גם בדף אינטרנט, גם בעורכי קבצי טקסט למיניהם, ולא פחות גם במסדי נתונים השונים.

אפשר ורצוי להוסיף שאלות והרבה הבהרות בנושא.

תודה לכולם

דבר ראשון צריך להבין את ההבדלים בין ANSI ל-Unicode:

ליוניקוד יתרונות וחסרונות. כיום כל המערכות ההפעלה החדשות עובדות עם יוניקוד (החל מגרסת NT).
היתרון של יוניקוד על ascii הוא, שב-ascii תווך התווים הוא מאוד קטן, כך שהאות א (בכתב העיברי) תיראה כ-à (בכתב מערבי).
כתיבה ביוניקוד מאפשרת למשתמשים מכל העולם לקרוא ולכתוב בעברית (או בכל שפה אחרת), לא משנה סוג מערכת ההפעלה עליה הם עובדים או המקום בו הם נמצאים.
החיסרון היחידי בקידוד הזה הוא שהוא Double Byte מה שאומר שדף אינטרנט שיהיה כתוב בקידוד הזה יהיה כבד יותר מדף שכתוב ב-ascii.

היתרון הברור ביוניקוד הוא שהוא מכיל כמות תווים אדירה שמתאימה למרבית השפות (כ-65,536 תווים). בקישור הבא: http://www.unicode.org/iuc/iuc10/x-utf8.html ניתן לראות דף אחד שמשתמש בקידוד אחד שמתאים לשפות רבות.

ההגדרה בדף צריכה להיות "charset=utf-8. וכמובן לשמור בפורמט הנכון (Unicode או utf-8 תלוי בעורך). כמו כן, ביוניקוד ניתן להגדיר חתימת BOM (בתרגום, Byte Order Mark).
BOM למעשה, מגדיר מידע בתחילת הדף אשר אומר לקוראי המסמך (דפדפנים או טכנולוגיית צד שרת) שהדף הינו בפורמט יוניקוד, ועוד מידע מועיל. קישור להגדרה המלאה: http://www.unicode.org/faq/utf_bom.html#22.
ל-ANSI יש את היתרון של חיסכון במשקל דף (עד כמה שההבדל קטן ולא משמעותי).

יוניקוד הינו המתאים ביותר לעבודה עם צד-שרת ומסדי נתונים מהסיבה שרוב (אם לא כל) הטכנולוגיות מגדירות את הקידוד אותו הן מעבדות (כברירת מחדל) כיוניקוד. מה שהופך את העבודה עם שרתים בחו"ל לקלה וללא תקלות.

כל מה שכתבתי לא ממש מכסה את הנושא, אבל זו נקודת התחלה טובה לדיון בנושא.
בהודעה זו נטיתי קצת לכיוון היוניקוד, אבל אני בטוח שמישהו יבוא לתת את הצד השני

כמה קישורים מועילים:
1. החלק ב-W3C שמדבר על הקידוד והאינטרנט - http://www.w3.org/TR/html401/charset.html#encodings
2. ארגון יוניקוד, שמגדיר את התקן - http://unicode.org