Δείκτης Shannon

Συντονιστής: emouroukos

Πρόδρομος Ελευθερίου
Δημοσιεύσεις: 6
Εγγραφή: Δευ Ιαν 02, 2012 9:17 pm

Δείκτης Shannon

#1

Μη αναγνωσμένη δημοσίευση από Πρόδρομος Ελευθερίου » Σάβ Ιαν 07, 2017 3:58 pm

Αν σε μια βιοκοινότητα που αποτελείται από S είδη παριστάνουμε με n_i τον αριθμό των ατόμων του είδους i και N το συνολικό αριθμό των ατόμων των S ειδών της βιοκοινότητας αυτής, τότε ορίζουμε ως:

p_i=\dfrac{n_i}{N} , i=1,2,3….,S, τη σχετική αφθονία (συχνότητα εμφάνισης) του είδους i.
H'= -\displaystyle\sum_{i=1}^{s} p_i\ln{p_i} το Δείκτη Ποικιλότητας του Shannon.

Να αποδείξετε ότι ο Δείκτης του Shannon γίνεται μέγιστος μόνο όταν όλα τα S είδη αποτελούνται από τον ίδιο αριθμό ατόμων.


Πρόδρομος Π. Ελευθερίου

Λέξεις Κλειδιά:
Άβαταρ μέλους
cretanman
Διαχειριστής
Δημοσιεύσεις: 3943
Εγγραφή: Πέμ Δεκ 18, 2008 12:35 pm
Τοποθεσία: Ηράκλειο Κρήτης
Επικοινωνία:

Re: Δείκτης Shannon

#2

Μη αναγνωσμένη δημοσίευση από cretanman » Σάβ Ιαν 07, 2017 4:13 pm

Προφανώς \displaystyle\sum_{i=1}^S p_i = \dfrac{n_1+n_2+\cdots n_S}{N}=\dfrac{N}{N}=1

Ορίζουμε τη συνάρτηση f(x)=x\ln{x} η οποία είναι κυρτή άρα από την ανισότητα Jensen ισχύει

f(p_1)+f(p_2)+\cdots f(p_S) \geq Sf\left(\dfrac{p_1+p_2+\cdots + p_S}{S}\right)=Sf\left(\dfrac{1}{S}\right)=-\ln{S} κι έτσι ισοδύναμα

-\displaystyle\sum_{i=1}^{s} p_i\ln{p_i}\leq \ln{S} οπότε το μέγιστο του δείκτη του Shannon H' είναι το \ln{S} και λαμβάνεται αν και μόνο αν

p_1=p_2=\ldots=p_S=\dfrac{1}{S} δηλαδή αν και μόνο αν n_1=n_2=\ldots = n_S \left( = \dfrac{N}{S}\right) που είναι το ζητούμενο.

Αλέξανδρος


Αλέξανδρος Συγκελάκης
Άβαταρ μέλους
cretanman
Διαχειριστής
Δημοσιεύσεις: 3943
Εγγραφή: Πέμ Δεκ 18, 2008 12:35 pm
Τοποθεσία: Ηράκλειο Κρήτης
Επικοινωνία:

Re: Δείκτης Shannon

#3

Μη αναγνωσμένη δημοσίευση από cretanman » Σάβ Ιαν 07, 2017 4:24 pm

cretanman έγραψε:
-\displaystyle\sum_{i=1}^{s} p_i\ln{p_i}\leq \ln{S}
Ένας φαινομενικά διαφορετικός τρόπος για να φτάσουμε στην παραπάνω ανισότητα, είναι να χρησιμοποιήσουμε την λεγόμενη "tangent method" (στην ουσία πρόκειται για την ανισότητα Jensen) την οποία έχουμε αναφέρει αρκετές φορές εδώ στο :logo: . Επειδή λοιπόν "υποψιαζόμαστε" ότι η ισότητα λαμβάνεται όταν όλες οι μεταβλητές p_1,p_2,\ldots, p_S είναι ίσες με \dfrac{1}{S} βρίσκουμε την εξίσωση εφαπτομένης της συνάρτησης f(x)=x\ln{x} στο σημείο αυτό. Η εξίσωση της λοιπόν είναι y=(1-lnS)x-\dfrac{1}{S}. Επειδή λοιπόν η f είναι κυρτή άρα f(x) \geq (1-lnS)x-\dfrac{1}{S} και εφαρμόζοντας κυκλικά για τα p_1, p_2, \ldots , p_S και προσθέτοντας κατά μέλη παίρνουνε το ζητούμενο καθώς και την περίπτωση της ισότητας.

Αλέξανδρος


Αλέξανδρος Συγκελάκης
ΠΑΠΑΔΟΠΟΥΛΟΣ ΣΤΑΥΡΟΣ
Δημοσιεύσεις: 2904
Εγγραφή: Πέμ Φεβ 27, 2014 9:05 am
Τοποθεσία: ΧΑΛΚΙΔΑ- ΑΘΗΝΑ-ΚΡΗΤΗ

Re: Δείκτης Shannon

#4

Μη αναγνωσμένη δημοσίευση από ΠΑΠΑΔΟΠΟΥΛΟΣ ΣΤΑΥΡΟΣ » Σάβ Ιαν 07, 2017 4:43 pm

Δεν γνωρίζω αν είναι δόκιμος όρος δείκτης Shannon.
Εχει όμως μεγάλη σημασία στην Information theory και όχι μόνο.
Περισσότερα και πιο αναλυτικά στο
https://en.wikipedia.org/wiki/Entropy_( ... on_theory)


Πρόδρομος Ελευθερίου
Δημοσιεύσεις: 6
Εγγραφή: Δευ Ιαν 02, 2012 9:17 pm

Re: Δείκτης Shannon

#5

Μη αναγνωσμένη δημοσίευση από Πρόδρομος Ελευθερίου » Τρί Ιαν 10, 2017 2:52 am

1ος τρόπος
(Με τη βοήθεια της ανισότητας Jensen)

Με το ίδιο τρόπο την έλυσαν και άλλοι συνάδελφοι για παράδειγμα:

• Αλέξανδρος Συγκελάκης (βλέπε παραπάνω)

• Lampros Katsapas

https://www.facebook.com/photo.php?fbid ... =3&theater

• Παύλος Τρύφων

2ος τρόπος

• Ανάλογη σκέψη είχε και ο συνάδελφος Παύλος Τρύφων

Έχουμε:
\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}}=1} \ \ (1)

\displaystyle{-\ln S=\ln \frac{1}{S}=1\cdot \ln \frac{1}{S}}=\displaystyle{\left( \sum\limits_{i=1}^{s}{{{p}_{i}}} \right)\ln \frac{1}{S}}=\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\ln \frac{1}{S}}}

Θα αποδείξουμε ότι \displaystyle{-\sum\limits_{i=1}^{s}{{{p}_{i}}\ln {{p}_{i}}}\le \ln S}

Έχουμε: \displaystyle{-\sum\limits_{i=1}^{s}{{{p}_{i}}\ln {{p}_{i}}}-\ln S\overset{\text{ }(1)}{\mathop{\text{ =}}}\,\text{  }\sum\limits_{i=1}^{s}{{{p}_{i}}\ln \frac{1}{{{p}_{i}}}}+}\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\ln \frac{1}{S}}}=\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\left( \ln \frac{1}{{{p}_{i}}}+\ln \frac{1}{S} \right)}}=\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\ln \frac{1}{{{p}_{i}}S}}} \ \ (2)

Σύμφωνα με την ανισότητα \ln{x}\leq x-1, \ x>0,έχουμε:

\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\ln \frac{1}{{{p}_{i}}S}}}\leq\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\left( \frac{1}{{{p}_{i}}S}-1 \right)}} \ \ (3)

Επομένως, λόγω των (2) και (3) έχουμε:

\displaystyle{-\sum\limits_{i=1}^{s}{{{p}_{i}}\ln {{p}_{i}}}-\ln S}\leq\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\left( \frac{1}{{{p}_{i}}S}-1 \right)}}=\displaystyle{\sum\limits_{i=1}^{s}{\frac{1}{S}-1}}=\displaystyle{S\frac{1}{S}-1}=0
Άρα \displaystyle{-\sum\limits_{i=1}^{s}{{{p}_{i}}\ln {{p}_{i}}}-\ln S}\leq 0\Leftrightarrow\displaystyle{-\sum\limits_{i=1}^{s}{{{p}_{i}}\ln {{p}_{i}}}\le \ln S}.

Η τελευταία σχέση ισχύει ως ισότητα όταν p_1=p_2=\ldots=p_s=\displaystyle{\frac{1}{S}}.

Άρα ο δείκτης του Shannon γίνεται μέγιστος όταν p_1=p_2=\ldots=p_s =\displaystyle{\frac{1}{S}}. Η μέγιστη τιμή του δείκτη του Shannon είναι ίση με \ln{S}.

3ος τρόπος

Υπενθυμίσεις:
Θεώρημα 1 (Ανισότητα Cauchy)

Αν \alpha_1,\alpha_2,\ldots,\alpha_s θετικοί αριθμοί, τότε:
\displaystyle{\frac{{{\alpha }_{1}}+{{\alpha }_{2}}+...+{{\alpha }_{s}}}{s}\ge \sqrt[s]{{{\alpha }_{1}}\cdot {{\alpha }_{2}}...{{\alpha }_{s}}}} , (1)
Η ισότητα ισχύει όταν \alpha_1=\alpha_2=\ldots=\alpha_s.

Θεώρημα 2.

Αν \alpha_1,\alpha_2,\ldots,\alpha_s, \beta_1,\beta_2,\ldots,\beta_s θετικοί ρητοί, τότε:

\displaystyle{{{\left( \frac{{{\alpha }_{1}}{{\beta }_{1}}+{{\alpha }_{2}}{{\beta }_{2}}+...+{{\alpha }_{s}}{{\beta }_{s}}}{{{\beta }_{1}}+{{\beta }_{2}}+...+{{\beta }_{S}}} \right)}^{{{\beta }_{1}}+{{\beta }_{2}}+...+{{\beta }_{S}}}}\ge \alpha _{1}^{{{\beta }_{1}}}\cdot \alpha _{2}^{{{\beta }_{2}}}...\alpha _{s}^{{{\beta }_{s}}}}, (2)

Σχόλιο 1.
Το θεώρημα 2 αποδεικνύεται με τη βοήθεια του θεωρήματος 1.

Πόρισμα

Αν p_1,p_2,\ldots, p_s θετικοί ρητοί, τότε:

\displaystyle{{{\left( \frac{{{p}_{1}}+{{p}_{2}}+...+{{p}_{s}}}{s} \right)}^{{{p}_{1}}+{{p}_{2}}+...+{{p}_{s}}}}\le p_{1}^{{{p}_{1}}}\cdot p_{2}^{{{p}_{2}}}...p_{s}^{{{p}_{s}}}}

Πράγματι:
Από το θεώρημα (2) για \displaystyle{{{\beta }_{i}}={{p}_{i}}} και \displaystyle{{{\alpha }_{i}}=\frac{1}{{{p}_{i}}}}, παίρνουμε:

\displaystyle{{{\left( \frac{s}{{{p}_{1}}+{{p}_{2}}+...+{{p}_{s}}} \right)}^{{{p}_{1}}+{{p}_{2}}+...+{{p}_{s}}}}\ge \frac{1}{p_{1}^{{{p}_{1}}}\cdot p_{2}^{{{p}_{2}}}...p_{s}^{{{p}_{s}}}}}

Επειδή όμως \displaystyle{{{p}_{1}}+{{p}_{2}}+...+{{p}_{s}}=1} θα έχουμε:

\displaystyle{s\ge \frac{1}{p_{1}^{{{p}_{1}}}\cdot p_{2}^{{{p}_{2}}}...p_{s}^{{{p}_{s}}}}\Rightarrow \ln s\ge -\ln \left( p_{1}^{{{p}_{1}}}p_{2}^{{{p}_{2}}}...p_{s}^{{{p}_{s}}} \right)\Rightarrow }\displaystyle{\ln s\ge -\left( {{p}_{1}}\ln {{p}_{1}}+{{p}_{2}}\ln {{p}_{2}}+...+{{p}_{s}}\ln {{p}_{s}} \right)}

Άρα: \displaystyle{-\sum\limits_{i=1}^{s}{{{p}_{i}}\ln {{p}_{i}}}\le \ln S}

Η ισότητα ισχύει όταν p_1=p_2=…=p_s

Σημείωση.
1. Στο εξατάξιο Γυμνάσιο Καλλονής Λέσβου, όπου φοιτούσα, είχα την τύχη να έχω δυο εξαιρετικούς δασκάλους, τον Μαθηματικό κ. Γεώργιο Δ. Βαλτά και τον Φυσικό κ. Δημήτριο Σκιαδέλλη. Στον πρώτο ανήκει η ιδέα του παραπάνω 3ου τρόπου απόδειξης και στον δεύτερο η ιδέα του 1ου τρόπου καθώς και ενός άλλου, τον οποίο δεν μνημόνευσα, γιατί ξε-φεύγει από την σχολική ύλη (Θεώρημα Lagrange για ακρότατα συναρ-τήσεων πολλών μεταβλητών).

2. Για τον 3ο τρόπο χρήσιμες θεωρώ και τις πληροφορίες που περιέχονται στις παρακάτω συνδέσεις:

viewtopic.php?p=183388#p183388
viewtopic.php?p=102985#p102985
viewtopic.php?p=71706#p71706
viewtopic.php?p=62119#p62119
viewtopic.php?p=125388#p125388
viewtopic.php?p=41133#p41133
viewtopic.php?p=13843#p13843


Πρόδρομος Π. Ελευθερίου
Απάντηση

Επιστροφή σε “Ανάλυση”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 1 επισκέπτης